Диалог на собеседовании:
— Мне на предыдущем собесе сказали почитать iOS/Android гайдлайны. Я почитал. Какие-то они общие и поверхностные.
— А что именно ты читал? Какую-то статью? С какого портала?
— Да я через chatgpt почитал
Неверно по системе, которая отвечает короткими фразами изучать то, что требует погружения в детали.
Про гайдлайны я говорила много и в коротких видео, и в одном своем докладе «11 вещей про тестирование iOS приложений, про которые вы могли не задумываться». И говорю в курсе про мобильное тестирование
А вот еще и мысли по итогам нашего с ребятами анализа ChatGPT-3.5 в целях тестирования (апрель 2023).
Где полезен и бесполезен ChatGPT
ChatGPT однозначно полезен, когда ты первый раз сталкиваешься с неизвестной задачей (любого плана — технической, менеджерской, личностной) и тебе нужны идеи, стартовая точка. Здесь ChatGPT как хорошая нейросеть, как хорошая база знаний, как хороший комбинатор разных приёмов может подсказать и дать направления.
Если же ты довольно опытный, то СhatGPT может даже раздражать своей теоретичностью.
Если брать практическое применение, то ему можно дать задачи
- На оценку грамотность текстов
- Проверку доступности ссылок на сайте
- Сравнение стратинцы с какими-то принципами, если он их знает.
Но проблема gpt3.5 в том, что его знания ограничиваются 2021м годом, а доступа к свежим версиям ваших приложений/сайтов не будет.
ChatGPT может проектировать тесты, но в него, как будто, заложили слишком много шаблонов, которые он переносит туда, где это неуместно. По-простому, додумывают несуществующее. А когда-то и в принципе невалидное. Вероятно, его могли обучать тестированию по некоторым спорным статьям из интернета.
Однозначно, СhagGPT можно попросить сгенерировать тестовую документацию, когда она нужна просто как документация, приаттаченная к каком-то отчёту. Но доверять таким тестам не стоит. Пропущенные баги и избыточные тесты гарантированы.
Он не справляется с более сложными задачами, такими как эстимация, планирование, оценка процессов и т.п. Он направит вас, но еще до полного искусственного интеллектав этих направлениях слишком далеко. Сложно было заставить его даже эстимировать. Однако если планируете впервые, то он может дать десяток ссылок на шаблоны планов тестирования
Автоматизация. ChatGPT можно использовать для генерации каких-то простых базовых шаблонов, но если копнуть глубже, то очень много ограничений.
Анализ и выбор инструментов — очень поверхностно и стандартно.
ChatGPT можно использовать для того, чтобы написать вакансию или сгененрировать список обязанностей специалиста. Можно использовать для генерации тестовых заданий на собеседования, ассесменты в компании и т.д. Но если вам нужны не простые теоретические вопросы, а что-то практическое, то придётся потратить немного времени, чтобы его настроить.
Плохая новость — он может решать тестовые задания. Поиск кандидатов может усложнится. Но хорошая новость — решает он их с учетом своих ошибочных знаний.
Выводы
Итого — если ты новичок или в тупике, то как компаньон для брейншторма — огонь. Для более сложных задач — время затрачееное на попытку выдать что-то ценное может быть больше, чем то, что потратишь сам на эту задачу, да и результат можешь не получить.
На YouTube канале есть плейлист с нашими обсуждениями.
Нашими — это моя команда qa manager-ов — Яна, Катя, Андрей, Андрей, Антон, Илья.