Мы спрашиваем коллегу: «Как лучше утеплить баню?»
Вроде бы простой вопрос, мы привыкли оперировать такими в обычной жизни. И даже не замечаем, что в нем по умолчанию уже скрыта масса смыслов.
Коллега знает, что у меня невысокий доход, поэтому предложит самые дешевые варианты.
Коллега знает, что я не профессионал в строительстве, поэтому предложит что-то попроще.
Коллега и я живем в Сургуте, где бывают сильные холода.
Я знаю, что коллега недавно утеплял баню и хвалился, что все быстро. Поэтому я жду какого-то легкого решения. И т. д.
Но поскольку коллега знает контекст и скрытые смыслы, он уже учитывает невысказанное и дает вполне подходящий нам ответ.
Увы, ИИ – это не коллега. И на такой запрос (без уточнений) можно получить что угодно. А вот чтобы получать
Эта книга не будет гимном подсказкам. Да, у модели множество плюсов, но и кормить только сахаром – не в наших принципах. GPT, конечно, сильный и умный, но пока далеко не идеален.
У него есть ряд недостатков, о которых обязательно стоит сказать. Впрочем, и плюсы мы в стороне тоже не оставим.
«ПК» – контентщики, а потому мы оцениваем все, исходя из своих профессиональных навыков. Мы не самые удобные экзаменаторы, которые ставят тройку там, где другие бы поставили четверку или пятерку.
Словом, скажем, как видим. Без вранья. Все же наша цель не пиар нейросети, а выявление реального рабочего потенциала.
Нестабильность оценочных суждений
В двух идентичных запросах с разницей в минуту GPT может дать два абсолютно разных ответа. Это не человек с каким-то статичным мнением, который и сегодня, и завтра на вопрос о десяти лучших книгах для начинающего писателя даст примерно один и тот же список.
Увы, у GPT списки могут легко разниться на 100 %. И этому не помогает ни изменение контекста, ни использование ролей (об этом поговорим чуть позже).
Почему так происходит? Мы спросили у GPT:
• Скажи, почему при одинаковом запросе в разных диалогах даже при полной смене контекста ты даешь разные ответы?
ИИ дал такой ответ.
Этому может быть несколько объяснений.
1. Статистическая случайность. Внутри модели используются стохастические методы, в том числе случайный выбор, что может привести к некоторому уровню разнообразия в ответах, даже при одинаковом входном контексте.
2. Зависимость от предыдущих итераций. Если модель напрямую взаимодействует с предыдущими входными данными, то результаты могут варьироваться в зависимости от предыдущих ответов модели. Если один из нулевых контекстов до этого сгенерирован другой моделью или пользователем, то модель может прочитать этот контекст и использовать его при определении ответа на следующий запрос.
3. Недостаточное количество информации. При нулевом контексте модель может не иметь достаточно информации для однозначного ответа и, следовательно, может предложить несколько различных вариантов в ответе, основываясь на общих знаниях.
Так что чрезмерно надеяться на «лучшие», «самые» и прочие субъективные суждения нейросети не стоит.
С объективными же суждениями (например, «пять самых крупных животных мира») все иначе. Практически полный порядок уже сейчас. И все же (на всякий случай) советуем вам при запросе ответа требовать от ИИ критерии оценки.
Например:
• Дай список пяти самых крупных животных мира, *укажи вес в килограммах.
* – критерий.
Если и теперь сомневаетесь, то можно перепроверить, задав тот же промт, но уже в новом контексте (начав новый разговор). Когда данные корректны, ответы будут идентичны. А вот если они почему-то не идентичны, то нужно спросить почему и попросить еще раз перепроверить.
Нестабильность реакций на подсказку
GPT порой «взбрыкивает» и на уже неоднократно проверенный промт дает не ту структуру, как раньше, даже если подсказка этого требует. Такое происходит нечасто, но все же случается.
Если подобное произошло, то попросите модель еще раз пересмотреть условия и дать ответ строго по ним. Или же дайте пример «эталонного» ответа, когда нейросеть отвечала вполне корректно, выдавая верную структуру.
Галлюцинации