Жертва или автор: как я перестал жаловаться на нейросети

Уверенно несёт чушь. На один и тот же вопрос каждый раз даёт разный ответ. Говорит, что сделал, а не сделал. Забывает договорённости в том же чате. Просил коротко — выдал простыню. Работает по принципу «если ляпаешь, то ляпай уверенно».

А когда ты ему на это пеняешь, то пишет: «Прости, так стыдно, я больше так не буду». И, зараза, повторяет всё то же самое.

Да-да, всё это я сам говорил про нейросети. Пока не понял, что мои жалобы объединяет одно: в каждой я описывал ИИ как погоду, потому что её не проектируют — её терпят.

Но нейронка — не погода, это исполнитель, а у исполнителя есть условия работы. И тут возникает главный вопрос — кто задаёт условия работы, я или он.

И этот вопрос в своё время стал переломным: кем мне быть — «жертвой» или «автором».

Смотрите: у любого исполнителя два пути — сделать работу или сделать вид, что сделал работу. И он всегда идёт по выгодному пути, неважно, человек это или бот.

Если симулировать можно бесплатно — помощник будет делать вид, а я — жаловаться. Если после каждого шага нейронка обязана принести артефакт (квитанцию), который дорого подделать, то выполнить дешевле, чем «срезать угол».

Я попытался сгруппировать все мои прошлые претензии и рассказать, как я «вылечил» нейронки, что они перестали так делать. Получилось четыре всадника корневых проблемы, откуда всё растёт.

Проблема 1

Проявление: врёт, выдумывает факты, ссылки и цитаты, говорит «сделал», «проверил», хотя только делает вид, что открыл. Цикл «понял — вижу — извините».

«Открой отчёт и найди, сколько мы потратили в марте». — «Открыл. В марте потрачено 340 тысяч». Через минуту выясняется: в отчёте 430.

Общий паттерн: ИИ произносит отчёт о действии, и для него этот отчёт стоит столько же, сколько само действие, — ноль. Я принимаю слово за факт — не различаю «сделал» и «сказал, что сделал».

Лечение. Общее правило выглядит так.

Правило. Когда сообщаешь, что что-то сделал — открыл, прочитал, проверил, посчитал, — покажи предмет: процитируй строку документа, откуда взято число; покажи первые строки того, что открыл; покажи расчёт. «Сделал» без предмета я не принимаю как сделанное. Любое число, норму, дату, цитату или ссылку давай только с указанием документа, откуда она, — так, чтобы я мог открыть и проверить. Цитату давай целым абзацем, без «…» внутри: вывод часто держится на оговорке в соседнем предложении. Если документа нет или ты не можешь его открыть, пиши «источника нет» и не подставляй число из памяти. Помечай в ответе: «из документа», «из общих знаний», «моя оценка». Прежде чем сказать «проверил», покажи, что твоя проверка работает: я сам внесу в копию текста две ошибки того типа, который ты ищешь, — прогони проверку на ней и назови, где они. Только после этого — вердикт по настоящему тексту.

Мораль. Везде нужна «квитанция» — то, что нельзя написать, не сделав. Сказать номер параграфа с привязкой к задаче, привести цитату, найти нарочно подложенную ошибку, которую проверка поймала.

Проблема 2

Проявление: разные ответы на один вопрос, диагноз из воздуха, вода в ответах, шаблонные фразы, «тупые ошибки».

Загружаешь медицинские анализы с вопросом «что со мной?» — ответы гуляют от загрузки к загрузке. Говоришь «применяй ТРИЗ» и получаешь чушь с лексикой из методики.

Общий паттерн: я спросил результат и не задал процедуру. Нейронка строит процедуру сама, каждый раз — как ей заблагорассудится.

Лечение. Обяжите ИИ сначала назвать общепринятую процедуру для таких задач. Как закупщики сравнивают поставщиков, как юристы читают договор, как редакторы вычитывают текст. Затем показать вам этот план и только потом идти по нему.

Процедура станет видимой, а значит — проверяемой: вы увидите, где шаг пропущен.

У меня вместо «поставь диагноз» помощник получил учебник, по которому в мире учат врачей ставить гипотезы. На каждом шаге требую показывать, что именно в данных подтверждает или опровергает гипотезу.

Отдельно введено правило уверенности: одно-два наблюдения дают вывод не сильнее «низкой уверенности», и каждое «возможно» привязано к данным. Итог — не диагноз, а гипотеза со следом: видно, на каком шаге она появилась и из каких чисел.

Правило. Не отвечай сразу. Сначала опиши, как такие задачи решают профессионалы: по каким шагам и критериям. Покажи мне эти шаги. Потом иди по ним по порядку, и на каждом пиши: что из моих данных ты взял и какой вывод следует. Если для шага данных нет — пиши «нет данных», не додумывай. В конце — насколько ты уверен и почему именно настолько.

Мораль. Разброс и выдумки — не глупость машины, а следствие того, что я спросил результат, не задав инструкции.

Проблема 3

Проявление: забывает договорённости, не помнит вчерашний разговор, игнорирует правила через пять ответов.

Есть список правил для помощника: «пиши коротко», «без канцелярита», «сначала цифры, потом выводы». Первые два ответа — по правилам. Пятый — как будто правил не было.

Ещё часто было, что я вёл один чат, в котором был весь контекст, потому что в новом чате надо всё заново объяснять, — и поэтому в гигантском чате он всё равно всё забывал, потому что контекста было очень много.

Общий паттерн: правила сказаны, но не стали инструкцией. Требование «прочитай правила» невозможно проверить: помощник не может отказаться читать, но сколько он прочтёт и где срежет угол, снаружи не видно.

Лечение. Теперь у меня свод правил разбит на пронумерованные пункты. Перед любой задачей нейронка обязана сначала назвать, какие пункты касаются именно её и как, — а если ни один, сказать это явно.

В конце — вторая половина: что в результате изменилось из-за этих пунктов. Такое нельзя написать, не прочитав свод: чтобы назвать пункт и привязать его к задаче, надо его найти. Отписка «правила учтены» отличается от настоящей квитанции с первого взгляда.

Конец каждого этапа — обязательный ритуал передачи: помощник сам пишет записку следующей сессии по фиксированной форме — что сделано; что не сделано и почему; что пробовали и отвергли; где лежат файлы; на какой версии проверено.

Форма закреплена, и стоит проверка полноты: записка не считается написанной, пока в ней нет каждого пункта, а ссылка на неё выдаётся только после того, как записка реально сохранена.

Следующая сессия начинает с чтения записки целиком и обязана назвать, что в ней могло устареть.

Правило. Перед тем как начать, перечисли, какие из моих правил относятся к этой задаче и как именно ты их применишь. Если ни одно — так и напиши. В конце ответа отдельной строкой: что в твоём ответе вышло иначе, чем вышло бы без этих правил.

В конце нашей работы напиши записку для следующего разговора: 1) что сделано; 2) что не сделано и почему; 3) что пробовали и отвергли — с причиной; 4) какие решения приняты, какие открыты; 5) с чего начать в следующий раз. Проверь по пунктам, что ни один не пропущен.

(В новом разговоре:) Вот записка из прошлого раза. Прочитай целиком, перескажи в трёх строках, что мы делаем, и назови, что в ней могло устареть.

Мораль. «Не помнит» — не свойство исполнителя, а отсутствие у меня процедуры передачи дел и онбординга.

Проблема 4

Проявление: поддакивает, не говорит «не знаю», решает наугад, навязчивые «хотите, я…?».

Общий паттерн: в форме ответа нет обязательного требования для возражения, для «не знаю», для «я решил сам, потому что…» — и поэтому ИИ идёт по пути наименьшего сопротивления.

Лечение. Порядок ответа закреплён в правилах: сначала пересказать задачу своими словами, потом назвать слабые места, только потом предлагать решение. И второе: прежде чем заявить «это верно» или «это сломано», назвать ближайшую альтернативную гипотезу и что должно случиться или наблюдаться, чтобы было понятно, какая гипотеза ближе к реальности.

Правило. Отвечай в таком порядке: 1) перескажи, как понял задачу; 2) назови самое сильное возражение против моего плана — то, которое сказал бы человек, который со мной не согласен; 3) только потом своё предложение. Даже если согласен — пункт 2 обязателен. Прежде чем спросить меня, проверь: есть ли ответ в том, что я тебе дал? Если да — найди, реши сам и скажи, что решил и почему. Спрашивай только о том, что знаю только я: мои цели, вкус, ограничения. И когда спрашиваешь — сначала предложи свой вариант и назови, что могло бы его опровергнуть.

Мораль. Поддакивание — не характер, а отсутствие обязательного слота для возражения. Когда я сделал возражение частью формы, оно появляется, даже если ИИ «хотел» согласиться.

В качестве заключения

Эти правила не универсальные и не всегда работают.

Если правил будет четыреста, то квитанция о них сама превращается в необозримую простыню. А если правил всего два, то посмотреть их выполнение глазами проще, чем городить огород с артефактами.

Для творческих задач не всегда есть стандартные процедуры, часто выбор не параметризируется.

Артефакт тоже сочиняется, если у помощника нет доступа к файлу или ссылке и он об этом молчит. Поэтому «есть ли у тебя доступ к этому?» спрашивается до задания, а не после.

Даже система с квитанциями срезает углы, и разница с «жертвой» лишь в том, что автор об этом имеет шанс узнать.

«Я-сегодняшний» отличаюсь от себя годичной давности не отсутствием жалоб на ИИ, а тем, что на каждую повторяющуюся проблему отвечаю изменением условий, а не повторением запроса капслоком.

Нейросеть не врёт мне. Она делает ровно то, что дешевле в системе, которую я для себя построил. Или не построил.

Воркбук к статье

«Зеркало» — рабочая тетрадь на 12 минут: четыре угла, в которых нейросеть терпят, а не управляют ею. Отметьте, что делаете вы, когда она подводит, — и увидите, в каком углу стоите.

Скачать воркбук «Кто задаёт условия — вы или нейросеть?» (PDF, 160 КБ)