Агент скрыл с сайта около 30 компаний. Проверял их по моим правилам

Я поручил AI-агенту проверять сведения о компаниях для Scaling Club. После одной из таких проверок с карты рынка пропало около 30 компаний, в том числе крупные игроки, по которым мы уже собирали информацию и делали публикации. Данные сохранились, но карточки оказались скрыты с сайта.

После ручного разбора все компании из этой группы вернули. Одновременно пришлось пересматривать правила, которыми агент руководствовался. Для этого я попросил его задать мне 50 вопросов с ответами «да» или «нет». Этот опыт потом превратился в отдельный промпт, который можно использовать у себя.

Как я заметил, что с картой что-то не так

Scaling Club я делаю как карту рынка образования. Это большой список списков, в котором можно посмотреть, кто работает в разных сегментах, какие у компаний бизнес-модели, обороты и форматы работы, какие люди с ними связаны. Хочется, чтобы предпринимателю было проще разобраться в своём рынке и увидеть возможности для развития. О том, как устроена агентская команда, которая собирает эту карту, писал раньше.

Работа требует достаточно жёстких критериев. Какие сведения публикуем, откуда их берём, как проверяем поиск. Я прописывал правила, смотрел карточки и просил переделывать то, что не сходилось с моим знанием рынка.

Однажды утром агент, который проверял карточки, сообщил, что нашёл новые компании. Заодно часть карточек не прошла его проверку. Публикацию одних он заблокировал, другие снял с сайта. Я не сразу обратил на это внимание. Позже открыл карту и обнаружил, что ряда компаний, которых я ожидал там увидеть, нет.

Масштаб стал понятен, когда я сам посмотрел на карту. Пришлось разбирать и то, что агент принёс, и то, что после его работы перестало быть видно. По отдельным заполненным карточкам трудно заметить, насколько полной получилась сама подборка.

Где понадобилось моё знание рынка

В этом случае агент либо некорректно применил мои правила, либо я сформулировал их недостаточно точно. С новой информацией возникла путаница в названиях, юридических лицах и структуре холдингов. По результатам проверки он решил, что часть компаний требованиям не соответствует.

Я знаю, что у компании может быть несколько юридических лиц, а знакомый рынку бренд входит в состав холдинга. Если найденная выручка явно не соответствует уровню компании, для меня это повод ещё раз посмотреть, к какой организации относятся данные. Исследователь мог найти только часть информации или остановиться на неподходящем юридическом лице.

В таких случаях я просил повторить поиск или показывал, где могут лежать корректные сведения. Пришлось вручную объяснять, как связаны рекламные лендинги с официальными страницами компаний и где указаны юридические лица, по которым можно перепроверить выручку.

Поэтому переделка затронула и карточки, и правила поиска и проверки. Я уточнил требования к официальным источникам, ссылкам и принадлежности данных конкретной организации. Все компании из той группы вернули на карту, примерно 30.

Зачем я попросил задать 50 вопросов

Одновременно я пересматривал критерии отбора. Попросил агента задавать мне вопросы, на которые можно ответить «да» или «нет». Корректная информация? Публикуем? Добавляем этот факт в карточку? По моим ответам он формулировал правила и уточнял, что именно я считаю приемлемым.

Большая часть калибровки касалась того, как отличать сведения о компании от её собственной оценки себя. Отдельно разбирались с юридическими лицами. Из какого источника взята информация, к какой компании она относится, как связаны название продукта, бренд и организация.

Мне эти различия во многом понятны благодаря опыту. Но в общей инструкции легко пропустить условие, которое сам автоматически учитываешь. А потом обнаружить его отсутствие уже на сайте. Вопросы по конкретным случаям помогли подробнее объяснить агенту, как я принимаю решения.

Под калибровкой здесь я имею в виду разбор примеров и уточнение критериев дальнейшей работы. Само количество вопросов ещё ничего не говорит о точности на новых задачах, её нужно проверять отдельно.

Проверить сведения и решить, что с ними делать

При подготовке переносимого промпта я отдельно развёл вопросы, которые легко смешать. Есть ли достаточное основание для утверждения? Подходит ли оно для включения в материал? Можно ли из-за возникшего сомнения менять уже опубликованный результат?

В истории с картой это различие существенно. Неполная информация о юридическом лице требует дополнительного поиска. Отдельно надо решить, что делать с карточкой компании, пока поиск продолжается. Из ответа на вопрос об источнике не следует автоматически разрешение снимать публикацию.

То же относится к формулировке правила. Если в конкретном случае сведений недостаточно, нужно сохранить условия этого решения. Какой источник был доступен, чего именно не хватало, почему потребовалась перепроверка. Тогда понятнее, где применяется правило и когда агент должен вернуться с вопросом.

В файле для калибровки вопросы про достоверность, включение информации и самостоятельное действие разбираются по отдельности. Это помогает точнее договориться, что именно означает ответ «да».

Промпт для своего проекта

На основе этого опыта я собрал CALIBRATION-50.md. Это Markdown-файл с инструкцией для агента. Он просматривает доступную историю проекта или рабочего диалога, ищет отклонённые варианты, спорные решения и противоречия, после чего задаёт 50 вопросов по одному. Следующий вопрос подбирает с учётом вашего ответа.

Скачать CALIBRATION-50.md

Начать можно с задачи, которую вы регулярно отправляете на переделку. Например, вы уточняете источники в исследовании, спорите с формулировками в материалах или не принимаете часть продуктовых правок. В истории таких обсуждений уже есть случаи, по которым можно разобраться в критериях. Лучше выбрать одну тему, чтобы ответы относились к понятному кругу решений.

Прикрепите файл к диалогу в нужном проекте и напишите:

Прочитай CALIBRATION-50.md и начни калибровку по теме [моя задача]. Используй доступную историю этого проекта и текущий диалог. Задавай вопросы по одному.

Вместо скобок укажите свою тему. Например, «какие сведения о компаниях включать в исследование». Дайте агенту доступ к относящимся к ней обсуждениям или приложите нужные материалы, если они находятся в другом месте.

Агент должен опираться на то, что ему действительно доступно. Если обсуждения остались в другом диалоге и не сохранены в проекте, из этого файла он их не узнает. Понадобится передать сами материалы или конкретные примеры решений.

Как проходит разбор

Вопросы задаются последовательно. В каждом должен быть один конкретный случай и одно решение, на которое можно ответить «да» или «нет». Условия важны: откуда взята информация, кому принадлежит утверждение, есть ли подтверждение, что именно предлагается сделать.

Если реальных спорных эпизодов окажется меньше 50, промпт позволяет предложить учебные вариации с изменённым условием. Они должны быть явно отмечены. Так можно обсудить границу правила, сохранив различие между тем, что произошло в проекте, и примером для проверки решения.

На вопрос можно ответить с оговоркой или сказать, что данных недостаточно. Тогда агент уточняет тот же случай. Если захочется остановиться раньше, он должен сохранить ответы и место продолжения. Заполнять оставшуюся часть за вас ему не поручено.

Если ответы расходятся, сначала стоит проверить, одинаковы ли условия. Можно по-разному оценить похожие сведения, когда в одном случае источник официальный, а в другом непонятно, откуда взялась информация. Если противоречие всё же осталось, оно должно попасть в итоговый разбор открытым вопросом.

Что останется после калибровки

На выходе промпт предусматривает 2 Markdown-документа. В DECISIONS.md собираются случаи, ваши ответы, источники и условия решения. В RULES-DRAFT.md появляются предлагаемые правила с привязкой к номерам ответов. Если агент не может создавать файлы в вашем диалоге, он должен выдать текст, который можно сохранить самостоятельно.

Проект правил нужно прочитать. Особенно те места, где из частного ответа получился общий вывод. Видно ли, к каким случаям он относится? Понятно ли, когда требуется дополнительный источник? Можно ли по номерам ответов восстановить, почему появилось это правило?

После этого имеет смысл взять несколько новых примеров по той же теме и посмотреть, какое решение предложит агент. Это отдельная проверка: в ходе интервью вы объясняли критерии, а теперь смотрите, как они применяются к другому случаю. Если ответ снова приходится исправлять, важно понять, какого условия не хватило в правиле.

Отдельного внимания требуют действия с тем, что уже готово или опубликовано. В своей теме стоит прямо обсудить, какие изменения агенту разрешены при сомнении и где ему нужен ваш ответ. Само интервью не даёт новых разрешений на публикацию или изменение продукта.

Такой разбор можно применять к своим материалам, исследованиям и продуктовым правкам. Мне в нём интересна возможность достать из повторяющихся замечаний условия, которые я до этого держал в голове. В моём случае пришлось открыть карту и увидеть, кого на ней не хватает, чтобы начать формулировать их точнее.

Скачать промпт

Скачать CALIBRATION-50.md — промпт для калибровки агента на 50 вопросах

Прикрепите файл к рабочему диалогу с агентом и назовите тему, по которой хотите уточнить решения.