ИИ собрал не те данные и сместил метрику на 20%. Виноват оказался не ИИ — Лента — CX Family
← Лента

Статья ИИ собрал не те данные и сместил метрику на 20%. Виноват оказался не ИИ

AI и технологии

Была у меня история. Отдал агенту задачу собрать данные с дашборда, получил расчёт, а дашборд в этот момент был открыт у меня перед глазами. Смотрю - цифры не бьются. Начал разбираться: агент взял не те поля, и в конечной метрике получилось смещение больше 20%. Спрашиваю - как так? Ответ: "не так понял дашборд".


И вот тут важный момент. Первая реакция - ИИ тупой, доверять нельзя. Но если честно, виноват был я. Агент не знал, как устроен этот дашборд, что я называю какой метрикой, где какие поля. Он в моём контексте не жил. А уверенный ответ без контекста - это лотерея.


Про ИИ в работе я уже писал. Сегодня - про то, что отличает "спросил у чата" от системной работы: контекст, база знаний и агенты.


Как я жил без базы знаний


Раньше каждый чат начинался с нуля. Объясняешь заново определения, процессы, как работают инструменты, что с чем связано. Это сжирало подписку с токенами и, что хуже, давало нестабильный вывод: сегодня модель поняла так, завтра - иначе, один и тот же вопрос - разные ответы. Я спотыкался на одних и тех же ошибках просто потому, что контекст жил у меня в голове, а не в системе.


Сейчас подход другой, и он совпадает с тем, куда движется вся индустрия: модели уже достаточно мощные, вопрос не "что умеет модель", а "что ты ей дал". Правильная информация, в нужный момент, в нужном объёме.


База знаний: Obsidian + подключённый ИИ


Я веду базу в Obsidian - это обычные markdown-файлы, которые лежат локально. ИИ подключён прямо к папке и работает с ней в связке: перед каждой задачей смотрит файл с навигацией, идёт читать нужные данные и только после набора контекста делает задачу. Результаты складывает туда же - знание накапливается, а не умирает в истории чата.


Как организовать, чтобы работало:


1. Папки по темам и подтемам. Плоская свалка файлов не работает - ИИ (и ты сам) должен понимать, где что лежит

2. Разделяй черновое и чистое. Сырые заметки и выгрузки - отдельно, проверенные данные - отдельно. Иначе агент притащит в расчёт черновик

3. Файл-навигация в корне. Карта базы: что где лежит и когда чем пользоваться

4. Правило про связи в CLAUDE.md. Самое важное. Пример: хочу провести исследование. У меня есть файл с подходом - что исследуем, как, какой должен быть вывод. И есть результаты предыдущих исследований. ИИ сначала читает подход, потом смотрит прошлые работы - нет ли там материалов, которые можно переиспользовать - и только потом делает. Быстрее и качественнее, чем объяснять с нуля

5. Избегай дублей и неверных данных. Они сбивают логику работы сильнее, чем отсутствие данных


И урок из истории со смещением: теперь на каждый рабочий дашборд я запускаю агента, который описывает, что там есть и как это работает, и создаёт маппинг - как называю метрику я и как она называется технически. Одна такая заметка - и класс ошибок "не так понял дашборд" закрыт навсегда.


Три агента: Аналитик, Исследователь, Автоматизатор


Под разные типы задач у меня отдельные чаты внутри папок Obsidian. У каждого прописаны свои правила работы, и все результаты остаются в его папке. При этом агент может читать базу других агентов, но редактировать - нет. Так информация не перезаписывается.


1. Аналитик - считает цифры, сводит большие объёмы данных, ищет паттерны, выводит сложные прокси-метрики, достаёт инсайты

2. Исследователь - ищет информацию в интернете с проверкой достоверности источников. Чаще всего - соцдем-исследования и методологии: как правильно подобрать подход к оценке, какая математика подходит под данные

3. Автоматизатор - самый интересный. По расписанию (у меня - пятница, 17:00) анализирует задачи за неделю и за предыдущие, ищет повторения: насколько задачи одинаковые, сколько параметров отличалось, можно ли прописать алгоритм. И выходит со списком - какие задачи можно превратить в скилл, какие будут плюсы и минусы


Скилл - это зафиксированный алгоритм решения задачи, который агент подгружает целиком только когда он нужен. Каждый повторный запуск - быстрее, дешевле по токенам и со стабильным результатом. Собирал отчёт руками каждую неделю - теперь это скилл, который отрабатывает одинаково.


Промты: главная ошибка и как я с ней работаю


Самая частая ошибка, которую вижу у коллег - мало информации. Пишут "найди это там" без деталей: где это находится, как правильно забрать, за какой период, как представить. Модель получает выбор - и не задумывается, что именно нужно, потому что формально подойдёт любой вариант.


Моё решение - я не пишу рабочие промты руками. У меня есть отдельный промт-инженер (я зову её Катя): сначала объясняю ей задачу и скармливаю контекст, она собирает промт - с ролью, структурой, форматом вывода и защитой от галлюцинаций. И уже этот промт я отдаю в рабочий чат. Промты на Аналитика, Исследователя и Автоматизатора я собирал так же.


Полный промт Кати выложил здесь. Забирай, работает из коробки.


Где это стреляет в CRM-маркетинге


Максимум пользы связка даёт в отчётах, целях и аналитике. Регулярные отчёты превращаются в скиллы. Аналитика кампаний опирается на базу знаний - определения метрик, прошлые выводы, маппинг дашбордов - и не начинается каждый раз с чистого листа. А по целям всегда есть зафиксированный контекст: что меряем, зачем и что считается успехом.


Если собрать всё в одну мысль: ИИ - это классная машина, которую нужно научиться водить. База знаний - это твоя карта дорог, агенты - коробка передач, промты - руль. Но куда ехать, по-прежнему решаешь ты сам


Комментарии

Войдите или зарегистрируйтесь, чтобы оставить комментарий

Комментариев пока нет
Сообщить об ошибке
Помогите нам стать лучше

Мы молодой развивающийся сервис и хотим исправлять ошибки как можно быстрее. Опишите что пошло не так — это займёт 1 минуту.

Страница
ОС
Браузер
Экран
Email
Email *
Спасибо! Мы разберёмся.