Знакомая ситуация
Компания собрала документы, подключила к ним ИИ-агента, и первые дни всё хорошо. Потом кто-то спрашивает про условия возврата и получает ответ, который не совпадает с тем, как вы работаете.
Дальше обычно следует вывод: «нейросеть врёт, ей нельзя доверять». Иногда это правда. Но чаще, если проверить, выясняется другое: ответ был честно взят из вашего же документа. Просто в базе лежит ещё один документ, где написано иначе.
Разница принципиальная. В первом случае надо менять инструмент, во втором - разобрать бумаги, которые и так давно пора было разобрать.
Откуда в компании берутся две правды
Ни в одной компании противоречия не заводят специально. Они накапливаются, и всегда примерно одинаково.
Версии поверх версий. Регламент писали в 2023-м, дополняли в 2024-м отдельным файлом, потом сделали новую редакцию, но старую не удалили - вдруг пригодится. Теперь их три, и все три выглядят действующими.
Исключения, живущие отдельно. Основное правило в документе, а «для оптовиков мы делаем не так» - в письме руководителя или в сообщении в чате полугодовой давности. Для человека это одна система, для системы - два независимых источника.
Устные правила. Самое частое. Написано одно, а работают все давно иначе, потому что «так удобнее». Пока знание передаётся из уст в уста, расхождение никого не смущает: «Работают по старому регламенту».
Копии в разных местах. Один и тот же прайс в трёх папках, и правили только один. Классика, из-за которой сотрудник делает работу по устаревшей инструкции: разбор ситуации.
Почему человек справляется, а система нет
Опытный сотрудник, наткнувшись на два разных правила, не зависает. Он смотрит на дату, вспоминает, что говорил руководитель, спрашивает соседа - и выбирает актуальное.
У системы этих подпорок нет. Она видит два фрагмента текста, одинаково похожих на ответ, и берёт тот, что ближе к формулировке вопроса. Не потому что он верный, а потому что он лучше совпал со словами.
Отсюда неприятное свойство: неправильный ответ выглядит так же уверенно, как правильный. Человек хотя бы скажет «вроде так, но лучше уточни». Как устроен этот механизм подбора ответа, разбирали в статье «Откуда ИИ-сотрудник берёт ответы».
Есть и обратная сторона, скорее полезная. ИИ-агент - это первый читатель, который прочитал ваши документы целиком и буквально. Все места, где вы сами себе противоречите, он вытаскивает наружу. Обидно, но полезно.
Как найти противоречия за один проход
Не пытайтесь вычитать всю базу подряд. Идите от вопросов.
- Возьмите двадцать вопросов, которые задают чаще всего. Их знает любой руководитель: условия, сроки, что делать в нестандартном случае, кому звонить.
- Задайте их агенту подряд и сохраните ответы. Это полчаса работы.
- Отметьте те, где ответ неточный. Не «звучит не так», а именно неверный по сути.
- По каждому такому ответу найдите источник. Нормальная система показывает, из какого документа взят фрагмент. Если не показывает - это само по себе повод для вопроса поставщику.
- Посмотрите, что ещё в базе говорит на эту тему. Почти всегда обнаруживается второй документ. Вот он и есть проблема.
На выходе получается список из пяти-десяти мест, которые надо привести в порядок. Обычно этого хватает, чтобы качество ответов изменилось заметно.
Правила, после которых база перестаёт противоречить себе
Четыре штуки, простые до скуки.
Одна тема - один документ. Не «регламент возвратов» плюс «дополнение к регламенту» плюс «уточнение по опту». Всё в одном файле, включая исключения. Исключение, вынесенное отдельно, рано или поздно потеряется.
У документа есть дата и владелец. Кто отвечает за актуальность и когда последний раз проверял. Без этого через год никто не скажет, действует документ или нет: «Кто ведёт базу знаний».
Старая версия удаляется, а не откладывается. Нужна история - держите архив отдельно, вне того, откуда система берёт ответы. Всё, что лежит в базе, считается действующим.
Формулировки однозначные. «Обычно в течение недели» - плохо, «пять рабочих дней» - хорошо. Размытая формулировка даёт размытый ответ, а потом клиент требует то, что услышал.
Что делать с накопленным
Разбирать всё сразу не надо, иначе не начнёте вовсе.
Работает такой порядок: сначала темы, по которым чаще всего спрашивают клиенты (там ошибка стоит денег), потом всё про деньги и обязательства, потом внутренние процессы, потом всё остальное.
Раз в квартал - короткая ревизия по тому же принципу «двадцать вопросов»: она показывает, что успело устареть. Подробнее процедура описана в статье «Ревизия базы знаний», а с чего вообще собирать базу - в статье «Первые десять документов».
У нас база знаний с ИИ-агентом стоит 9 990 рублей в месяц, запуск за 5 дней, настройка и загрузка документов входят в подписку - страница услуг. Но повторю то, с чего начали: инструмент показывает противоречия, а разрешаете их вы. Никакая система не решит за компанию, действует правило из 2023 года или нет.
Кто решает, какая версия верная
Мелочь, на которой всё обычно и застревает. Противоречие находит один человек, а решить, как правильно, он не может: это не его зона.
Поэтому у каждой темы должен быть тот, кто ставит точку. Не «все обсудили», а конкретный человек, который говорит: работаем так, старое удаляем. Иначе оба документа остаются лежать - на всякий случай, - и через месяц вы возвращаетесь к тому же вопросу.
Что делать дальше
Проверьте одну тему - ту, по которой чаще всего спорят внутри. Найдите все документы, где она упоминается. Если файлов больше одного, вы уже нашли причину неточных ответов.
Дальше сведите их в один и посмотрите, изменились ли ответы. Обычно после первой такой сборки становится понятно, сколько всего работы, - и она оказывается меньше, чем казалось.
