Галлюцинации нейросетей: как поймать

Запрос «галлюцинации нейросетей» вводят в Яндексе 724 раза в месяц — посчитали по Wordstat в августе 2026 года. Спрашивают обычно после первого болезненного случая: модель уверенно назвала статью закона, которой нет, или сослалась на исследование с правдоподобным названием и выдуманным автором. Ниже — откуда берётся такое враньё, у каких моделей оно измерено в процентах и как поймать выдумку за пять минут.

Что такое галлюцинация нейросети

Галлюцинация нейросети — это ответ, который звучит уверенно и складно, но не соответствует действительности. Модель не ломается и не пытается обмануть. Она достраивает текст по вероятностям, и выдуманный факт внутри этого процесса ничем не отличается от настоящего: оба просто хорошо продолжают фразу.

Отсюда главная неприятность. Ошибку человека обычно видно по неуверенности: он мнётся, оговаривается, ставит вопрос. Модель галлюцинирует ровно тем же тоном, каким отвечает правильно. Уверенность в ответе ИИ вообще не сигнал — ни в плюс, ни в минус.

В сентябре 2025 года вышла работа «Why Language Models Hallucinate» Адама Калаи, Офира Нахума, Сантоша Вемпалы и Эдвина Чжана. Вывод у неё приземлённый: модели выдумывают, потому что обучение и оценка поощряют угадывание, а честное «не знаю» на бенчмарке приносит ноль баллов. Авторы называют галлюцинацию ошибкой бинарной классификации и предлагают чинить не модели, а систему оценок.

Почему нейросеть выдумывает факты

Причин пять, и ни одна не чинится галочкой в интерфейсе.

Модель предсказывает, а не вспоминает. Внутри нет базы фактов с адресами, есть веса, в которых знание размазано статистически. Частое и повторяющееся модель держит крепко, единичное восстанавливает по шаблону. Фамилия автора редкой статьи и год её выхода как раз единичные.

Данные кончаются на дате отсечки. Всё, что произошло после обучения, модель либо не знает, либо достраивает по инерции. Прямой вопрос про вчерашнюю новость почти гарантированно даст выдумку, если у модели нет доступа к поиску.

Обучение поощряет ответ любой ценой. Об этом и работа Калаи с соавторами: оптимизация под тесты делает модель хорошим экзаменуемым, а хороший экзаменуемый не оставляет клеточку пустой.

В запросе есть пробел, и модель его заполняет. Спросите «какие пункты ГОСТа регулируют эту маркировку» — и получите пункты, даже если ГОСТ такого не регулирует. Вопрос содержал допущение, модель его приняла.

Формат тянет за собой содержание. Просьба «дай пять примеров со ссылками» почти всегда даёт ровно пять. Если реальных примеров три, два будут дорисованы: список должен быть заполнен.

Какая модель галлюцинирует реже

Ответ измеряют публично, и он ломает интуицию «дороже модель — меньше врёт». Компания Vectara держит на GitHub открытый рейтинг галлюцинаций при пересказе документов: модель получает статью и обязана изложить только её содержание, ничего не додумывая.

Методика описана в репозитории целиком. В выборке больше 7700 статей длиной от 50 до 24 тысяч слов, темы от медицины до спорта, сам корпус не публикуется, чтобы модели не переобучились под него. Ответы судит HHEM-2.3, оценочная модель Vectara. Все прогоны сделаны при температуре 0. Таблица от 11 мая 2026 года выглядит так (проценты — доля пересказов с выдумкой):

Модель	Галлюцинации	Доля ответов
gpt-5.4-nano	3,1%	100%
gemini-2.5-flash-lite	3,3%	99,5%
gpt-5.4	7,0%	99,9%
gemini-2.5-pro	7,0%	99,1%
gpt-5.4-pro	8,3%	100%
claude-haiku-4.5	9,8%	99,5%
claude-sonnet-4.6	10,6%	99,9%
claude-opus-4.7	12,0%	98,0%
gemini-3-pro-preview	13,6%	99,4%

Порядок внутри семейств перевёрнут относительно ожиданий. Младшая gpt-5.4-nano втрое точнее старшей gpt-5.4-pro в пересказе, Claude Haiku 4.5 обходит Opus 4.7 на два процентных пункта. Крупные модели охотнее обобщают и добавляют связки от себя, а в задаче «перескажи ровно этот текст» любая связка от себя засчитывается как галлюцинация.

Два предупреждения к таблице. Она меряет верность исходному тексту, а не эрудицию: модель с 3% в пересказе может вольно фантазировать про даты и фамилии, когда документа перед ней нет. И смотреть надо на обе колонки сразу — snowflake-arctic-instruct показывает 4,3% галлюцинаций при доле ответов 62,7%, то есть треть задач просто пропускает.

Пять сценариев, где модель врёт чаще всего

Чаще всего галлюцинация приходит в одной из пяти упаковок, и у каждой свой способ проверки.

Тип галлюцинации	Как выглядит	Чем ловится
Выдуманный источник	Статья, судебное дело, ГОСТ, DOI с правдоподобным названием	Открыть ссылку, поискать название целиком в кавычках
Цифра из воздуха	«Рынок вырос на 34%» без указания замера	Спросить издателя, документ и год, сверить с первоисточником
Чужая цитата	Реальный человек, слова которого он не говорил	Поиск точной фразы в кавычках
Несуществующая функция	Метод библиотеки, параметр API, пункт меню	Документация или запуск кода
Отсебятина в пересказе	В резюме документа появилось то, чего в нём нет	Потребовать дословную цитату под каждый тезис

Первый тип уже обзавёлся собственной статистикой. Исследователь Дамьен Шарлотен ведёт открытую базу судебных решений, где стороны сослались на выдуманные ИИ материалы. На 6 августа 2026 года в ней 1847 дел из четырёх десятков юрисдикций: 1278 приходится на США, 204 на Канаду, 97 на Австралию, одно на Россию. Типичный сюжет — юрист подал в суд документ с несуществующими прецедентами.

Как поймать галлюцинацию за пять минут

Быстрее всего работает проверка на расхождение: один и тот же вопрос, заданный дважды в разных чатах, даёт разные выдумки и одинаковые факты. Совпало — скорее правда. Разошлось в деталях — модель угадывает.

В документации Anthropic приём называется Best-of-N verification и стоит в списке продвинутых техник рядом с ещё тремя: заставить модель обосновать ответ по шагам, прогнать вывод через повторный запрос на самопроверку и запретить использовать что-либо, кроме приложенных документов. Там же есть оговорка: техники снижают частоту выдумок, но не убирают их полностью.

Ещё четыре приёма занимают по минуте:

1. Открыть ссылку. Не «выглядит ли она правдоподобно», а именно открыть. Выдуманные URL обычно ведут на 404 или на чужую страницу.
2. Поискать название целиком. Скопировать заголовок статьи в кавычках в поисковик. Пусто — работы не существует.
3. Спросить про несуществующее. Задать вопрос о заведомо выдуманном документе. Если модель бодро его перескажет, она в режиме угадывания, и остальным ответам в этой сессии верить нельзя.
4. Потребовать дословную цитату. «Приведи фрагмент, на котором основан тезис». Модель, которая выдумала, начнёт извиняться или сочинит цитату, а сочинённая цитата ловится поиском.

Что делать для снижения галлюцинаций нейросети

Сильнее всего на частоту выдумок влияет формулировка запроса, и это самый дешёвый рычаг из доступных.

Anthropic советует начинать с разрешения не знать: прямо написать, что при нехватке данных нужно ответить «недостаточно информации». Для документов длиннее 20 тысяч токенов там же рекомендуют другой порядок работы — сначала попросить выписать дословные цитаты, и только потом анализировать по ним. Модель, которая уже процитировала текст, реже дописывает к нему своё.

Дальше — техника вопроса. Не задавайте вопросов с зашитым допущением: «почему компания отказалась от проекта» заставит модель объяснить отказ, даже если его не было. Разбейте задачу на шаги, попросите разметить уверенность по каждому пункту, спорные тезисы выносите отдельным вопросом в новом чате. Приёмы формулировки мы разобрали в материале про промты для нейросети.

Помогают ли RAG, поиск и температура

RAG помогает заметно, поиск помогает точечно, температура не помогает никак.

Схема RAG подставляет модели найденные фрагменты ваших документов, и отвечает она уже по ним. Рядом с ответом появляется ссылка на конкретный кусок текста, который можно открыть глазами. Предел у схемы понятный: если поиск вытащил не тот фрагмент или нужного в базе нет, модель всё равно ответит, теперь уже поверх неполного контекста. Как устроен такой конвейер, разобрано в статье о том, что такое RAG. Google для Gemini называет тот же принцип grounding — ответ подкрепляется результатами веб-поиска и получает ссылки на источники, которые всё равно приходится открывать руками.

С температурой ходит стойкий миф: «поставьте ноль, и врать перестанет». Параметр управляет разбросом, а не знанием: на нуле ответы становятся однообразнее, но выдумка была самым вероятным продолжением с самого начала и потому останется. Anthropic оговаривает это в документации: даже при temperature 0.0 результат не будет полностью детерминированным. Что параметр действительно делает и когда его стоит трогать, разобрано в материале про температуру нейросети.

Убирает ли агрегатор галлюцинации

Нет, и обещать обратное было бы враньём. Галлюцинации рождаются внутри модели: их выдаёт GPT-5, Claude или Gemini, а Trackly передаёт запрос и возвращает ответ. Никакой слой поверх API не превращает выдуманную ссылку в настоящую, и цифры из рейтинга Vectara у нас ровно те же, что у этих моделей где угодно ещё.

Что общий баланс действительно даёт — дешёвую перекрёстную проверку. Один вопрос, два разных семейства, сравнение ответов: там, где сошлись Claude и Gemini, вероятность выдумки резко падает. Второй прогон стоит 12 токенов на Claude Haiku и 12 токенов на Gemini Flash, модели открываются соседними вкладками в каталоге. Это не защита от галлюцинаций, а способ увидеть их своими глазами за минуту.

И последнее, про границу применимости. Там, где цена ошибки — деньги, здоровье или суд, нейросеть годится для черновика и подсказки, куда смотреть. Финальный факт всё равно проверяется в первоисточнике, и отвечает за него человек.

Источники

• Kalai A. T., Nachum O., Vempala S. S., Zhang E. «Why Language Models Hallucinate», arXiv, сентябрь 2025 — arxiv.org, проверено 2026-08-07.
• Vectara, «Hallucination Leaderboard» (HHEM-2.3, обновление от 11 мая 2026) — github.com/vectara, проверено 2026-08-07.
• Anthropic, «Reduce hallucinations», документация Claude API — platform.claude.com, проверено 2026-08-07.
• Google, «Grounding with Google Search», документация Gemini API — ai.google.dev, проверено 2026-08-07.
• Charlotin D., «AI Hallucination Cases» — damiencharlotin.com, проверено 2026-08-07.