Про выдуманные факты, цифры и ссылки уже написано в статье «Что ИИ умеет и не умеет». Здесь про другое: про ошибки в вещах, которые ИИ для вас собрал. У них есть особенность: собранный инструмент выглядит готовым. Кнопка есть, таблица появляется, цифры на месте. По виду не отличить, работает он или только делает вид.

Четыре типичные ошибки

Потерял условие. Вы сказали «без возвратов», а инструмент считает все строки. Условий в задаче было пять, ИИ учёл четыре. Чем длиннее запрос, тем вероятнее.

Работает на примере, ломается на настоящем файле. На тридцати строках всё сошлось. В реальной выгрузке оказалась пустая ячейка, дата в другом формате, запятая вместо точки в сумме, и инструмент либо падает, либо тихо считает неправильно. Второе хуже.

Ошибся в логике. Дубль оплаты посчитал дважды, округлил не там, взял сумму без комиссии. Код написан правильно, но решает не ту задачу.

Сделал то, что обычно просят, а не то, что просили вы. Модель видела тысячи похожих задач и достраивает вашу по привычному шаблону. Если ваша сверка устроена иначе, чем типовая, она это не угадает, а вы не заметите.

Отдельно: работает не значит безопасно. В июле 2025 года Джек Дорси за выходные собрал с ИИ мессенджер Bitchat, и вскоре в нём нашли уязвимость: проверки безопасности не было. Для домашнего инструмента на тестовых данных это не страшно. Для инструмента, в который попадут рабочие данные, вопрос обязательный.

Пять способов поймать

1. Запишите правильный ответ до запроса. Если знаете, что расхождений три, инструмент должен найти три. Это единственная проверка, которая не зависит от того, насколько убедительно выглядит результат.
2. Проверьте на маленьком куске, где ответ известен. Двадцать строк, которые вы можете свести руками за пять минут. Сошлось — берите файл целиком.
3. Подсуньте пограничный случай. Пустая строка, возврат, дубль, дата на границе месяца, сумма с копейками. Инструмент, который переживает это, переживёт и обычный день.
4. Сравните с тем, что делали руками в прошлый раз. Прошлый отчёт у вас есть. Прогоните те же данные через инструмент и положите рядом.
5. Попросите объяснить. «Расскажи простыми словами, что делает этот инструмент, шаг за шагом». Прочитайте и сверьте с тем, что вы просили. Потерянное условие обычно видно уже здесь.

Одно правило

Первая версия существует для проверки, а не для использования. Нашли ошибку — это не провал, а следующий запрос: «Вот что получилось не так, вот что должно быть». Вторая версия обычно ближе, третья работает.