ЗАМЕТКИ МАКСА
Как проверить ответ нейросети: факты, числа и ссылки
Уверенный тон ещё ничего не доказывает. Покажу порядок проверки, в котором длинный ответ превращается в несколько конкретных утверждений.
Чтобы проверить ответ нейросети, разделите его на проверяемые утверждения, найдите основания для каждого важного тезиса и отдельно пересчитайте числа. Ссылка и уверенный тон сами по себе не подтверждают содержание.
OpenAI предупреждает, что ChatGPT может ошибаться и придумывать факты или ссылки. Поэтому важную информацию нужно сверять, даже если ответ выглядит убедительно. [1] Ниже — мой рабочий порядок, а не обещание найти абсолютно все ошибки.
Сначала выделите то, что можно проверить
Представим полностью вымышленный ответ: «После сокращения расходов с 80 до 60 тысяч экономия составит 25%, а услуга доступна во всех странах».
Здесь как минимум два разных тезиса:
- Расчёт экономии.
- Доступность услуги.
Первый проверяется арифметикой. Для второго нужны название сервиса, условия, страна и актуальная дата. Один правильный расчёт не делает правильным всё соседнее предложение.
Числа пересчитайте отдельно
В примере экономия равна 20 тысячам. Делим её на исходные 80 тысяч: 20 / 80 × 100 = 25%.
Заодно проверьте, что сравнивается одинаковый период и состав расходов. Ежемесячный платёж нельзя незаметно сравнить с годовым. Формула может быть верной, а исходные величины — несопоставимыми.
Если модель не показала исходные данные, попросите их перечислить. Недостающая сумма должна остаться неизвестной, а не появиться из вежливости.
Со ссылкой проверьте три вещи
Откройте источник и найдите конкретное место, на которое опирается тезис.
- Страница действительно существует?
- В ней сказано именно то, что утверждает ответ?
- Условия относятся к нужной дате, стране и версии продукта?
Заголовок похожей статьи — ещё не подтверждение. Для тарифа лучше текущая страница поставщика, для функции — справка продукта. Старый обзор полезен как след к источнику, но его дату нельзя потерять по дороге.
Попросите разметить неопределённость
Можно дать такой запрос:
Разбери предыдущий ответ на отдельные фактические утверждения. Для каждого укажи источник и конкретный подтверждающий фрагмент, если он доступен. Отдели сведения из предоставленного текста от собственных предположений. Если подтверждения нет, напиши «не подтверждено». Не придумывай ссылки.
Полученный список тоже нужно просмотреть. Просьба перепроверить себя — дополнительный проход, а не независимое доказательство. Второй чат может повторить ту же ошибку.
Как принять решение
Я бы помечал важные пункты тремя статусами: подтверждено, требуется уточнение, не подтверждено. Затем исправлял текст так, чтобы он не выдавал последние два за факт.
Для вымышленной фразы выше итог простой: расчёт подтверждён пересчётом, а доступность без названия сервиса установить нельзя. Часть ответа полезна, часть пока не готова. Такой результат честнее универсальной оценки «нейросеть права».