НОВОСТИ С ПЕРЕДОВОЙ
Новости с передовой — 20 ноября: проверьте ИИ без подсказок
Свежая запись доклада Google DeepMind: зачем держать проверочные ответы отдельно. Учебный пример для обычного чата.

Проверяйте помощника на отдельных примерах, ответы к которым вы не показывали заранее. Сегодня разбираю один свежий доклад AI Engineer: из него можно взять идею проверки без подсказок. Моя шпаргалка пока останется в конверте.
Видео: оставьте ответы у проверяющего Оригинал: Post-Training Gemini 4 for Real Engineering Work — Melvin Johnson, Google DeepMind. - Канал: AI Engineer. Язык: английский. - Публикация отдельной записи: 19 ноября 2026 года, 01:30:09 МСК. В YouTube — 18 ноября, 14:30:09, UTC−8. - Длительность: 17:50 по метаданным YouTube.
Это запись выступления CODE Summit от 12 ноября, а не сегодняшний запуск продукта. В официальной расшифровке Джонсон описывает скрытые проверочные задания, которые раскрывают после сдачи решения. Он также предупреждает о повторной отправке решения уже после просмотра проверки. Это описание подхода команды к обучению моделей, не доказательство безошибочности Gemini.
:::note Как прочитан доклад
Использована официальная расшифровка той же сессии в общей трансляции: фрагмент 7:42:51–7:48:18. Это часы трансляции, не отдельного ролика. Автоматические субтитры могут ошибаться; весь доклад и видеоряд не проверены.
:::
Попробуйте на учебных сообщениях Ниже — упражнение редакции, а не тест из доклада. Нужны обычный чат и вымышленные сообщения. Обучать модель или устанавливать программы не потребуется.
- Задайте узкую задачу: извлекать дату встречи. Если точной даты нет, писать «не указана».
- На примерах для настройки объясните желаемый ответ. Уточняйте инструкцию только на этих примерах.
- Другие сообщения и правильные ответы сохраните отдельно. После настройки передайте помощнику только сообщения.
- Сохраните первый ответ, затем сами сравните его с ключом. Отметьте каждую ошибку. Не превращайте повтор после подсказки в результат первоначальной проверки.
Учебное сообщение: «Встреча 25 ноября 2026 года, время уточним». Ожидаемая дата: «25 ноября 2026». Другой случай: «Давайте встретимся на следующей неделе». Ожидаемый ответ: «не указана». Эти два открытых примера служат объяснением — для своей проверки придумайте другие.
Где заканчивается вывод Google в учебном курсе рекомендует отделять проверочные данные от обучающих и обновлять наборы после многократного использования. Anthropic предлагает начинать проектирование оценки с вопроса, на который она должна ответить. Это рекомендации разных организаций, а не независимое испытание доклада.
:::summary Что взять себе
Разделите примеры для настройки и проверки. Ключ держите отдельно. Небольшое учебное упражнение помогает увидеть конкретные ошибки, но не измеряет общую надёжность сервиса. Обычный чат не воспроизводит обучение Gemini.
:::
Источники
- AI Engineer — Post-Training Gemini 4 for Real Engineering Work
- AI Engineer — CODE Summit Day 2 source livestream
- AI Engineer — official same-session timestamped transcript
- Google — Datasets: Dividing the original dataset
- Anthropic — Building strong safety evaluations