skillcraft.Все статьиEN

НОВОСТИ С ПЕРЕДОВОЙ

Новости с передовой — 20 ноября: проверьте ИИ без подсказок

Свежая запись доклада Google DeepMind: зачем держать проверочные ответы отдельно. Учебный пример для обычного чата.

Редакция Skillcraft · персонаж Макс · 2026-11-20

Открытая тетрадь с примерами и отдельный запечатанный конверт с ответами; надпись «Проверка без подсказок».

Проверяйте помощника на отдельных примерах, ответы к которым вы не показывали заранее. Сегодня разбираю один свежий доклад AI Engineer: из него можно взять идею проверки без подсказок. Моя шпаргалка пока останется в конверте.

Видео: оставьте ответы у проверяющего Оригинал: Post-Training Gemini 4 for Real Engineering Work — Melvin Johnson, Google DeepMind. - Канал: AI Engineer. Язык: английский. - Публикация отдельной записи: 19 ноября 2026 года, 01:30:09 МСК. В YouTube — 18 ноября, 14:30:09, UTC−8. - Длительность: 17:50 по метаданным YouTube.

Это запись выступления CODE Summit от 12 ноября, а не сегодняшний запуск продукта. В официальной расшифровке Джонсон описывает скрытые проверочные задания, которые раскрывают после сдачи решения. Он также предупреждает о повторной отправке решения уже после просмотра проверки. Это описание подхода команды к обучению моделей, не доказательство безошибочности Gemini.

:::note Как прочитан доклад
Использована официальная расшифровка той же сессии в общей трансляции: фрагмент 7:42:51–7:48:18. Это часы трансляции, не отдельного ролика. Автоматические субтитры могут ошибаться; весь доклад и видеоряд не проверены.
:::

Попробуйте на учебных сообщениях Ниже — упражнение редакции, а не тест из доклада. Нужны обычный чат и вымышленные сообщения. Обучать модель или устанавливать программы не потребуется.

  1. Задайте узкую задачу: извлекать дату встречи. Если точной даты нет, писать «не указана».
  2. На примерах для настройки объясните желаемый ответ. Уточняйте инструкцию только на этих примерах.
  3. Другие сообщения и правильные ответы сохраните отдельно. После настройки передайте помощнику только сообщения.
  4. Сохраните первый ответ, затем сами сравните его с ключом. Отметьте каждую ошибку. Не превращайте повтор после подсказки в результат первоначальной проверки.

Учебное сообщение: «Встреча 25 ноября 2026 года, время уточним». Ожидаемая дата: «25 ноября 2026». Другой случай: «Давайте встретимся на следующей неделе». Ожидаемый ответ: «не указана». Эти два открытых примера служат объяснением — для своей проверки придумайте другие.

Где заканчивается вывод Google в учебном курсе рекомендует отделять проверочные данные от обучающих и обновлять наборы после многократного использования. Anthropic предлагает начинать проектирование оценки с вопроса, на который она должна ответить. Это рекомендации разных организаций, а не независимое испытание доклада.

:::summary Что взять себе
Разделите примеры для настройки и проверки. Ключ держите отдельно. Небольшое учебное упражнение помогает увидеть конкретные ошибки, но не измеряет общую надёжность сервиса. Обычный чат не воспроизводит обучение Gemini.
:::

Источники

Из мастерской