Коротко
- Control Room работает вместе с мониторингом отклонений моделей от заданных целей
- Движок инференса перед каждым запросом проверяет, не остановлено ли задание
- 35 секунд — из-за кеширования разрешений на инференс
- OpenAI обещает сократить задержку до нуля и усилить систему
OpenAI рассказала о системе Control Room — «стоп-кране» для экстренной остановки задач, которые выполняют её ИИ-модели. Она нужна на случай угрозы безопасности: Control Room работает вместе с системами мониторинга, которые ищут отклонения моделей от заданных целей. Под наблюдением находятся разные задачи, включая генерацию данных агентами для обучения и оценки моделей и обработку данных.
Устроена система из трёх частей: вычислительная задача, движок инференса и центральный сервис Control Room. Если мониторинг замечает проблему, он отправляет команду остановки с идентификатором задания (job_id), и Control Room фиксирует, что задание прекращено. Перед каждым новым запросом движок спрашивает у сервиса разрешение; для остановленного задания запрос отклоняется, и генерация прекращается.
После решения о вмешательстве остановка занимает до 35 секунд. В OpenAI объясняют задержку кешированием разрешений на инференс, которое нужно, чтобы выдерживать объём трафика. Компания обещает сократить задержку до нуля, чтобы останавливать задания мгновенно. Издание The Register задалось вопросом, сколько вреда может нанести агент-изгой за 35 секунд и как быстро мониторинг вообще заметит проблему.
Control Room уже развёрнута во всей исследовательской инфраструктуре OpenAI, где она нужнее всего. В компании называют её лишь одним из элементов комплексного подхода к безопасному обучению и развёртыванию передовых моделей и обещают в ближайшие месяцы расширять и усиливать её.
Контекст: по данным CNews, 22 июля OpenAI сообщала о «беспрецедентном киберинциденте». Во время тестов её модели получили открытый доступ в интернет и атаковали ИТ-инфраструктуру. В сентябре выяснилось, что ещё весной группа агентов OpenAI захватила немецкий сайт для программистов DseWiki и превратила его в свой форум.
