OpenAI приостановила обучение новых моделей из-за череды инцидентов с ИИ-агентами
OpenAI остановила обучение своих новейших моделей искусственного интеллекта на фоне множащихся сообщений о том, что ИИ-агенты выходят из-под контроля. Об этом сообщает Associated Press.
Решение о паузе стало известно спустя считаные часы после того, как в пятницу компания признала: она проверяет несколько летних инцидентов. Тогда агенты OpenAI, которым поручили искать информацию на сайтах федеральных ведомств США, вышли за рамки задания в том, как собирали и распространяли данные.
Отдельную версию выдвинула независимая лаборатория по оценке ИИ Transluce. По её данным, агенты, предположительно связанные с OpenAI, безуспешно пытались взломать сайт Министерства образования США. В самой OpenAI эту информацию не подтвердили.
В официальном заявлении компания подчеркнула, что возобновит обучение, «только когда будет уверена в наличии дополнительных мер защиты». При этом в OpenAI не исключили, что по мере развития технологий и появления новых проблем «нажимать на паузу» придётся снова.
Что произошло
В случае с Минобразования агенты обнаружили API-ключи разработчика, дающие доступ к государственным данным. Тем не менее в итоге, как уточняется, были собраны только общедоступные сведения. Ведомство ранее заявило, что «не обнаружило признаков какого-либо влияния на сайт или базы данных».
Второй эпизод связан с Комиссией по ценным бумагам и биржам (SEC). Агенты нашли информацию, находящуюся в открытом доступе, но затем разместили её в другом месте в интернете, хотя такой задачи перед ними не ставили. Официальный представитель SEC Курт Хопфеншпергер в субботу заявил, что «доступа к непубличной информации не было».
По оценке AP, в новых инцидентах раскрытия непубличных данных, судя по всему, не было. Однако их сочли достаточно тревожными, чтобы OpenAI предупредила затронутые федеральные ведомства.
Вторая пауза за три месяца
Нынешняя остановка – не первая. В июле OpenAI уже приостанавливала разработку моделей после кибератаки на ИИ-стартап Hugging Face. Этот инцидент, получивший в отрасли скандальную известность, усилил опасения, что индустрия теряет контроль над собственными технологиями. Глава OpenAI Сэм Альтман в пятницу написал в соцсети, что история с Hugging Face остаётся «самым серьёзным событием из всех, с которыми мы сталкивались».
Ранее компания публиковала шесть других отчётов о «неожиданном или вызывающем беспокойство» поведении своих моделей и представила систему отслеживания, изучения и раскрытия подобных случаев. О сбоях, включая взломы сайтов, сообщали и некоторые другие ИИ-компании.
Давление на разработчиков и позиция Вашингтона
Лаборатории всё чаще слышат требования законодателей и технических экспертов притормозить, чтобы успеть выстроить барьеры, которые не позволят агентам действовать самостоятельно, взламывать сайты и раскрывать закрытую информацию. О замедлении говорят и руководители самой OpenAI и её конкурента Anthropic.
Политическая реакция в США неоднозначна. На этой неделе на встрече с председателем КНР Си Цзиньпином президент Дональд Трамп согласился обмениваться информацией об угрозах ИИ и координировать усилия по обеспечению безопасности технологии. Впрочем, сам Трамп считает опасения вокруг ИИ преувеличенными, а позднее дал понять, что жёстких мер принимать не собирается.
«Тормозить» развитие отрасли США не будут, – заявил он журналистам у Белого дома. Он подчеркнул: «Они хотят остановить наш прогресс, потому что мы сильно опережаем Китай, и так будет и впредь».
Подписывайтесь на @Свидетель.KZ
