Сегодня Институт безопасности искусственного интеллекта США заключил соглашения с двумя ИИ-стартапами, Anthropic и OpenAI. В соответствии с ними институт будет получать ранний доступ к новым моделям компаний (Claude и ChatGPT) до их публичного релиза и предоставлять им обратную связь о возможных улучшениях безопасности. Cоглашения nfr;t предполагают совместную оценку безопасности, исследования и тестирования искусственного интеллекта.
Институт безопасности искусственного интеллекта США был создан в 2023 году при Национальном институте стандартов и технологий (The National Institute of Standards and Technology, NIST). Его задача — разрабатывать рекомендации по безопасности ИИ и снижать риски, связанные с передовыми ИИ-системами. Перед оценкой безопасности новых моделей институт будет консультироваться с аналогичным учреждением в Великобритании.
Подобное сотрудничество институт уже заключил с Meta*, компания предоставляет организации ранний доступ к своим моделям Llama. А вот Google пока держится от таких соглашений в стороне.
В мае гендиректор OpenAI Сэм Альтман и технический директор OpenAI Грег Брокман заявили об отсутствии проблем безопасности в ИИ-продуктах OpenAI после расформирования команды Superalignment и ухода из компании главного научного сотрудника по машинному обучению Ильи Суцкевера и руководителя отдела разработки ИИ Яна Лейке. В OpenAI заявили, что компания стремится использовать «очень тесную петлю обратной связи, тщательное тестирование, тщательное рассмотрение на каждом этапе, безопасность мирового класса и гармонию возможностей безопасности».
В июле 2023-го американское правительство заручилось обязательствами семи ведущих компаний в области искусственного интеллекта (ИИ) по обеспечению безопасности пользователей при использовании новых технологий.
Компании Amazon, Anthropic, Google, Meta* Microsoft, Inflection и OpenAI обязались проводить тщательные тестирования своих ИИ-инструментов перед их презентацией общественности и выходом на рынок. Они также должны сотрудничать с государственными органами, гражданскими организациями и научными структурами и инвестировать в кибербезопасность и выявление уязвимостей в своих системах. Кроме того, они обязались маркировать контент, созданный ИИ.
*Meta Platforms признана экстремистской организацией, её деятельность в России запрещена.
Источник: habr.com