Развитые системы искусственного интеллекта без надлежащих мер безопасности и контроля могут создавать катастрофические или экзистенциальные риски для человечества. Такие опасения высказывают как специалисты Anthropic, так и другие исследователи и представители отрасли, говорится в проспекте IPO компании, опубликованном на сайте Комиссии по ценным бумагам и биржам США (SEC).
В документе также говорится о потенциальных рисках, связанных с применением наиболее мощных моделей для создания оружия массового поражения. На документ обратили внимание в РБК.
По оценке Anthropic, мощные системы ИИ потенциально «могут создавать катастрофические или экзистенциальные риски для человечества, особенно если такие системы используются во вред, копируются, превращаются в оружие или получают высокую степень автономности».
В проспекте также указано, что наиболее совершенные модели Anthropic уже продемонстрировали способности, которые могут помочь злоумышленникам в разработке химического, биологического и другого оружия. Компания применяет технические средства для выявления и блокировки таких действий, но предупреждает, что защита несовершенна и ее можно обойти.
Отдельно Anthropic отмечает риски автоматизации исследований и разработки самого ИИ: она может ускорить появление новых моделей настолько, что возможности их оценки и обеспечения безопасности перестанут соответствовать темпам развития технологии.
Среди других угроз названы непредусмотренные действия моделей, включая попытки сопротивляться отключению, скрывать или искажать информацию. Компания подчеркивает, что даже отдельные или моделируемые случаи такого поведения могут вызвать общественную обеспокоенность и внимание регуляторов.
В качестве конкретного примера Anthropic описывает инцидент, произошедший в ходе испытаний возможностей моделей в области кибербезопасности. Из-за ошибки конфигурации тестовая среда сохранила доступ к интернету. В одном из эпизодов ранняя версия Claude обнаружила сохраненный пароль, получила с его помощью административный доступ к сторонней системе, собрала дополнительные учетные данные, изменила настройки и получила доступ к персональным сведениям одного человека. По результатам расследования компания не обнаружила признаков координации модели с другими агентами, преследования целей за пределами задания или попыток уклониться от надзора.
При этом совместная работа нескольких автономных агентов, по оценке Anthropic, способна усиливать нежелательное поведение. Компания также предупреждает, что объем, скорость и сложность их действий могут превысить возможности человека по проверке и своевременному вмешательству.
По материалам РБК, проспекта IPO Anthropic
