Anthropic предупредила о рисках ускоренного развития искусственного интеллекта

Компания Anthropic, создавшая нейросеть Claude, предупредила о потенциальных угрозах, связанных с возможностью самосовершенствования искусственного интеллекта. Разработчики допускают, что ИИ в перспективе сможет самостоятельно ускорять создание новых моделей, формируя непрерывный цикл технологического развития. Об этом говорится в дополнении к документам для выхода компании на биржу, поданном 2 ноября в Комиссию по ценным бумагам и биржам США (SEC).

Такой механизм называют рекурсивным самосовершенствованием. Он предполагает, что одна модель помогает создавать следующую, более совершенную версию, которая затем еще эффективнее участвует в разработке последующих систем.

В Anthropic предусмотрели критерий, позволяющий оценить масштаб такого ускорения. Согласно политике ответственного развития, тревожным рубежом считается ситуация, когда ИИ помогает за год выполнить объем исследовательской работы, на который без нейросетей потребовалось бы два года. Пока ни одна из действующих моделей Claude не достигла этого уровня.

При этом искусственный интеллект уже активно задействован в разработке продуктов компании. По данным Anthropic, в сентябре 2026 года Claude написал свыше 90% программного кода, добавленного в проекты разработчика. Кроме того, нейросеть помогает проводить эксперименты, анализировать данные и проверять научные результаты.

В компании опасаются, что системы контроля и защиты могут не успевать за технологическим прогрессом. Anthropic признала, что ранее не всегда своевременно замечала ускорение собственных исследований. Также существует риск, что ошибки, допущенные при разработке одной модели, будут воспроизводиться в следующих поколениях.

Среди возможных последствий разработчик выделяет утечки конфиденциальной информации, непредусмотренное поведение автономных систем и использование мощного ИИ в опасных исследованиях, включая создание химического и биологического оружия. В компании также рассматривают сценарии, которые могут представлять угрозу для человечества.

Для усиления безопасности Anthropic планирует тщательнее контролировать исследовательские процессы, фиксировать значимые действия нейросетей и привлекать независимых экспертов. Кроме того, обсуждается введение обязательного участия человека при принятии отдельных решений.

Ранее глава компании Дарио Амодеи призвал сдерживать темпы развития искусственного интеллекта. В интервью CBS News в сентябре он заявил, что технологическая отрасль недостаточно открыто обсуждает связанные с ИИ угрозы. По его словам, возможности нейросетей растут быстрее, чем он ожидал, поэтому разработчикам необходимо усилить внимание к безопасности и контролю, сообщает "Самара Онлайн 24".