Anthropic рассказали о риске самосовершенствующегося ИИ

Компания Anthropic предупредила, что развитие искусственного интеллекта может привести к появлению систем, способных участвовать в создании собственных преемников без постоянного участия человека. По мнению разработчиков, подобные технологии могут появиться быстрее, чем общество успеет подготовиться к связанным с ними рискам.

Об этом заявили руководитель Института Anthropic Марина Фаваро и соучредитель организации Джек Кларк. По их словам, современные ИИ-агенты уже способны выполнять задачи, которые ранее полностью зависели от специалистов. Такие системы могут писать и запускать программный код, распределять задачи между другими агентами и ускорять разработку новых решений.

В компании отмечают, что роль человека в процессе создания искусственного интеллекта постепенно сокращается. Если раньше специалисты контролировали все этапы разработки, то теперь часть работы передается самим моделям. Это позволяет ускорить исследования и повысить эффективность создания новых технологий.

Особое внимание в Anthropic уделяют сценарию рекурсивного самосовершенствования. Речь идет о ситуации, при которой искусственный интеллект сможет разрабатывать более продвинутые версии самого себя. Хотя такой сценарий пока остается теоретическим, в компании считают, что его нельзя исключать в будущем.

По оценке Anthropic, темпы развития отрасли заметно выросли. Если раньше возможности моделей удваивались примерно каждые 7 месяцев, то сейчас этот показатель сократился до 4 месяцев. Кроме того около 80% кода, интегрированного во внутреннюю программную базу компании, было создано моделью Claude.

Исследователи полагают, что по мере роста качества машинного кода программисты будут все чаще заниматься его проверкой, а не написанием. Однако объем решений, создаваемых ИИ, может увеличиться настолько, что человеческий контроль станет главным ограничением дальнейшего развития технологий.

Автор

Андрей Александров