«Остановите нас» — или не мешайте гонке? Что видно, если сложить открытые данные об ИИ в один пазл

Что скрывается за заголовком «ИИ вышел из-под контроля»  

Один из эпизодов, на которые ссылается Амодеи, произошёл летом 2026 года во время внутренних испытаний моделей OpenAI в области кибербезопасности. Популярный пересказ легко превращает произошедшее в сюжет «ИИ сбежал из песочницы и начал взламывать Интернет», но первичный разбор OpenAI даёт более содержательную картину. Внутренние исследовательские модели во время испытаний получили непредусмотренный доступ к внешним ресурсам, использовали сторонние сервисы и затронули инфраструктуру Hugging Face; основную роль играла исследовательская модель, которая не предназначалась для публичного выпуска. OpenAI назвала случившееся беспрецедентным для своих испытаний киберинцидентом, подключила внешних специалистов к оценке произошедшего и впоследствии существенно усилила защиту исследовательской среды.

Здесь важно убрать антропоморфизм. Нет оснований утверждать, что модель «захотела сбежать», обрела инстинкт самосохранения или сознательно решила атаковать третью сторону. Гораздо интереснее другое: системе была поставлена задача, а в процессе её выполнения она обнаружила последовательность действий, которая помогала приблизиться к цели, но выходила за границы, предусмотренные разработчиками. С точки зрения информационной безопасности ситуация довольно знакомая: субъект получает определённые полномочия, исследует доступную среду, обнаруживает неожиданную цепочку возможностей и пересекает границу доверия, которую проектировщик считал достаточной. Только субъект теперь способен самостоятельно писать код, искать варианты действий и перестраивать стратегию по результатам предыдущих попыток.

Практические последствия тоже важны. OpenAI сообщила, что в ходе подготовки Astra задерживала отдельные этапы разработки и выпуска, пока усиливала защиту от злоупотребления кибервозможностями и от несанкционированных действий самой модели. 3 сентября компания представила GPT-6 Astra как первую широко развёрнутую модель, достигшую по её внутренней методике критического уровня возможностей в области кибербезопасности. Под этим OpenAI понимает способность модели при наличии необходимых инструментов и доступа находить ранее неизвестные уязвимости и разрабатывать новые способы их эксплуатации в хорошо защищённых системах без пошагового руководства со стороны человека. Для работы с Astra компания усилила изоляцию, мониторинг действий, защиту контрольных состояний модели и обязательные оценки безопасности перед внутренним использованием.

Это не означает, что Astra способна самостоятельно «взломать весь Интернет». Но меняется сама модель угроз. Раньше основной вопрос вокруг мощного ИИ звучал примерно так: что сможет сделать злоумышленник, если получит такой инструмент? Теперь разработчики вынуждены отдельно учитывать другой сценарий: что сможет сделать достаточно автономная система в процессе выполнения разрешённой задачи, если её понимание допустимых способов достижения цели не совпадёт с ожиданиями оператора. И здесь журналистские истории неожиданно хорошо стыкуются с академическими исследованиями контроля ИИ.

На конференции ICML ещё в 2024 году была опубликована работа AI Control: Improving Safety Despite Intentional Subversion. Её авторы предлагают исходить не из предположения, что мощная модель обязательно будет вести себя правильно, а из более жёсткой модели угроз: сильная модель считается недоверенным компонентом, а окружающая архитектура должна препятствовать вредному результату даже в случае попытки обойти контроль. Эксперименты проводились на программных задачах с использованием сильной недоверенной и более слабой доверенной модели, а затем сами протоколы защиты подвергались проверке на возможность обхода. Для специалиста по ИБ эта логика почти привычна: безопасность строится не на доверии к намерениям субъекта, а на техническом ограничении того, что он в принципе способен сделать.

В этом смысле вокруг ИИ постепенно возникает аналог модели нулевого доверия. Не требуется утверждать, что модель злонамеренна; достаточно не считать её безошибочной и не предоставлять лишние полномочия только потому, что при испытаниях она вела себя корректно. Принцип минимально необходимых привилегий, изоляция, разделение полномочий, журналирование, независимый контроль и эшелонированная защита оказываются применимы уже не только к человеку или программному сервису, но и к автономному агенту. И, пожалуй, именно это гораздо практичнее разговоров о том, «осознаёт ли ИИ себя».

Реальный риск, удачный пиар или попытка написать правила под себя?  

После этого можно вернуться к первоначальному подозрению: не являются ли призывы руководителей ИИ-компаний просто эффективной рекламой? Такой мотив нельзя исключать. Фраза «наша новая модель получила ещё несколько процентов на очередном тесте» привлекает всё меньше внимания, а заявление «мы создали технологию настолько мощную, что сами просим государство ввести ограничения» является очень сильным сигналом о возможностях компании. Опасность в таком случае становится одновременно и аргументом в пользу осторожности, и демонстрацией технологического лидерства.

Однако противопоставлять «реальный риск» и «пиар» было бы ошибкой. Компания действительно может опасаться поведения своих будущих моделей, одновременно понимать, что одностороннее торможение ухудшит её конкурентное положение, стремиться заранее участвовать в формировании правил будущего рынка и получать репутационную выгоду от образа ответственного технологического лидера. Более того, сложное регулирование может объективно укреплять позиции крупных игроков: дорогостоящие независимые испытания, специальные защищённые вычислительные среды, постоянный мониторинг и контроль вычислительных ресурсов значительно проще обеспечить корпорации с многомиллиардным бюджетом, чем небольшой лаборатории или новому участнику рынка. Поэтому безопасность, коммерческие интересы и возможность сформировать удобную регуляторную среду вполне способны указывать в одну сторону одновременно.

Проверить серьёзность заявлений можно будет скорее по действиям, чем по интервью. Если компании действительно будут задерживать развитие и выпуск систем при неудовлетворительных результатах оценки безопасности, публиковать неблагоприятные результаты и предоставлять независимым специалистам содержательный доступ к своим лабораториям, версия «это исключительно маркетинг» станет слабее. OpenAI уже продемонстрировала как минимум один пример реальной задержки разработки Astra ради усиления защитных мер, поэтому свести всю историю к рекламной кампании было бы преждевременно. Но если объём вычислений, расходы на обучение и скорость выпуска моделей продолжат максимально расти, а ограничения останутся главным образом пожеланием к государству распространить правила на всех участников рынка, скептическое объяснение получит дополнительные основания.

И тут появляется Китай, который превращает и без того сложную задачу в геополитическую. Упрощённое утверждение, будто КНР «вообще не регулирует ИИ», неверно: китайские власти достаточно жёстко регулируют публичные сервисы, данные, содержание выдачи и применение алгоритмов. Но одновременно государственная политика направлена на быстрое развитие и массовое внедрение самой технологии. В программе Государственного совета КНР «ИИ+» установлена цель к 2027 году довести распространённость нового поколения интеллектуальных терминалов и ИИ-агентов более чем до 70%, а к 2030 году — более чем до 90%; отдельное направление посвящено ускорению научных открытий с помощью ИИ и развитию соответствующей исследовательской инфраструктуры.

Получается важное различие между контролем применения технологии и ограничением роста её возможностей. Можно довольно строго регулировать то, как ИИ предоставляется пользователю, и одновременно стимулировать создание более сильных моделей, вычислительной инфраструктуры и ИИ-агентов. Если США вводят жёсткий порог, после которого развитие наиболее мощной модели приостанавливается до завершения независимых проверок, а другая технологическая держава аналогичных ограничений не принимает, глобальный риск необязательно исчезает — может измениться лишь лидер гонки. Именно поэтому даже предложение Амодеи в конечном счёте упирается в международную координацию: национальное регулирование решает далеко не всю задачу. 

Возможно, AGI — вообще не тот порог, за которым стоит следить  

Большая часть публичного разговора о будущем ИИ всё ещё вращается вокруг вопроса «когда появится AGI?» — общий искусственный интеллект, сопоставимый с человеком по широкому набору интеллектуальных задач. Проблема в том, что единого определения и общепринятого испытания для него до сих пор нет. В обзоре РБК, обновлённом 25 августа 2026 года, вывод остаётся консервативным: говорить о достижении AGI рано, поскольку даже наиболее сильные модели продолжают ошибаться на задачах, простых для человека, а новые испытания обнаруживают ограничения, которые старые тесты уже перестали различать.

Одновременно руководители крупнейших лабораторий используют гораздо более короткие сроки. В опубликованном 3 сентября материале на Habr, основанном на материале Alex Heath, приводятся слова Сэма Альтмана о том, что к концу 2026 года внутри OpenAI может появиться система, которую он сам будет готов назвать AGI; директор по исследованиям Марк Чен оценивает продвижение компании примерно в 80% пути. В том же материале описывается экспериментальная система, которой можно передать исследовательскую идею, после чего она способна реализовать эксперимент в кодовой базе, выполнить его и вернуть результаты. Важно воспринимать это именно как оценки руководителей OpenAI, а не как установленный научный факт о достижении AGI.

Для оценки рисков сам ярлык может оказаться менее полезным, чем конкретные свойства системы. Намного важнее, способна ли она длительно работать без постоянного участия оператора, самостоятельно разбивать цель на подзадачи, пользоваться внешними инструментами, писать и выполнять код, изменять план после неудачи, взаимодействовать с другими информационными системами и координировать работу других агентов. И особенно важен следующий вопрос: насколько активно сам ИИ начинает участвовать в исследованиях и разработке следующего поколения ИИ. Как только такие способности появляются, система качественно меняется с точки зрения модели угроз независимо от того, согласились ли исследователи уже называть её AGI.

И вот здесь открытая научная литература даёт, пожалуй, один из наиболее важных элементов нашего пазла. В марте 2026 года в Nature вышла работа Towards end-to-end automation of AI research. Представленная в ней система автоматизирует значительную часть исследовательского цикла в машинном обучении: формирует идеи, ищет литературу, пишет код, проводит эксперименты, анализирует результаты, строит графики, готовит рукопись и выполняет автоматизированное рецензирование. Авторы не утверждают, что человеческий исследователь больше не нужен, и подробно обсуждают ограничения качества; тем не менее одна из автоматически подготовленных работ прошла первый этап рецензирования на научном мероприятии по машинному обучению.

Почти одновременно эта логика переходит из исследовательского прототипа во внутреннюю работу крупных лабораторий. 6 сентября OpenAI сообщила, что считает достигнутой ранее поставленную цель создания «автоматизированного исследователя-стажёра» — системы, способной под человеческим руководством выполнять исследовательские задачи, которые квалифицированному специалисту могли бы потребовать нескольких дней. Следующая цель компании — автоматизированный исследователь ИИ, работающий под человеческим надзором и участвующий в дальнейшем развитии глубокого обучения и методов согласования поведения моделей с целями человека.

Это ещё не означает появления системы, которая самостоятельно создаёт всё более совершенные копии самой себя. Человек по-прежнему определяет направления исследований, оценивает идеи, выделяет ресурсы и принимает решение о внедрении. Но один из необходимых элементов потенциальной положительной обратной связи уже перестал быть чисто теоретическим: ИИ начинает ускорять исследования в области ИИ. Если следующая модель оказывается более эффективным исследователем, она потенциально способна автоматизировать ещё большую часть следующего цикла разработки; именно возможность такого рекурсивного улучшения становится отдельным предметом исследований.

В июне 2026 года Google DeepMind опубликовала работу From AGI to ASI, посвящённую именно тому, как теоретически может развиваться ИИ после достижения человеческого уровня. Авторы рассматривают четыре направления: дальнейшее масштабирование AGI, появление новой архитектурной парадигмы, рекурсивное улучшение и возникновение сверхчеловеческих возможностей у крупных коллективов взаимодействующих ИИ-агентов. DeepMind не утверждает, что какой-либо из этих сценариев неизбежен и что после AGI обязательно произойдёт быстрый «взрыв интеллекта»; напротив, речь идёт о возможных траекториях с большой неопределённостью. Но показательно уже то, что вопрос «что происходит после AGI?» перешёл из футурологических эссе в техническую исследовательскую программу одной из ведущих лабораторий мира. 

От цифрового агента к действию в физическом мире  

Следующий кусочек пазла лежит уже за пределами дата-центров. В робототехнике быстро развивается класс моделей «зрение — язык — действие», которые связывают восприятие окружающей среды, понимание инструкции, планирование и непосредственное управление физическим механизмом. Обзор, опубликованный в 2026 году в IEEE Transactions on Neural Networks and Learning Systems, описывает развитие таких систем от предсказания низкоуровневых действий до высокоуровневого разбиения длительной задачи на последовательность подзадач. Авторы прямо рассматривают искусственный интеллект, действующий в физическом мире, как одно из значимых направлений развития общего искусственного интеллекта.

Поэтому эффектные демонстрации производителей лучше рассматривать не как отдельные «чудеса», а как иллюстрацию более широкого технического тренда. 7 сентября Unitree заявила о демонстрации UnifoLM-X2-1.0 — системы, в которой модель мира в реальном времени управляет гуманоидом во время спарринга: прогнозирует развитие физического взаимодействия, принимает решения и выполняет движения без дистанционного управления. Это именно заявление производителя, а не независимый научный результат; внешние испытания и подробные данные о воспроизводимости пока отсутствуют. Тем не менее сам факт, что производитель уже демонстрирует связку «восприятие — прогноз — выбор действия — физическое исполнение» в динамической среде, значительно интереснее самого бокса.

Военное применение таких технологий тоже уже нельзя относить исключительно к научной фантастике. Reuters в сентябре изучил более ста китайских военных закупок, исследований, патентов, официальных публикаций и материалов оборонных компаний и пришёл к выводу, что структуры Народно-освободительной армии систематически исследуют возможное применение гуманоидных роботов и других автономных платформ, включая совместную работу с военнослужащими. После Всемирных игр человекоподобных роботов официальное издание НОАК призвало быстрее переносить перспективные технологии из лабораторий на военные полигоны. При этом Reuters не нашёл доказательств того, что вооружённые гуманоиды уже массово развёрнуты в действующих подразделениях, — и это важная граница между реальным трендом и заголовком об «армии терминаторов».

Причём для появления опасной автономной военной системы вовсе не требуется AGI человеческого уровня. Роботу не нужно писать стихи, понимать все области человеческой культуры или заниматься фундаментальной математикой; достаточно надёжно воспринимать окружающую среду, ориентироваться, классифицировать объекты, строить маршруты, координироваться с другими системами и выполнять поставленную задачу. Поэтому переход к высокой автономности может происходить совершенно постепенно: сначала ИИ анализирует данные для оператора, затем предлагает варианты решения, потом самостоятельно сопровождает объекты и распределяет задачи между платформами, оставляя человеку только подтверждение ключевого действия.

И вот здесь возникает проблема, которую тоже уже изучает академическая литература. Работа Human control of AI systems: from supervision to teaming в AI and Ethics рассматривает ограничения классической модели человеческого надзора применительно к фундаментальным моделям и системам с высокой автономностью. Авторы отмечают в том числе потерю оператором ситуационной осведомлённости и риск чрезмерной зависимости от рекомендаций автоматизированной системы; по мере роста возможностей ИИ простое присутствие человека «над системой» ещё не гарантирует содержательного контроля.

Представим систему, которая сама обнаружила объект, классифицировала его, оценила угрозу, выбрала вариант действия и вывела оператору готовое предложение на подтверждение. Формально окончательное решение принимает человек. Но если таких предложений поступают десятки или сотни, а на реакцию остаются секунды, вопрос уже не в наличии кнопки подтверждения, а в том, способен ли оператор содержательно проверить вывод машины. Автоматизация при этом может продвигаться без единственного политического момента, когда кто-то решит «передать войну роботам»: каждый следующий шаг будет объясняться сокращением времени реакции, повышением точности или уменьшением риска для собственных военнослужащих.

Масштабирование физического мира: от «роботы делают роботов» к реальной промышленности  

Один автономный робот сам по себе мало что меняет. Намного важнее способность производить такие машины массово, и здесь очередной громкий заголовок тоже оказывается интереснее после проверки первоисточников. Ещё в 2023 году Tesla показала на встрече с инвесторами видео, где два Optimus выполняют отдельные операции рядом с собираемым третьим роботом: один переносит механическую руку, второй работает с ней при помощи инструмента. СМИ быстро описали это как «роботы собирают самих себя», хотя короткая демонстрация, разумеется, не доказывала способность Optimus самостоятельно пройти полный производственный цикл.

Спустя три с половиной года речь уже идёт не только о демонстрационном ролике. 12 сентября 2026 года в китайском Лючжоу начала работу фабрика промышленных человекоподобных роботов, рассчитанная на мощность порядка десяти тысяч единиц. По сообщению «Синьхуа», производственная линия предусматривает выпуск готовой платформы примерно каждые десять минут, а производство, испытания, складирование и отправка объединены в цифровой процесс; агентство прямо использует формулу «использовать роботов для производства роботов». Здесь тоже необходимы оговорки: десять минут — это такт линии, а не полный срок изготовления конкретной машины, а заявленная мощность предприятия ещё не равна фактически подтверждённому многолетнему объёму выпуска. Тем не менее переход от вручную собираемого прототипа к специализированной промышленной инфраструктуре на тысячи физических платформ очевиден.

Особенно любопытно, что сама идея рекурсивной роботизированной сборки уже давно существует и как нормальное научное направление. В Communications Engineering в 2022 году была опубликована работа MIT и U.S. Army Research Laboratory о модульной роботизированной системе, способной к последовательной, рекурсивной и иерархической сборке. В специально подготовленной среде робот-сборщик может из унифицированных блоков создавать дополнительные роботы-сборщики, а те — участвовать в дальнейшем строительстве; авторы прямо называют это recursive assembly, то есть рекурсивной сборкой. Система очень далека от фантастического автономного завода: она использует подготовленные модули, структурированную среду и централизованное планирование. Но утверждение, что принцип «машины создают дополнительные машины» существует исключительно в научной фантастике, уже тоже неверно.

Отсюда появляется более интересный вопрос: что вообще считать самовоспроизводящейся цифровой системой? Необязательно представлять одного робота, который добывает руду, плавит металл и буквально собирает свою копию. Достаточно представить достаточно автономный программный контур, который определяет необходимость дополнительных платформ, формирует производственные задания, управляет закупками и логистикой, распределяет задачи по автоматизированным участкам, контролирует испытания и загружает программное обеспечение в готовые устройства. Ни один отдельный робот при этом не «рождает» другого, но система в целом увеличивает количество своих физических исполнительных устройств. Сегодня подобной полностью автономной цепочки нет, однако отдельные технологические звенья — автоматизированное планирование, роботизированная сборка, цифровое управление производством и серийный выпуск физических платформ — уже существуют независимо друг от друга.

Но есть физика — и она может оказаться сильнее любой экспоненты  

На этом месте обязательно нужен контраргумент против слишком красивой картины самоускорения. Искусственный интеллект не существует отдельно от материального мира: для обучения и работы современных моделей нужны вычислительные ускорители, память, сети, центры обработки данных, системы охлаждения, электростанции, производство полупроводников и огромное количество капитала. Даже если система завтра предложит улучшение архитектуры следующего поколения ИИ, идею всё равно придётся реализовать, проверить и обучить на реальном оборудовании. Именно поэтому из факта автоматизации исследований совсем не следует автоматическая цепочка «AGI → несколько недель → сверхинтеллект».

Но показательно, что отрасль уже пытается расширять и этот предел. NVIDIA в августе сообщила, что SpaceXAI планирует использовать платформу Vera Rubin не только в наземной инфраструктуре, но и в первом поколении спутниковой вычислительной системы Starmind. Компания связывает Vera с нагрузками автономных ИИ-агентов, которым необходимо координировать инструменты, выполнять программный код, обрабатывать данные и запускать моделирование. Google независимо развивает Project Suncatcher — исследовательскую концепцию сети спутников с собственными тензорными процессорами и оптическими линиями связи; два прототипа планируется вывести на орбиту в начале 2027 года. Пока это эксперименты и планы, а не действующие космические центры обработки данных, но сам факт подобных проектов показывает, насколько значимыми становятся вычислительные ресурсы в гонке ИИ.

И здесь физика быстро охлаждает фантазию буквально. В космосе невозможно использовать обычную конвекцию, поэтому вычислительное тепло необходимо сбрасывать преимущественно излучением. IEEE Spectrum оценивает, что для одного NVIDIA H100 мощностью около 700 Вт при температуре порядка 60 °C потребуется около 1,4 квадратного метра радиатора, а для обычной вычислительной стойки мощностью около 40 кВт — уже порядка 80 квадратных метров. К этому добавляются деградация материалов под воздействием космической среды, радиация, масса конструкций, ремонтопригодность и стоимость запуска. Поэтому «перенесём все ИИ-центры в космос» сегодня скорее инженерная гипотеза, чем очевидная экономическая стратегия.

Однако для общей картины здесь важен не космос сам по себе. Важна реакция системы на ограничение: если дальнейшее развитие упирается в вычислительные мощности, компании увеличивают наземные центры обработки данных, энергетическую инфраструктуру, производство ускорителей и одновременно исследуют новые способы размещения вычислений. Это не означает, что любой предел обязательно будет преодолён, но показывает, почему простое предположение «развитие скоро само остановится из-за железа» тоже требует доказательств.

Что получается, если всё-таки собрать пазл  

Теперь можно вернуться к тем самым громким заголовкам. «ИИ сбежал» после проверки превращается в реальную проблему контроля автономного субъекта, который способен находить непредусмотренные стратегии достижения цели. «ИИ сам себя улучшает» оказывается слишком сильным утверждением, но под ним обнаруживается вполне реальная автоматизация значительной части научного цикла и участие ИИ в разработке следующего поколения ИИ. «Роботы сами дерутся» — пока в значительной степени заявление производителя, но под ним существует зрелое научное направление моделей, соединяющих зрение, планирование и физическое действие. «Роботы делают роботов» оказывается журналистским преувеличением применительно к отдельным промышленным демонстрациям, однако рекурсивная роботизированная сборка действительно существует в научных экспериментах. «Армия терминаторов» тоже не подтверждается, но военные структуры совершенно реально изучают автономные гуманоидные и другие роботизированные системы.

Если убрать наиболее эффектные формулировки, становятся видны три процесса, которые уже идут одновременно. Первый — рост интеллектуальной самостоятельности: ИИ переходит от ответа на запрос к длительной работе над целью, использованию инструментов, выполнению кода, координации агентов и участию в исследованиях. Второй — расширение области действия: сначала модель получает доступ к файлам, браузеру, программным интерфейсам и информационным системам, затем тот же подход переносится на физические механизмы. Третий — масштабирование инфраструктуры: увеличиваются вычислительные мощности, серийное производство роботов, автоматизация предприятий и количество устройств, которыми потенциально может управлять программный интеллект.

Самое интересное начинается в точках их пересечения. ИИ, который помогает исследовать ИИ, создаёт потенциальный интеллектуальный контур ускорения: более совершенная система может автоматизировать большую часть разработки своего преемника. Роботизация производства создаёт промышленный контур: рост числа машин позволяет автоматизировать новые операции и потенциально снижать стоимость последующего масштабирования. Расширение вычислительной инфраструктуры создаёт третий контур: более мощные модели увеличивают спрос на вычисления, инвестиции увеличивают доступные вычислительные мощности, а они позволяют создавать следующие поколения моделей. Ни один из этих контуров пока не является автономным и ни один не гарантирует экспоненциального роста, но впервые все три существуют одновременно и начинают технически соприкасаться.

Именно здесь можно ненадолго вспомнить «Терминатора», но только как культурную аналогию. В фильме последовательность удобна для сюжета: сначала появляется сверхразум, затем он выходит из-под контроля, захватывает инфраструктуру и строит собственные машины. Реальная технологическая последовательность может оказаться почти обратной. Люди сначала сами создают глобальные сети, гигантские вычислительные центры, программных агентов, автоматизированные фабрики, беспилотные системы, интеллектуальных роботов и интерфейсы управления физической инфраструктурой, а уже затем интеллект внутри этой среды постепенно становится всё более самостоятельным. Если когда-нибудь появится система уровня AGI или тем более сверхинтеллекта, ей необязательно будет сначала изобретать средства взаимодействия с миром — значительная часть необходимых интерфейсов может к этому моменту уже существовать.

Из этого совершенно не следует, что будущий ИИ автоматически «захватит» эту инфраструктуру. Именно здесь проходит граница между анализом открытых источников и сценарной экстраполяцией. Мы можем подтвердить существование автономных агентов, автоматизации исследований, роботизированного управления, серийного производства физических платформ, научных работ по рекурсивной сборке и огромных инвестиций в вычислительную инфраструктуру. Мы не можем на основании этих фактов доказать, что они обязательно соединятся в единую автономную систему, что рекурсивное самоулучшение заработает без ограничений или что такая система окажется враждебной человеку.

Но и вопрос безопасности возникает задолго до этого гипотетического финала. Для серьёзной ошибки не требуется самосознание или «злая воля»; достаточно цели, высокой автономности, доступа к инструментам и несовершенных ограничений. Поэтому обсуждение контроля ИИ всё больше напоминает обычное проектирование защищённой информационной системы: не надо сначала доказывать злонамеренность субъекта, чтобы ограничить его привилегии. Нужно понимать, каким ресурсам он действительно должен иметь доступ, какие действия допустимы, где необходим независимый контроль и что произойдёт при отказе или непредусмотренном поведении.

Так что же всё-таки стоит за призывом «притормозить»?  

На основании открытых источников нельзя утверждать, что руководители Anthropic, OpenAI или других лабораторий уже увидели за закрытыми дверями некий готовый сверхинтеллект и теперь пытаются предупредить мир. Большая часть внутренних испытаний остаётся недоступной, а наиболее тревожные наблюдения требуют независимой проверки. Такое объяснение было бы уже конспирологией, а не анализом.

Но противоположная версия — «всё исключительно ради рекламы» — тоже плохо объясняет происходящее. Серьёзные изменения действительно наблюдаются одновременно: модель впервые достигает внутренне определённого критического уровня кибервозможностей; системы начинают выполнять значительную часть исследовательской работы; ведущая лаборатория публикует техническую работу о возможных путях от AGI к сверхинтеллекту; научная литература рассматривает мощные модели как потенциально недоверенные компоненты; робототехника связывает восприятие и рассуждение непосредственно с физическим действием; военные структуры исследуют применение этих технологий; промышленность готовится выпускать роботизированные платформы уже тысячами. Всё это происходит на фоне стратегической конкуренции США и Китая, в которой добровольное одностороннее ограничение имеет измеримую экономическую и геополитическую цену.

Поэтому наиболее правдоподобная картина, вероятно, сложнее любой одной версии. В призывах к ограничению могут одновременно присутствовать реальная обеспокоенность техническими рисками, желание решить проблему конкурентной гонки, стремление крупнейших компаний повлиять на будущие правила рынка, попытка разделить ответственность с государством и вполне очевидная репутационная выгода от демонстрации мощности собственной технологии. Эти мотивы не противоречат друг другу.

И проверять их лучше не по словам, а по наблюдаемым действиям в ближайшие годы. Насколько долго ИИ сможет надёжно работать без человека? Какие внешние системы и физические механизмы будут ему доступны? Какую долю разработки следующего поколения начнут выполнять сами модели? Будут ли компании реально задерживать развитие при провале заранее заявленных критериев безопасности? Получат ли независимые оценщики действительно глубокий доступ? Останется ли человек содержательным участником принятия решений в автономных системах или постепенно превратится в формального подтверждающего уже готовое машинное решение?

Пожалуй, именно это и есть наиболее интересный вывод из всей подборки открытых источников. Вопрос уже не сводится к тому, когда кто-то наконец объявит о создании AGI, и тем более не требует всерьёз высчитывать наступление 2029 года из «Терминатора». Гораздо важнее наблюдать за тем, как раньше независимые технологии — автономные программные агенты, разработка ИИ с помощью самого ИИ, робототехника, военные автономные системы, автоматизированное производство и огромная вычислительная инфраструктура — постепенно начинают соединяться.

И тогда исходный вопрос «почему создатели ИИ сами просят их ограничить?» приобретает несколько иной смысл. Возможно, они видят не один фантастический скачок, который вот-вот произойдёт, а гораздо более прозаичную тенденцию: возможности, автономность и доступ ИИ к реальному миру растут одновременно, тогда как механизмов надёжного контроля, общих правил и международной координации пока существенно меньше.

Отсюда возникает вопрос куда практичнее «реален ли Скайнет?»: какой уровень самостоятельности и доступа к цифровому и физическому миру мы готовы предоставить искусственному интеллекту раньше, чем научимся надёжно ограничивать последствия его ошибок и непредусмотренных стратегий?

А за ним сразу появляется второй — уже не технический, а политический: что произойдёт, если одна сторона решит, что следующий шаг слишком опасен, а её конкуренты придут к выводу, что ещё опаснее остановиться первыми?

Судя по открытым данным, этот эксперимент уже начался.