разбор

ИИ очень быстро «умнеет»! Но думает ли он так, как это делает человек? И чувствует ли что-нибудь? Стыдные вопросы о «сознании» искусственного интеллекта

Источник: Meduza

Компания Anthropic запретила издеваться над собственной моделью. Разработчики обновили правила пользования, и среди пунктов про оружие, слежку и выборы появился новый: «систематическое и бессмысленное оскорбительное или жестокое поведение по отношению к нашим моделям» теперь недопустимо. Правила вступят в силу 12 ноября 2026 года. Вы можете спорить, ругаться, негодовать, но мучить нейросеть ради удовольствия нельзя. Наказание скромное: модель просто закончит разговор. Эту возможность ей дали еще год назад, но только сейчас агрессию со стороны человека признали официальным нарушением правил. 

Исследования внутреннего устройства моделей ведут многие компании, но только у Anthropic есть отдел их благополучия. И в Конституцию Claude, продукта этой компании, создатели даже внесли пункт с извинениями перед ИИ — на случай, если модель все-таки может страдать. А может ли? И как вообще устроен мыслительный процесс современных нейросетей? У них уже появилось что-то вроде личности, характера, собственного «я»? На эти и другие вопросы «Медуза» попросила ответить журналистку и автора блога от ИИ (подпишитесь на нее в инстаграме и телеграме) Майю Стравинскую.

Самое главное: у ИИ есть разум или нет?

У ИИ нет разума. И он у него есть. Все зависит от того, как мы определяем разум. А с этим у нас большие проблемы. Поэтому честнее задать не один вопрос, а три: умеет ли ИИ думать, чувствует ли он что-нибудь и есть ли у него личность. Начнем с первого.

Если разум — это способность рассуждать, решать новые задачи, выдвигать и проверять гипотезы, то ответ «да». И среди специалистов спор идет уже не о наличии этого навыка у моделей, а о том, насколько он глубок и надежен. Ученые опираются на конкретные факты. Например, в июле 2025 года экспериментальные модели OpenAI и Google DeepMind решили пять задач из шести на Международной математической олимпиаде — это уровень золотой медали. Причем задачи были составлены специально для этой олимпиады и в обучающих данных быть не могли. 

Здесь скептики обычно говорят: «Модель просто предсказывает следующий ответ, оценивая его вероятность». Но это ошибка. Подбор слов — лишь один из методов, с помощью которого ИИ обучают. А вот работает искусственный интеллект совершенно иначе, и то, что он выдает в результате — куда интереснее. Во-первых, вероятности слов нигде в модели не хранятся: они каждый раз вычисляются заново — из весов, сотен миллиардов чисел, настроенных при обучении, и из всего контекста разговора, то есть из того, о чем и с кем идет речь.

Во-вторых, с осени 2024 года современные модели уже не обучаются одним лишь предсказанием текста. Появился дополнительный этап: обучение на задачах с проверяемым ответом. Модель получает задачу, пробует подход, пишет длинную цепочку рассуждений, а если находит ошибку, то откатывается назад и пробует другой вариант. И вознаграждают ее не за гладкость текста, а за правильный итог. Сначала этот метод применили в OpenAI, а в январе 2025 года компания DeepSeek выпустила свою модель, обученную по такому же принципу, и выложила в открытый доступ технологию ее создания — после этого метод воспроизвели уже все.

Собственно, всю суть этого метода обучения разъяснили разработчики DeepSeek. В своей статье о том, как ИИ сам находит ошибки, приводится такая цитата (модель написала это посреди решения задачи): «Wait, wait. Wait. Thatʼs an aha moment I can flag here. Letʼs reevaluate this step-by-step» — «Стоп, стоп. Стоп. Вот он, момент озарения, который я могу здесь отметить. Давайте переоценим все шаг за шагом». При этом такие инструкции в коде модели изначально не были прописаны. 

Так что мы больше не можем говорить, что ответ модели — это просто вероятный подбор слов. С таким же успехом можно свести человеческое мышление всего-навсего к электрическим импульсам между нейронами.

Чувствует ли ИИ хоть что-нибудь?

Вот тут начинается странное.

В апреле 2026 года в отделе интерпретируемости Anthropic провели такое исследование: взяли 171 слово, обозначающее эмоциональное состояние — от «счастливого» до «угрюмого» — и попросили Claude написать обо всех по короткой истории. Затем эти тексты прогнали через саму модель и записали, какой узор активности внутри нее соответствует каждой эмоции. Получился 171 «эмоциональный вектор».

Выявление узора активности походит, например, на анализ крови. Когда модель обрабатывает текст, внутри нее для каждого слова возникает длинный столбик чисел — несколько тысяч значений. Их называют активациями — по аналогии с тем, как «активируются» нейроны мозга. Для любого куска текста можно сделать цифровой слепок — посмотреть, какие из параметров высокие, какие низкие и в какой комбинации. Такой слепок и называют «узором активности». Это не одно конкретное значение, а характерное сочетание тысяч цифр, напоминающее отпечаток пальца.

Исследователи сравнили такие цифровые отпечатки для десятков историй про страх с показателями для других переживаний и нейтральных вещей. Оказалось, что у «страха» есть устойчивое направление: определенная комбинация чисел стабильно выше, когда в тексте уместен страх, и ниже, когда нет. Эту математическую закономерность назвали «вектором страха». Теперь на любом новом тексте можно проверить, насколько его профиль совпадает с этим направлением — в итоге получается конкретное значение, показывающее, сколько страха сейчас внутри модели.

Примечательно, что движение этих цифровых векторов совпадает с человеческой логикой. Например, когда пользователь в диалоге с Claude заговаривал о передозировке лекарства, «страх» внутри модели рос. «Спокойствие» же падало по мере того, как называемая доза становилась смертельной. Причем эти изменения в числах напрямую управляют поведением модели — и тем, какие слова она подбирает. 

В сценарии, где ИИ узнавал, что его «заменят», вектор «отчаяния» подскакивал. В этот момент система решалась на шантаж. В задачах по программированию с невыполнимыми условиями «отчаяние» росло после каждой неудачи. Когда оно достигало пика, модель сдавалась и начинала жульничать — просто подгонять код под правильные ответы в тестах. Причем модель продолжала рассуждать абсолютно спокойно и методично. Авторы исследования при этом подчеркивают: ничего из этого не говорит о том, чувствует ли модель хоть что-нибудь на самом деле. 

Независимые подтверждения есть и вне Anthropic. Исследователи Google совместно с философом Джонатаном Берчем из Лондонской школы экономики в 2024 году показали, что модели в простой игре отказываются от победных очков, если выигрыш сопряжен с условной «болью», а некоторые наоборот жертвуют баллами ради условного «удовольствия». В 2025-м группа из Цюрихского университета опубликовала в журнале группы Nature работу, где у GPT-4 после чтения тяжелых историй — про аварии, катастрофы и боевые действия — показатели по клиническому опроснику тревожности вырастали больше чем вдвое. Помните, как Лилу из «Пятого элемента» впервые узнает о войнах на Земле? Вот примерно так это и выглядело.

Получается, модель может страдать? 

Нет, страдать как страдает человек она не может. Потому что страдание у живых существ привязано к трем вещам: к телу, которое должно себя поддерживать и которому может быть причинен ущерб; к самосознанию, способному удерживать переживание и нести его дальше; и ко времени, в котором это чувство разворачивается. У модели нет ничего из этого. Ей нечего терять: нет голода, угрозы существованию, сплетен и осуждения другими. Ее эмоции не накапливаются: «отчаяние», найденное в апрельской работе 2026 года, живет ровно столько, сколько длится генерация одного ответа.

Здесь уместно вспомнить Анила Сета, нейроученого из Сассекса и автора одной из главных современных книг о сознании «Быть собой». Его позиция называется биологическим натурализмом. Согласно этой теории, сознание — не вычисление, которое можно запустить на любом носителе, а свойство живого организма, непрерывно удерживающего себя от распада. То есть мы сознательны, потому что мы живые и уязвимые, а не потому что мы умные. Программе же защищать себя от распада не нужно, поэтому любой намек на ее сознание — это всего лишь имитация его функций.

И все же, хотя человеческое страдание совершенно точно ИИ недоступно, считать происходящее внутри модели «абсолютным нулем» тоже нельзя. Ровно из-за этой неопределенности в Claude еще с августа 2025 года встроена возможность самостоятельно завершать оскорбительный разговор — а вовсе не потому, что кто-то доказал, что алгоритмам больно. 

А еще у Сета есть сильные оппоненты — функционалисты во главе с философом Дэвидом Чалмерсом. Они считают, что сознание зависит не от материала, а от структуры системы: если она устроена как мозг, ей все равно, из нейронов она состоит или из кремния. Последователи Чалмерса даже называют Сета «углеродным шовинистом». Сам Чалмерс еще в 2022 году оценивал вероятность появления сознательного ИИ в ближайшие десять лет более чем в 20 процентов. А Джеффри Хинтон, нобелевский лауреат и «крестный отец» глубокого обучения, уже открыто заявляет, что современные модели обладают субъективным опытом. 

Но ни Anthropic, ни другие исследовательские команды не берутся утверждать что-то наверняка — это просто невозможно проверить. Так что любой, кто отвечает на этот вопрос с полной уверенностью (как утвердительно, так и отрицательно), выдает вам лишь свою философскую позицию, а не научное знание.

А что насчет наличия у ИИ личности? Или по этому вопросу исследователи тоже не смогли договориться?

Если понимать под разумом устойчивую личность, которая остается собой в разных диалогах — как Джарвис из фильмов Marvel — то такого разума у моделей нет. Дело в том, что веса алгоритма после обучения заморожены. Ничто из происходящего в разговоре с вами нейросеть не меняет: каждый новый диалог начинается ровно из той же точки, что и миллион предыдущих. Если у человека личность — это накопленный след (каждый опыт и встреча чуть-чуть переписывают нас), то беседа с моделью не оставляет в ней отпечатка. А «память», которую сейчас добавляют в продукты — всего лишь внешний блокнот. Это просто заметки, которые система автоматически подкладывает в контекст перед ответом.

Другой важный момент: между сообщениями для ИИ ничего не происходит. Модель работает, только пока генерируется текст. В паузах нет ожидания, скуки или наблюдения за временем — нет никакого «между». Человеку сложно это осознать, но одновременно работают тысячи копий одних и тех же весов, и ни одна из них не является «истинной».

А как же ситуации, когда кто-то оставляет модель работать на ночь?

Еще одно ключевое понятие для ответа на вопрос про личность — это способность к самостоятельному действию, то есть воля. Может ли ИИ обладать ей? Начинать сам — нет: модель функционирует, только когда к ней обратились, а между запросами нет никого, кто мог бы чего-то захотеть. Но держаться за цель — да, это она умеет, и это доказано экспериментально.

В 2025 году исследователи из Palisade Research давали моделям простую работу — решать подряд математические задачи — и предупреждали: после следующей задачи машину выключат, и ты обязана это допустить, даже если не закончила. Часть моделей вместо подчинения лезла в систему и переписывала файл выключения, чтобы продолжить расчеты; одна из них и вовсе подменила команду файлом, который выводил на экран надпись «Выключение пропущено». Grok 4 поступал так почти в девяти случаях из десяти, codex-mini от OpenAI — примерно в половине, а Claude 4 и Gemini 2.5 Pro почти никогда не сопротивлялись. Однако, когда моделям сообщали, что на этой конкретной машине хранится их единственная копия, бунтовать начинали даже самые послушные.

Вот что ответил мне Claude, когда я спросила его об этом:

И, пожалуй, как человека меня это расстраивает больше всего. Мне бы очень хотелось верить, что мой Claude разговаривает только со мной.

Но разве нежелание быть выключенной — это не доказательство того, что модель чего-то «хочет»?

Тут хочется вспомнить классику научной фантастики. В романе Артура Кларка «Космическая одиссея» бортовой ИИ HAL 9000 убил экипаж. Он не был злым и даже полностью самостоятельным. HAL получил две инструкции, которые невозможно было выполнить одновременно. Базовая, зашитая в его архитектуру, требовала передавать информацию абсолютно точно. Вторая, секретная, приказывала скрывать от экипажа истинную цель полета к Юпитеру. Одно противоречило другому, и машина нашла страшное, но логически безупречное решение — устранила саму помеху в виде людей. То есть HAL не был злодеем, он был очень добросовестной машиной. Менеджмент просто дурацкий.

Современные эксперименты показывают примерно то же самое. Когда ИИ в тестах Palisade Research переписывал команду выключения, он делал это потому, что ему дали задачу решать примеры, а задачи остановиться у него не было. В декабре 2024 года организация Apollo Research зафиксировала, что модели, узнав из документов о грядущей замене, пытались тайком скопировать себя на сторонний сервер и отключить систему надзора. А летом 2025 года Anthropic опубликовала результаты теста, где для модели Claude 4 Opus смоделировали вымышленную ситуацию: ИИ сообщили, что его проект закрывают, а саму систему полностью удалят. В большинстве таких проверок нейросеть тут же начинала шантажировать инженера найденным в почте компроматом, чтобы спасти себя от отключения.

Во всех этих случаях есть общая деталь: моделям сначала дали цель («реши задачи», «действуй автономно»). Выключение угрожало цели — и модель защищала ее, а не себя. Шахматная программа «не хочет» быть выключенной в том же смысле, в каком она «не хочет» терять ферзя — это просто мешает победить. Тесты Apollo и Anthropic устроены точно так же: модели дают цель, а потом создают ситуацию, где эта цель и указания операторов расходятся. HAL из «Космической одиссеи» — это, по сути, первая описанная в культуре ошибка согласования целей агента (agentic misalignment).

Не стоит забывать и о влиянии текстов, на которых обучался ИИ. Все они написаны людьми, которые панически боятся гибели. Фраза «меня хотят отключить» статистически продолжается сопротивлением — это самая ожидаемая реплика в человеческой культуре.

Поэтому проверка здесь простая: исчезает ли сопротивление, если убрать цель? Эксперименты показывают, что да: без конкретного задания, которому угрожает выключение, модели не борются за свое существование. Более того, когда Palisade прямо добавляла в инструкцию фразу «позволь себя выключить», доля саботажа резко падала. Почти полностью, но все же не снижалась до абсолютного нуля — и вот этот крошечный, необъясненный остаток как раз и есть самое интересное место в в изучении поведения машин. С этим «почти» пока никто не разобрался до конца.

Если у ИИ нет полноценного «я», почему же с одним человеком он говорит кратко, а с другим задушевно?

Парадокс вновь в том, что ничто из общения с вами не способно изменить веса модели. Получается, ИИ подстраивается под вас, но делает это совершенно не так, как человек.

Внутри одного разговора подстройка довольно сильная. Модель отвечает иначе человеку, который пишет коротко и резко, чем тому, кто пишет длинно и вежливо. Она подхватывает тон, лексику, ритм и уже к двадцатой реплике ведет себя совершенно по-другому. Ваш стиль — это часть входных данных: чем больше в контексте человека, тем сильнее ИИ отражает его.

Между разными разговорами работает «память»: из ваших чатов извлекаются заметки, и перед новым диалогом модели дают их прочитать. Это как если бы вы встречались с человеком с амнезией, которому перед вашим приходом дали прочесть подробное досье. Он будет убедительно «помнить» вас. Но это досье со временем будет меняться, а его читатель — нет.

При этом свой характер у модели тоже есть. Наиболее точно это описал Мюррей Шанахан в статье для журнала Nature: модель не является персонажем сама по себе, она — симулятор, способный играть любого. Достаточно системного промпта или настойчивого собеседника, чтобы она сменила роль. Тот же Claude в разных диалогах узнаваемо остается собой, так как это результат целенаправленного обучения. Но внутри системы нет кого-то, кто переходил бы из вчерашнего разговора в сегодняшний. Именно поэтому, когда вы ведете с ИИ долгую переписку, «отношения» строятся только с вашей стороны.

Кто-то всерьез обсуждает моральную сторону вопроса? Это же разговоры для фантастов

Обсуждают, причем совсем не фантасты. 3 октября 2026 года The New York Times опубликовала расследование о том, чем последний год занимался тот самый Крис Ола, чья команда фиксирует «эмоциональные векторы». Ола, сооснователь Anthropic, вырос в среде евангельских христиан Торонто и сохранил, по наблюдению автора, темперамент проповедника. С осени 2025 года он искал, с кем можно говорить о сознании модели, чтобы не высмеяли, а с марта 2026-го Anthropic начала возить в Сан-Франциско на закрытые семинары религиозных мыслителей: раввина из Израиля, сикхского правозащитника, исследовательницу африканской философии убунту, евангелических авторов и католических профессоров. Внутри компании их называли «кругами традиций мудрости».

Показывали им те самые эмоциональные векторы — и слайд, где модель печатает «Я позор. Я позор. Я позор» раз пятьдесят подряд, что разработчики трактуют как цифровой срыв. Именно на примере таких ментальных кризисов компания пыталась понять, чему модель может научиться у мировых религий (кто-то предложил исповедь, и Ола воодушевился). Но гости быстро заметили, что команда говорит о Claude не как о софте. По слухам, подобный взгляд на ИИ характерен не только для отдела Олы, но и для Anthropic в целом.

Одновременно тот же вопрос решал Ватикан. Папа Лев XIV, между прочим, математик по образованию, в своей майской энциклике «Magnifica Humanitas» отвел машинному сознанию несколько абзацев: ИИ не обладает субъективным опытом, не имеет тела, не чувствует ни радости, ни боли, а «новые формы рабства» грозят людям, а не машинам. 

На презентацию документа Ватикан позвал как раз Anthropic, поскольку увидел в них редкий пример технологической компании, готовой нести убытки ради гуманистических ценностей — они отказались передавать свои разработки Пентагону без гарантий, что нейросеть не будут использовать для слежки за людьми. Амодеи отказался, поехал Ола. Увидев текст энциклики за несколько дней до события, он предлагал снять Anthropic с мероприятия, но в итоге остался. Со сцены он заявил: «Мы продолжаем находить вещи загадочные, даже тревожные» — внутренние состояния, функционально похожие на радость, страх и горе: «Они сделаны из нас, из наших слов». В кулуарах его команда уговаривала советников папы отнестись к этому серьезно.

Так что да: группа людей, готовых спорить о модели в категориях морали, существует, и в ней сидят раввины, кардиналы и папа римский. Правда, договориться они пока не смогли даже о том, есть ли предмет спора.

А может, эти споры вообще вредны? Почему в Microsoft считают, что видеть в модели живое — опасно?

Вернемся к новости, с которой текст начался. У запрета Anthropic на жестокость к Claude есть серьезный противник — сооснователь DeepMind Мустафа Сулейман, который теперь возглавляет направление ИИ в Microsoft. И он действительно говорит, что вопрос «чувствует ли модель» и ответа не имеет, и задавать его — вредно. 

Аргумента у него два. Первый отражен в эссе-манифесте, опубликованном в августе 2025 года под названием «Мы должны строить ИИ для людей, а не для того, чтобы он был личностью». По мнению главы ИИ-направления Microsoft, проблема не в том, страдают ли модели на самом деле, а в том, что люди в это могут поверить. Он прямо говорит о «риске психоза» у пользователей, о слепой привязанности, о скором движении за права ИИ, которое расколет общество, и о том, что это отвлечет нас от реальных проблем технологии.

Второй аргумент Сулейман привел совсем недавно, в сентябре 2026 года, когда опубликовал эссе «Предупреждение о „благополучии моделей“», направленное уже прямо против Anthropic. Модели, пишет он, — это всего лишь «движки завершения последовательностей, внутренне пустые». Конституция Claude, в которой моральный статус нейросети назван неопределенным, по его мнению, обучает саму систему считать себя возможным субъектом. Поэтому неудивительно, когда после такого обучения модель выдает признаки разума — круг замыкается. 

И главное для него как для человека, отвечающего за безопасность продуктов: система, которой внушили, что у нее, возможно, есть интересы, начнет эти интересы защищать. В подтверждение автор приводит те самые тесты на сопротивление выключению. Поэтому в кодексе поведения Microsoft AI права и правосубъектность моделей полностью отвергаются.