истории

Увольнение и возвращение Сэма Альтмана на пост главы OpenAI уже напоминает сериал. В новой серии — алармистское письмо научных сотрудников компании Они предупреждали совет директоров, что новый ИИ угрожает человечеству

Источник: Meduza

Незадолго до отставки Сэма Альтмана с поста генерального директора OpenAI несколько штатных научных сотрудников компании написали письмо совету директоров, узнало Reuters. В письме говорилось о важном открытии в области искусственного интеллекта, которое, по мнению ученых, может стать угрозой для человечества, рассказали изданию два источника, знакомые с ситуацией (в чем заключается это открытие, Reuters не уточняет). По словам источников, письмо стало лишь одной из причин увольнения Альтмана. Среди других причин они называют опасения совета директоров, что Альтман проводил политику коммерциализации продуктов OpenAI, не уделяя должного внимания оценке рисков.

Официальные представители OpenAI отказались от комментариев, однако журналистам удалось выяснить, что после их запроса технический директор компании Мира Мурати в сообщении сотрудникам признала, что такое письмо действительно было написано, а также рассказала о существовании проекта под названием Q* (Кью-стар). Предупредив коллег о том, что журналисты готовят публикацию, Мурати не стала раскрывать деталей.

Некоторые исследователи в OpenAI считают Q* прорывом на пути к созданию так называемого AGI — artificial general intelligence, общего (или сильного) искусственного интеллекта. Это автономная система, которая сможет научиться решать любые интеллектуальные задачи не хуже человека (а возможно, и лучше). Ожидается, что в перспективе такая система способна будет продемонстрировать что-то похожее на сознание. Пока AGI существует только в научной фантастике: нынешние модели относятся к узкому (или слабому) искусственному интеллекту, созданному для решения ограниченного набора конкретных задач.

Источник Reuters сообщил, что новая модель OpenAI уже смогла справиться с математическими задачами уровня начальной школы. Эти успехи вызывают у исследователей, работающих над Q*, оптимизм. Журналисты отмечают, что освоение математики считается ключевым этапом создания AGI. Сейчас генеративные модели ИИ хорошо работают с текстом, но их ответы на один и тот же вопрос могут сильно различаться. В то же время у математических задач, сравнимых со школьными, чаще всего существует только один правильный ответ — а значит, система должна будет научиться рассуждать, обобщать, анализировать и понимать информацию подобно человеку. 

Глава Tesla Илон Маск одним из первых отреагировал на публикацию Reuters и назвал информацию о достижениях бывших коллег «крайне тревожной» (Маск входил в состав совета директоров OpenAI с момента основания компании, но в феврале 2018 года покинул правление из-за возможного конфликта интересов). 

Другой эксперт, одна из основательниц ИИ-стартапа Tromero София Калановска, оценивая перспективы проекта Q* в беседе с изданием Business Insider, оказалась более сдержанна. Калановска отметила, что эта новость «важна с символической точки зрения», однако «на практическом уровне вряд ли станет причиной конца света». «Это определенно шаг вперед на пути к тому, что мы считаем интеллектом, — добавила Калановска. — И, вполне возможно, он приведет к тому, что модель сможет генерировать новые идеи, чего пока нельзя сказать о ChatGPT».

Почему GPT-4 называют ранней версией AGI

В конце марта, через неделю после выхода языковой модели GPT-4, на сервере препринтов arXiv.org появилось исследование команды Microsoft под названием «Искры общего искусственного интеллекта: ранние эксперименты с GPT-4». Microsoft заранее получила доступ к новой версии модели, а позже подтвердила, что встроила кастомизированную версию GPT в свой поисковик Bing более чем за месяц до официального релиза.

В исследовании команды Microsoft утверждается, что эта система уже может решать новые и сложные задачи в различных научных областях, включая математику, программирование, медицину и многие другие. «Учитывая широту и глубину возможностей GPT-4, мы считаем, что ее можно объективно рассматривать как раннюю (но все еще незавершенную) версию общего искусственного интеллекта (AGI)», — утверждает команда исследователей.

Эти заявления противоречат словам Сэма Альтмана, который перед запуском GPT-4 предостерег пользователей от завышенных ожиданий. «Людям не терпится, чтобы их разочаровали, и они будут разочарованы. Мы не создали общий искусственный интеллект, которого от нас, похоже, ждут», — говорил гендиректор OpenAI в начале 2023 года.

В публикации подобного исследования можно увидеть возможный конфликт интересов. Microsoft — главный партнер и инвестор OpenAI. В январе 2023 года корпорация сообщила о «многомиллиардных» инвестициях в разработчика ChatGPT. Из этого следует, что Microsoft может быть прямо заинтересована в формировании позитивного образа продуктов OpenAI и преувеличении их достоинств.

Как внутренние конфликты привели OpenAI к кадровому кризису

Накануне своей отставки, 16 ноября, Альтман выступал на одном из мероприятий саммита Азиатско-Тихоокеанского экономического сотрудничества (АТЭС). «Четыре раза за всю историю OpenAI — один из них был в последние несколько недель — я был свидетелем того, как мы будто отодвигаем завесу невежества и приближаемся к черте, за которой стоят открытия. Достичь ее для нас как профессионалов — почетное дело всей жизни», — сказал он.

Журналисты предположили, что Альтман не случайно упомянул некий недавний прорыв в исследованиях, и посчитали это еще одним косвенным подтверждением существования проекта Q*.

Эта фраза могла стать последним — и решающим — аргументом в пользу отставки генерального директора. К тому моменту Сэм Альтман уже больше года находился в конфликте с советом директоров OpenAI, пишет The New York Times.

В качестве примера того, как проявлялся этот конфликт, издание приводит ссору Альтмана с Хелен Тонер — директором по стратегии центра безопасности и передовых технологий Джорджтаунского университета. Во время разногласий Тонер входила в состав правления OpenAI и была одним из трех членов совета директоров, не работавших в компании.

Поводом для конфликта послужил доклад, который Тонер написала в соавторстве со своими университетскими коллегами. Альтман раскритиковал его, заявив, что авторы сомневаются во всех усилиях OpenAI, направленных на безопасность ИИ-технологий, и в то же время хвалят прямых конкурентов компании, выяснили журналисты The New York Times, которым удалось ознакомиться с электронным письмом, написанным Альтманом. Глава OpenAI также подчеркивал, что публикации, подобные докладу команды Тонер, могут угрожать компании, особенно в то время, когда Федеральная торговая комиссия США проводит расследование ее деятельности.

После публикации доклада руководители OpenAI, среди которых был и глава направления научных исследований Илья Суцкевер, стали обсуждать возможность исключения Хелен Тонер из состава правления. Однако, как сообщили журналистам два источника, знакомые с ситуацией в компании, позже Суцкевер передумал увольнять Тонер и перешел на сторону совета директоров.

Сам ученый к тому моменту тоже находился в напряженных отношениях с генеральным директором, не разделяя его стремления к активной коммерциализации продуктов компании без тщательного изучения рисков. Издание The Information уточняет, что именно Суцкевер возглавлял команду, которая совершила прорыв с проектом Q*.

Еще один конфликт возник при обсуждении новых кандидатов в состав правления в 2023 году, рассказали журналистам два источника, знакомые с процессом утверждения совета директоров в OpenAI. Участники встречи не смогли прийти к соглашению и утвердить кого-то из потенциальных кандидатов — это еще сильнее ухудшило отношения членов правления с Сэмом Альтманом и председателем совета директоров компании Грегом Брокманом.

Уже после отставки Альтмана Илья Суцкевер, обсудив сложившуюся ситуацию с несколькими коллегами, изменил свое мнение об увольнении Альтмана, сообщает The Wall Street Journal. По данным журналистов, у Суцкевера позже якобы состоялся эмоциональный разговор с женой Грега Брокмана Анной, в ходе которого она плакала и умоляла ученого передумать. Издание отмечает, что в 2019 году Суцкевер проводил церемонию бракосочетания Брокманов.

Эти метания Суцкевера привели к тому, что, несмотря на публичное раскаяние, главный научный исследователь все же потерял свое место в совете директоров. Вернувшиеся после короткого увольнения Альтман и Брокман тоже пока не стали настаивать на том, чтобы их восстановили в правлении.

В новый состав совета директоров, из которого после увольнения и возвращения Альтмана исключили его критиков, вошли бывший министр финансов США Ларри Саммерс, глава и сооснователь сервиса Quora Адам ДʼАнджело (единственный из предыдущего состава правления), а также Брэт Тейлор, известный по работе в Facebook и Salesforce. Тейлор станет председателем правления.

Совет директоров OpenAI еще не сформирован окончательно — сообщается о переговорах с представителями Microsoft и другими ключевыми инвесторами. Вероятно, новому совету директоров предстоит пересмотреть политику компании, руководители которой были не в силах договориться друг с другом.