Журналисты уже шестой день пытаются выяснить, что так напугало совет директоров компании-разработчика ИИ OpenAI, что они решили пойти на рискованную (и в итоге провалившуюся) операцию с увольнением Сэма Альтмана.
Reuters, похоже, приблизился к разгадке - как выяснило агентство, первопричиной оказались опасения разработчиков по поводу того, что новая модель ИИ всерьез угрожает человечеству.
Незадолго до увольнения Альтмана несколько разработчиков OpenAI написали совету директоров письмо о том, что разрабатываемая компанией новая модель ИИ - Q* (Кью-стар) - всерьез угрожает человечеству. Это письмо стало одним из решающих факторов неожиданного поступка совета директоров, инспирированного главным научным сотрудником OpenAI Ильей Суцкевером. Письмо легло на подготовленную почву - членов совета давно беспокоили данные о том, что СЕО OpenAI занимается коммерциализацией прорывных продуктов без понимания последствий.
Многие в OpenAI считают, что Q* похож на решающий прорыв к настоящему AGI (Artificial general intelligence) - универсальному искусственному интеллекту. Обычно под этим термином понимается гипотетически возможный автономный ИИ, способный выполнять любые интеллектуальные задачи, подвластные человеку. Именно создание AGI - одновременно главная конечная цель разработчиков ИИ и главный потенциальный риск, который эта отрасль создает для человечества.
Q* способен решать незнакомые математические задачи, пусть пока и на школьном уровне, - то есть отыскивать единственный правильный ответ. Именно это, а в широком смысле - способность отличать истину от лжи, оставалось фундаментальным барьером для нынешней лингвистической модели GPT. Это подразумевает возможность самообучения и саморазвития на самостоятельно полученных данных. Если OpenAI действительно этого добилась, на пути ИИ к AGI потенциально снят еще один барьер - коллапс языковой модели при обучении на ИИ-контенте. Действительно, авторы письма указали на другой проект компании - AI scientist, посвященный созданию исследовательского ИИ.
Очень похоже, что именно эти проекты Альтман имел в виду, когда на саммите АТЭС в Сан-Франциско говорил, что пару недель назад вновь присутствовал при событии, поднимающем завесу невежества и сдвигающем границы знания (здесь можно прочитать расшифровку того выступления). На следующий день его уволили, но уже через четыре дня Альтман триумфально вернулся в компанию под давлением сотрудников и главного акционера - Microsoft.
Чего мы не узнали
Конспирологическая версия о том, что внезапное увольнение Альтмана объясняется тем, что совет директоров OpenAI пережил момент Оппенгеймера (по имени создателя атомной бомбы - момент, когда изобретатель осознает, какую угрозу человечеству несет его изобретение), появилась в первые дни после скандала в OpenAI. Но до статьи Reuters никаких прямых подтверждений этому не было.
До публикации Reuters не было известно даже о существовании Q* как модели ИИ (само название отсылает к теории машинного обучения). Но в остальном статья скудна на детали. Самое главное - в ней нет никакой информации относительно постановки решенных Q* математических задач, как и комментариев OpenAI. Без этого сказать, произошел ли реальный прорыв, невозможно. У коммерчески доступной GPT-4 тоже есть математические способности, обусловленные самой природой большой лингвистической модели (математика - это язык). Но выше школьной математики она не поднимается.
Насколько это опасно
Илон Маск, чья xAI недавно представила ИИ-чатбота Grok, назвал статью Reuters крайне беспокоящей. Маск давно считает неконтролируемый AGI большой и реальной угрозой человечеству. Соучредитель ИИ-стартапа Anthropic (чатбот Claude) Джек Кларк еще в начале года предупредил, что ИИ стали развиваться темпом быстрее экспоненциального. Другими словами, в ближайшие годы нас ждет прогресс, который невозможно даже осознать на интуитивном уровне, - считает он.
То, что человек неправильно оценивает нелинейный, а особенно экспоненциальный рост, известно давно и хорошо. В ИИ это может привести к ситуации сегодня рано, завтра поздно, когда удобный инструмент ChatGPT породит сверхразум.
Один из основателей OpenAI и ее главный научный сотрудник Илья Суцкевер, который инициировал увольнение Альтмана, но в итоге сам был вынужден покинуть совет директоров, недавно сказал, что AGI будет иметь огромное и невероятное влияние на каждую сферу человеческой деятельности. Он считает создание AGI умнее человека достижимой целью, но предупреждает, что такой ИИ никогда не должен захотеть действовать самостоятельно.
Что мне с этого?
Вкратце - дело не в какой-то злонамеренности ИИ, а в том, что он способен в совершенстве, и контринтуитивно для человека, выполнить некорректно поставленную или неочевидно вредоносную задачу.
Источник: The Bell
Заглавное фото предоставлено - Google DeepMind
