Научное открытие - один из самых сложных видов деятельности человека. Во-первых, ученые должны разобраться в существующих знаниях и выявить значительный пробел. Затем они должны сформулировать исследовательский вопрос, разработать и провести эксперимент в поисках ответа. Затем они должны проанализировать и интерпретировать результаты эксперимента, что может поднять еще один исследовательский вопрос.
Можно ли автоматизировать столь сложный процесс? На прошлой неделе Sakana AI Labs объявила о создании “AI scientist” – системы искусственного интеллекта, которая, как они утверждают, может делать научные открытия в области машинного обучения полностью автоматизированным способом.
Используя генерирующие модели большого языка (LLM), подобные тем, что используются в ChatGPT и других чат-ботах с искусственным интеллектом, система может провести мозговой штурм, выбрать многообещающую идею, запрограммировать новые алгоритмы, отобразить результаты и написать статью с кратким изложением эксперимента и его результатов, дополненную ссылками. Сакана утверждает, что инструмент искусственного интеллекта может обеспечить полный жизненный цикл научного эксперимента по цене всего 15 долларов США за бумагу – это меньше, чем стоимость обеда ученого.
Это несколько громких заявлений. Они соответствуют действительности? И даже если они это сделают, будет ли армия ученых с искусственным интеллектом, с нечеловеческой скоростью выпускающих исследовательские работы, хорошей новостью для науки?
Как компьютер может "заниматься наукой"
Большая часть научных исследований проводится в открытом доступе, и почти все научные знания были где-то записаны (иначе у нас не было бы способа “узнать” об этом). Миллионы научных статей находятся в свободном доступе онлайн в таких хранилищах, как arXiv и PubMed.
Магистры, обученные работе с этими данными, усваивают язык науки и его закономерности. Поэтому, возможно, нет ничего удивительного в том, что образованный магистр может создать что–то похожее на хорошую научную статью - у него есть множество примеров, которые он может скопировать.
Что менее ясно, так это то, сможет ли система искусственного интеллекта создать интересную научную статью. Важно отметить, что хорошая наука требует новизны.
Но так ли это интересно?
Ученые не хотят, чтобы им рассказывали о вещах, которые уже известны. Скорее, они хотят узнавать что-то новое, особенно то, что существенно отличается от того, что уже известно. Для этого необходимо оценить масштаб и ценность вклада.
Система Sakana пытается повысить интерес двумя способами. Во-первых, она “оценивает” идеи для новых статей на предмет сходства с существующими исследованиями (которые индексируются в репозитории Semantic Scholar). Все, что слишком похоже, отбрасывается.
Во–вторых, система Sakana вводит этап “экспертной оценки” - использование другого LLM для оценки качества и новизны подготовленной статьи. И здесь, опять же, на таких сайтах, как openreview.net, есть множество примеров экспертной оценки в Интернете, которые могут помочь разобраться в том, как критиковать статью. Магистры права также ознакомились с ними.
Возможно, ИИ плохо разбирается в результатах работы ИИ.
Отзывы о результатах работы Саканы ИИ неоднозначны. Некоторые считают, что это приводит к “бесконечному научному сбою”.
Даже при анализе результатов работы самой системы статьи оцениваются в лучшем случае слабо. По мере развития технологии ситуация, вероятно, улучшится, но вопрос о том, насколько ценны автоматизированные научные статьи, остается открытым.
Способность магистрантов оценивать качество исследований также остается открытым вопросом. Моя собственная работа (которая вскоре будет опубликована в журнале Research Synthesis Methods) показывает, что магистранты не очень хорошо оценивают риск предвзятости в медицинских исследованиях, хотя со временем это тоже может улучшиться.
Система Sakana автоматизирует открытия в области вычислительных исследований, что намного проще, чем в других областях науки, требующих физических экспериментов. Эксперименты Sakana проводятся с использованием кода, который также представляет собой структурированный текст, который можно обучить генерировать магистров.
Инструменты искусственного интеллекта предназначены для поддержки ученых, а не для их замены
Исследователи ИИ десятилетиями разрабатывали системы поддержки науки. Учитывая огромные объемы опубликованных исследований, даже поиск публикаций, имеющих отношение к конкретному научному вопросу, может быть сложной задачей.
Специализированные поисковые инструменты используют ИИ, чтобы помочь ученым находить и обобщать существующие работы. К ним относятся вышеупомянутый Semantic Scholar, а также более новые системы, такие как Elicit, Research Rabbit, scite и Consensus.
Инструменты анализа текста, такие как PubTator, углубляются в статьи, чтобы выявить ключевые моменты, такие как конкретные генетические мутации и заболевания, и их установленные взаимосвязи. Это особенно полезно для сбора и систематизации научной информации.
Машинное обучение также используется для поддержки синтеза и анализа медицинских данных в таких инструментах, как Robot Reviewer. Резюме, в которых сравниваются утверждения в научных статьях, помогают проводить обзоры литературы.
Все эти инструменты призваны помочь ученым выполнять свою работу более эффективно, а не заменить их.
Исследования в области искусственного интеллекта могут усугубить существующие проблемы
Хотя Sakana AI заявляет, что не видит уменьшения роли ученых-людей, видение компании о “научной экосистеме, полностью управляемой искусственным интеллектом”, будет иметь серьезные последствия для науки.
Одна из проблем заключается в том, что, если статьи, созданные с помощью ИИ, заполонят научную литературу, будущие системы ИИ могут быть обучены на основе результатов ИИ и потерпеть крах модели. Это означает, что они могут стать все более неэффективными в области инноваций.
Однако последствия для науки выходят далеко за рамки воздействия на сами научные системы ИИ.
В науке уже есть недобросовестные участники, в том числе “бумажные фабрики”, выпускающие поддельные работы. Эта проблема только усугубится, когда научную статью можно будет опубликовать за 15 долларов США и с неопределенным первоначальным запросом.
Необходимость проверять на наличие ошибок в огромном количестве автоматически сгенерированных исследований может быстро истощить возможности настоящих ученых. Система экспертной оценки, возможно, уже не работает, и добавление в систему новых исследований сомнительного качества ничего не исправит.
Наука в основе своей основана на доверии. Ученые уделяют особое внимание целостности научного процесса, чтобы мы могли быть уверены в том, что наше понимание мира (а теперь и мировых машин) является обоснованным и совершенствуется.
Научная экосистема, в которой системы искусственного интеллекта играют ключевую роль, поднимает фундаментальные вопросы о значении и ценности этого процесса, а также о том, какой уровень доверия мы должны испытывать к ученым, занимающимся искусственным интеллектом. Именно такая научная экосистема нам нужна?
(Автор: Карин Верспур, декан факультета компьютерных технологий Университета RMIT, RMIT University)
(Заявление о раскрытии информации: Карин Верспур получает финансирование от Австралийского исследовательского совета, Фонда будущих медицинских исследований, Национального совета по здравоохранению и медицинским исследованиям и Elsevier BV. Она связана с BioGRID Australia и является соучредителем Австралийского альянса по искусственному интеллекту в здравоохранении)
Эта статья перепечатана из The Conversation под лицензией Creative Commons. Прочитайте оригинал статьи.
(За исключением заголовка, эта история не редактировалась сотрудниками NDTV и опубликована на синдицированном канале.)
