Ученый ВШЭ опубликовал одну из первых научных статей, написанных ChatGPT! Что это значит для науки и будущего творческих профессий?

Как у вас вообще родилась идея использовать ChatGPT для написания научной статьи?

Как и все, пару месяцев назад я увидел историю про студента из РГГУ, который написал диплом с использованием ChatGPT. Признаться, до того я не сильно интересовался этой темой, знал, что есть ИИ с новой архитектурой, которому можно задавать вопросы и получать ответы разной степени глубины.

Тут я заинтересовался и решил вникнуть подробнее. Я зарегистрировался и начал изучать возможности ИИ. Как раз в разгар моих экспериментов вышла четвертая версия GPT. Вокруг все стали говорить, что она очень хорошо работает с профессиональными текстами. На одной из презентаций, если я правильно помню, с ее помощью даже генерировали налоговое заключение.

И чтобы это проверить, я решил попробовать написать научную статью. Тем более что коллеги очень скептически относились к тому, что такую сложную задачу можно перепоручить какому-то алгоритму, и для них такой пример стал бы очень показательным. Наконец, на носу было первое апреля, и я подумал, что это будет просто забавно. В общем, все звезды сошлись.

Чему посвящена статья?

Тема простая — «Способен ли искусственный интеллект написать статью в юридический журнал». Статья получилась рекурсивной, ведь сам факт ее публикации фактически отвечает на поставленный исследовательский вопрос.

Я взял такую тему, потому что понимал — все же со строго юридическими текстами нейросеть пока работает плохо. А с другой стороны, журнал, в который я подал текст, принимает статьи не только по самой юриспруденции, но также по юридическому образованию и методологии юридической науки. Собственно, под последнюю категорию и попадает получившийся текст.

Как именно вы использовали ChatGPT?

Я задавал вопросы о том, какие у ИИ есть проблемы при работе с юридическими текстами. ChatGPT выдал мне много-много ответов, из которых я, собственно, и собрал большую статью. Фактически в ней разбираются различные теоретические проблемы: от сложностей с анализом постоянно меняющихся законов разных стран до неопределенности с авторскими правами конечного научного текста, произведенного с помощью ИИ.

И каково же мнение ChatGPT по поводу этих проблем?

Он написал, что мощный ИИ может написать текст на юридическую тематику, но качество получившейся статьи будет пока оставлять желать лучшего. Причина тому — нейросеть пока плохо понимает юридический контекст. Также она ошибается в интерпретации некоторых терминов.

ChatGPT констатировал, что необходимо развитие технологий искусственного интеллекта и обучение нейросетей на большем объеме юридических данных, чтобы улучшить качество производимых ИИ текстов на правовую тематику. Кроме того, искусственный интеллект пока не может заменить реальную экспертизу и творческий подход живого юриста. Поэтому в настоящий момент ИИ лучше использовать как инструмент, чтобы составить черновик, предложить аргументы, которые человек уже будет развивать и уточнять.

ChatGPT описал все эти сложности, я собрал его соображения в единый текст и добавил маленький комментарий о том, как я взаимодействовал с нейросетью и какими оказались мои впечатления от процесса. В итоге ИИ сделал свою часть работы за три часа, а на мой комментарий у меня ушло около пяти…

Каковы же были ваши впечатления от взаимодействия с нейросетью?

Несмотря на то, что четвертая версия GPT лучше работает с профессиональными текстами, у нее все равно есть так называемые галлюцинации. К примеру, она выдумывает источники. Ты просишь детальнее описать какой-то аргумент, добавить ссылок, а ChatGPT их просто выдумывает. Буквально. Он ссылается на несуществующие законы и научные статьи, чтобы подтвердить свою мысль.

Версия GPT 3.5 делала это постоянно, GPT 4 — реже, в моем случае примерно в половине случаев. Особенно это характерно для гуманитарных тем, компьютерные науки она знает лучше, источники там достовернее.

Также у ChatGPT есть проблемы с точными вычислениями, здесь он часто ошибается. Чем дать само условие и спросить ответ, проще попросить ИИ написать код на Python, который будет проводить вычисления. Потому что ИИ ошибается, а написанный им код — нет.

Как отнеслись в научном журнале к вашему тексту?

В редакции давно меня знают — я публикую там статьи с 2017 года, сейчас в среднем по 1—2 статьи в год. Поэтому, когда они услышали мое предложение опубликовать статью, написанную в соавторстве с ChatGPT, пальцем у виска не покрутили. Однако вначале они все же немного колебались.

Они опасались, что публикация статьи, в которой непонятно кто автор — машина или человек, — может привести к проблемам. Но в итоге редакция все же решилась и даже направила мой текст в печать вне очереди. Обычно, чтобы опубликоваться в научном журнале, нужно ждать несколько месяцев, но они сразу поставили текст в ближайший номер, потому что тема очень горячая.

А был ли уже отклик от коллег?

Да, конечно, очень многие попросили прислать им текст. Несколько человек ко мне подходили, чтобы обсудить статью. В специализированных юридических чатах было несколько споров — это очень приятно было наблюдать, не каждый день обсуждают инфоповоды, которые я создаю.

А о чем были эти споры?

Например, спорили о том, кто же автор текста, я или машина, и можно ли считать ответ на поставленный в заглавии статьи вопрос достаточным. Можно ли сказать, что ИИ все же написал статью по праву или нет. Где грань моего творческого участия?

Были те, кто говорил, что пока нельзя дать команду «напиши мне научную статью» и в ответ получить готовый текст, невозможно сказать, что нейросеть написала статью полностью сама.

А какой процент текста написали вы, а какой ChatGPT?

Общий объем опубликованного текста около 30 тысяч знаков, из них ChatGPT сгенерировал порядка 20 тысяч. В целом эта часть, полностью сгенерированная нейросетью, уже представляла из себя готовый текст, который потенциально можно было опубликовать. Я уверен, что нашел бы научный журнал, который бы спокойно взял его, и не один.

Вы редактировали эти 20 000 знаков?

Сложный вопрос. Например, я изначально направлял нейросеть. Грубо говоря, я спросил нейросеть, может ли ИИ написать статью. Она ответила мне, выдав несколько тезисов. Тогда я попросил каждый из них раскрыть подробнее, что-то просил переформулировать. И так на каждом этапе. В этом смысле я ее редактировал.

Что же касается редактирования самого сгенерированного таким образом текста, то оно было очень поверхностным. К примеру, бывало, что ChatGPT давал восемь примеров в подтверждение своей мысли, а я оставлял только четыре. Также он по тексту писал то «ИИ», то «искусственный интеллект», я для единообразия везде по тексту расставил «ИИ».

Вы чуть раньше сказали, что без труда нашли бы журналы, в которых текст, сгенерированный ИИ, опубликовали бы вообще без вопросов. Звучит немного пугающе, что это говорит о будущем? Так, применительно к образованию, многие говорят, что ChatGPT убьет привычные форматы проверки знания. Не произойдет ли нечто подобное и в науке?

Мне кажется, что как в образовании, так и в науке очень многие зациклились на форме, а не на содержании. То есть студентов и ученых просят: «напиши столько-то страниц». При этом на самом деле никто не просит: «напиши что-то осмысленное». Получается просто формальное требование, создание видимости. И искусственный интеллект с такими формальными задачами прекрасно и быстро справляется.

На самом деле ведь только кажется, что ученые всегда пишут статьи, обладающие научной новизной, актуальностью. Но это не так. Посмотрите на список [журналов] ВАК, [публикации в которых позволяют получить допуск к защите диссертации]. Там сотни журналов по праву, но приличных из них всего 15—20. Остальные публикуют практически всё, что им присылают.

И это мы не говорим о тех научных журналах, которым авторы платят за публикации. Там без всякого ИИ присылают такие тексты, что хватаешься за голову. Поэтому неудивительно, что искусственный интеллект мог бы туда попасть.

Если отвлечься от российского контекста и посмотреть на проблему глобальнее… Ведь очень долго говорили, что в науке, культуре, образовании искусственный интеллект не заменит человека. Годами предполагалось, что роботы смогут носить коробки и двигать тележки, а не рисовать картины и писать книги. Теперь кажется, что с передвижениями тележек по-прежнему все не совсем гладко, а вот в творчестве ИИ успешно человека нагоняет…

Да, все так. Знаете, у нас у всех есть впечатление, что мы занимаемся творческой деятельностью. Вы считаете, что занимаетесь творческой деятельностью, я считаю, что ею занимаюсь. Но, возможно, это не совсем так.

Написать статью в юридический журнал, как оказывается, можно поручить ИИ. То, что среднестатистический журналист пишет в среднестатистическое СМИ, вероятно, тоже можно делегировать нейросети. Вероятно, искусственный интеллект может заменить и фотографа, который снимает, к примеру, пачку сока для рекламы. На поверку получается, что реально творческих достижений у нас не так уж и много. И на будущий праздник жизни возьмут не всех.

Только тех, кто способен создать что-то подлинно уникальное?

У них тоже могут возникнуть проблемы. Те, кто способен создать настоящие шедевры, могут заниматься этим потому, что вокруг них существует огромная индустрия, которая позволяет оттачивать свое мастерство и зарабатывать на этом.

К примеру, начинающий гений может выкладывать свои рисунки в соцсети, выпускать какие-то NFT-токены, делать простенькие коммерческие заказы и тем самым зарабатывать себе на жизнь, потихоньку совершенствуя свои навыки. Пока наконец он не отточит навык настолько, чтобы создать шедевр, который будут обсуждать и через 1000 лет. Но если весь этот рынок будет уничтожен, я, честно говоря, не знаю, как тогда этому человеку стать мастером. Чем он будет зарабатывать и что позволит ему развиваться как художнику, раскрывая свои таланты, если все простые задачи станет выполнять искусственный интеллект?

Вспомните, в XVII — XIX веке была огромная индустрия написания портретов, в основном недорогих, которая кормила, в том числе и гениев, стоявших на вершине пирамиды художников. Но затем эту отрасль уничтожила фотография. И вместе с огромным количеством посредственных портретистов ушли и мастера этого жанра.

То есть переводя ваш пример на научные рельсы — нейросети могут вытеснить не только безвестных лаборантов, но и будущих Нильсов Боров и Эйнштейнов? Ведь гении часто тоже начинают как лаборанты?

Абсолютно так.

С другой стороны, есть такая теория технологической сингулярности, она утверждает, что научный и технический прогресс сильно ускоряется. На пике этого развития, говорят адепты данной идеи, ИИ станет настолько мощным, что сможет сам творить и изобретать. Мы же будем пытаться понять и применить эти изобретения, и не факт, что у нас всегда будет получаться. Предполагается, что это может случиться уже лет через 15—20.

Какое же место останется в этом мире ученым?

Задавать правильные запросы нейросети. Просить ее, к примеру, создать машину, которая сможет телепортировать человека на Луну.

От такой мысли немного не по себе…

Возможно, но я все еще остаюсь технооптимистом. У нас есть много других поводов для пессимизма и опасений. Новые технологии, напротив, дают мне какую-то надежду, что дальше мы будем жить лучше. Возможно, даже разумнее. Почему нет?