Рассказы, созданные искусственным интеллектом, участники нового исследования в среднем оценили выше человеческих. В эксперименте 1 682 взрослых прочитали один из шести коротких текстов: три были написаны людьми, ещё три — ChatGPT. Исследователи сообщили читателям, кем якобы создан рассказ, но эта информация не всегда соответствовала действительности.
Речь идёт не о сравнении великих романов с машинным текстом, а о коротких историях, построенных на сходных темах. Именно поэтому результат оказался связан не только с качеством самих рассказов, но и с тем, что читатель думал об их авторстве.
У каждого рассказа, созданного ИИ, была похожая тема с одним из произведений, написанных человеком. После чтения участники оценивали, насколько текст их захватил и увлёк, а также насколько качественным он показался. Те, кому достался рассказ ChatGPT, в среднем давали ему более высокие оценки по обоим параметрам, чем те, кто читал человеческий текст.
При этом возник парадокс. Когда участникам говорили, что рассказ написан человеком, они оценивали его выше, чем текст, который, по их мнению, создал ИИ. Получается, восприятие менялось в зависимости от ярлыка: фактическое происхождение текста и представление о его происхождении влияли на читательскую реакцию по-разному.
Читатель слышит не только сам текст
Старшим автором исследования стала доктор Дина Сколник Вайсберг из Университета Виллановы в Пенсильвании. Она сказала, что системы ИИ уже способны создавать короткие рассказы, которые воспринимаются как не хуже человеческих, а иногда и лучше. По её мнению, представления о возможностях искусственного интеллекта теперь следует пересмотреть.
«Системы ИИ уже могут создавать короткие рассказы, которые воспринимаются как по меньшей мере столь же хорошие, если не лучшие, чем написанные людьми. Нам следует соответствующим образом обновить свои представления о возможностях ИИ», — сказала Вайсберг.
Однако сама Вайсберг занимается творческим письмом и не считает, что литературу нужно передать машинам. Она предположила, что романы, созданные технологией, будут отличаться от романов, написанных людьми. В будущем, по её словам, в литературе, возможно, придётся найти место для романов, созданных ИИ, и для книг, написанных совместно человеком и машиной.
Это не отменяет человеческого творчества. Люди пишут, чтобы выразить себя, испытать собственные силы или разобраться в пережитом. Способность ИИ создавать истории, похожие на человеческие, сама по себе не меняет этих мотивов. От античных сюжетов «Одиссеи» Гомера до детективной прозы Агаты Кристи люди веками создавали истории для книг, и исследование не утверждает, что эта традиция исчезает.
Другой вывод касается отношения к технологии. Участники, настроенные к ИИ более положительно, выше оценивали рассказы, которые им приписывали ChatGPT, чем люди с менее благоприятным отношением. Предпочтение текстов с человеческой маркировкой Вайсберг связала с поиском подлинности, тогда как более высокие оценки реально созданных ИИ историй объяснила их простотой: такие тексты легче читать и воспринимать.
Распознать автора оказалось сложнее, чем оценить рассказ
Затем исследователи провели ещё два эксперимента с участием 905 взрослых. Каждому давали два рассказа на одну тему, из которых только один был написан человеком. Участники должны были определить, какой текст принадлежит человеку, а какой создал ИИ.
В одном эксперименте правильный ответ выбрали около 40% участников — это результат ниже случайного угадывания. В другом доля правильных ответов составила 52%. Авторы исследования пишут, что в целом участники не продемонстрировали способности надёжно отличать человеческие рассказы от созданных искусственным интеллектом.
Самооценка литературной компетентности не была связана с точностью ответов. Зато участники, лучше знакомые с системами ИИ, чаще угадывали происхождение текстов. Вайсберг объяснила это тем, что у машинного письма есть особый стиль, который можно научиться распознавать с практикой, так же как читатель учится различать индивидуальные стили разных авторов.
По информации The Guardian — Culture, исследование опубликовано в журнале Judgment and Decision Making. Оно показывает, насколько быстро меняется привычная граница между чтением и распознаванием авторства: текст может понравиться больше, пока читатель считает его человеческим, но при проверке оказаться машинным.
Не все восприняли выводы как доказательство литературной состоятельности ИИ. Люк Кеннард, профессор кино и творческого письма из Бирмингемского университета, который не участвовал в работе, назвал тему искусственного интеллекта крайне спорной. Он заявил, что люди склонны наделять ИИ человеческими чертами и представлять его как безобидного робота с нейтральным лицом, хотя на деле речь идёт о предсказательном коде, основанном на огромной базе украденных текстов.
Кеннард также подчеркнул материальную сторону технологии: системы работают в больших, дорогих и разрушительных дата-центрах, последствия деятельности которых затрагивают окружающие сообщества. По его мнению, ИИ нельзя считать инструментом вроде проверки орфографии или тезауруса: он видит в нём экзистенциальную угрозу.
«Конечно, при правильных запросах и доработке ИИ способен выдать связное и даже приятное стихотворение. Учитывая, что его обучали на тысячах лет человеческого творчества, было бы неловко, если бы он не мог этого делать», — сказал Кеннард.
Его итоговый вопрос звучит шире, чем спор о качестве отдельных рассказов: стоит ли такая технология затраченных ресурсов и последствий её использования. На этот вопрос Кеннард ответил категорическим «нет». Исследование тем временем оставляет открытым другой вопрос: станет ли машинная проза долгим направлением литературы или нынешняя реакция связана прежде всего с новизной технологии, отношением к ней и тем, насколько легко читаются её тексты.