Есть ли окончательный способ проверить, создан ли текст искусственным интеллектом? Давайте проверим это вместе с Камьей Пандей (Kamya Pandey).

Среди ученых растет обеспокоенность использованием контента, созданного искусственным интеллектом (ИИ), например, созданного ChatGPT, для обмана при оценке или экзамене.

Хотя контент, созданный искусственным интеллектом, нельзя считать «плагиатом» в традиционном понимании, поскольку он создает совершенно новый материал, для студентов все равно не совсем честно представлять работу ИИ как свою собственную. Кроме того, использование ИИ для выполнения задач подрывает цель обучения и лишает студентов ценных образовательных возможностей.

Вдохновленный всеми этими проблемами, 22-летний студент Принстона Эдвард Тиан создал GPTZero, инструмент, предназначенный для обнаружения текста, созданного искусственным интеллектом. Технология Tian доступна бесплатно для преподавателей во всем мире, и более 20 000 преподавателей уже подписались, чтобы получать обновления по разработке GPTZero.

Если вам интересно, как GPTZero может различать стиль написания человека и искусственного интеллекта, вот глубокое погружение во внутреннюю работу инструмента.

Как создан GPTZero?

GPTZero – это инструмент обнаружения искусственного интеллекта, который Тиан создал во время зимних каникул в колледже, работая с Принстонской лабораторией обработки естественного языка. Имея незначительную степень журналистики, Тиан разработал инструмент, который имел целью помочь преподавателям и журналистам бороться с плагиатом ИИ.

С момента первого выпуска 2 января 2023 года инструмент постоянно расширялся. 21 февраля Тиан написал в Twitter, что GPTZero сотрудничает с ed-tech организациями, такими как K16 Solutions, чтобы научить инструмент на большем наборе данных, что делает его более мощным.

Как работает GPTZero?

По словам Тиана, GPTZero измеряет два свойства, чтобы проверить текст, сгенерированный искусственным интеллектом — удивление и разрыв. Удивление измеряет случайность текста. Если текст очень случайный, GPTZero считает текст запутанным и определяет, что он написан человеком. Кроме того, тексты, написанные искусственным интеллектом, менее случайны или запутаны для GPTZero, поскольку он был обучен по таким данным.

Взрыв означает разницу в длине предложений в тексте. Когда человек что-то пишет, его предложения будут разной длины. Однако текст, написанный искусственным интеллектом, будет в основном однородным. Таким образом, чем выше разрыв текста, тем выше шанс, который написал реальный человек.

Кроме проверки текстов, непосредственно скопированных из инструментов письма искусственного интеллекта, GPTZero также способен обнаруживать и выделять части текста, которые были написаны моделью изучения языка, такой как ChatGPT. Преподаватели могут скачивать несколько файлов вместе, чтобы быстро проверить работу всего класса и убедиться, что учащиеся учатся, а не просто копируют модели ИИ.

Тестирование GPTZero

Говорят, что GPTZero правильно определяет работу ChatGPT на 98%. Чтобы проверить это, я взял текст, написанный ChatGPT, и ввел его на веб-сайт GPTZero.

Система немедленно что-то заподозрила, но намекнула что в тексте много высказываний, которые присущи именно искусственному интеллекту и где-то есть определенными частицами.

«Поскольку текст, созданный искусственным интеллектом, становится все более сложным, может быть сложно определить, был ли фрагмент текста написан человеком или системой искусственного интеллекта. Однако существует несколько методов, которые педагоги могут использовать для идентификации текста, созданного искусственным интеллектом.

Ищите несоответствия: хотя текст, созданный искусственным интеллектом, может быть впечатляющим, он все равно может содержать несоответствия, которые человек не заметит. Например, в тексте может быть нехватка связности или ошибки грамматики, пунктуации или орфографии».

Так что с самого начала GPTZero не увидел, что весь текст был написан ИИ. Это дало тексту оценку изумления 44 и оценку разрыва 28,554.

Я представил, что попал в предел погрешности 2%, которую имел инструмент, и решил попробовать еще раз. На этот раз я хотел увидеть, что инструмент подумает о тексте, который я действительно написал сам.

Первая проблема искусственного интеллекта

«Первая проблема с написанием ИИ состоит в том, что он в значительной степени зависит от информации из Интернета, которая может быть неточной. Итак, если студент просто возьмет эссе, написанное искусственным интеллектом, и пришлет его своим преподавателям в таком виде, скорее всего, оно будет пестрить ошибками и погрешностями.

Существует также высокая вероятность того, что в эссе будет расистский и сексистский подтекст, учитывая, что большинство инструментов искусственного интеллекта, обученных на веб-данных, как правило, испытывают эту проблему» – говорит Камья Пандей (Kamya Pandey).

Я пытался сохранить длину текста примерно одинаковой, чтобы сделать тест максимально справедливым, и вот что мне сказал инструмент: Скорее всего, написано человеком.

На этот раз он не выделил ни одной главы, которая, по его мнению, была написана искусственным интеллектом. Как бы я ни рад, что меня признали человеком, меня было достаточно шокирующим увидеть, что мои показатели удивления и разрыва были ниже, чем показатели atGPT на 38,667 и 20,404 соответственно

Я провел последний тест, где смешал собственное содержимое с содержимым ChatGPT, но…

«Инструменты обнаружения плагиата, такие как Turnitin или Grammarly, могут определить, был ли фрагмент текста скопирован из других источников или создан системой ИИ. Однако эти инструменты не всегда точны и могут генерировать ошибочные срабатывания.

Помимо технических решений некоторые эксперты предполагают, что если преподаватели обеспокоены тем, что учащиеся создают свои задачи с помощью искусственного интеллекта, они могут просто изменить оценку. Замена письменных материалов групповыми презентациями или устными докладами уменьшила бы масштабы списывания и обеспечила бы уверенность в том, что студент прилагает усилия».

Опять же, он не обозначил ни одну главу как «создан искусственным интеллектом», но он присвоил этому тексту более высокую оценку удивления 48,5 по сравнению с предыдущими текстами.

Этот эксперимент должен показать, что этот инструмент все еще находится на ранних стадиях разработки, и преподаватели не должны полагаться исключительно на него для оценки работы учащихся. GPTZero сам это признает (как показано на рисунке выше), призывая преподавателей использовать его как один из многих инструментов для оценки задач.

Попробовать детектор искусственного интеллекта можно на gptzero.me по этой ссылке

Недостатки инструмента

«Я не хочу, чтобы кто-то принимал окончательные решения. Это то, что я создал во время каникул», — Камья Пандей (Kamya Pandey).

Тем не менее, тот факт, что такой инструмент существует и что Тиан активно работает над его усовершенствованием, вдохновляет. Поскольку технология облегчает студентам списывания, GPTZero служит напоминанием о том, что инновационные решения могут быть разработаны для предотвращения этого.