СТИЛОМЕТРИЧНА КЛАСИФІКАЦІЯ ШТУЧНО ЗГЕНЕРОВАНИХ ТЕКСТІВ: ПОРІВНЯЛЬНЕ ОЦІНЮВАННЯ МОДЕЛЕЙ МАШИННОГО НАВЧАННЯ

Анотація

Із поширенням великих мовних моделей, таких як ChatGPT і Deepseek, дедалі складніше визначити, хто є автором тексту – людина чи штучний інтелект. У цьому дослідженні оцінюється ефективність стилометричного аналізу як прозорого та інтерпретованого методу для виявлення синтетичного контенту. Було сформовано збалансований набір із 30 000 відповідей (по 10 000 для кожного класу: Human, ChatGPT, Deepseek). Відповіді для Human і ChatGPT взято з відкритого датасету, а для Deepseek створено окремо за єдиним шаблоном запитів з використанням моделі Deepseek 7B. Кожну відповідь перетворено на вектор із 12 стилометричних ознак, що характеризують лексику, синтаксис та читабельність. Дослідження охоплює п’ять моделей машинного навчання: Logistic Regression, SVM, Random Forest, Gradient Boosting та Decision Tree. Кожну з них навчено та протестовано для багатокласової та бінарної класифікації з подальшою оптимізацією гіперпараметрів. Найвищу ефективність показала модель Random Forest (F1 = 0.84/0.86), досягнувши точності понад 87 %. Gradient Boosting і SVM також продемонстрували хороші результати. Найінформативнішими ознаками виявились індекс Сімпсона, співвідношення типів і токенів та середня довжина речень. Результати підтверджують, що стилометричні ознаки, попри свою простоту, дозволяють ефективно розрізняти тексти людського та штучного походження. Запропонований підхід демонструє високу інтерпретованість і може бути ефективно використаний у поєднанні з іншими методами для верифікації авторства, забезпечення академічної доброчесності та виявлення згенерованого контенту. Крім того, генерація даних за допомогою відкритих локальних моделей у середовищі Ollama забезпечує масштабованість експериментів використання платних API, що особливо актуально на ранніх етапах досліджень та в академічному середовищі з обмеженими ресурсами.