Цей текст є частиною серії PROMPT.

Проєкт PROMPT займається використанням штучного інтелекту для аналізу та кращого розуміння дезінформації в інтернеті. Упродовж шести місяців я працював у дослідницькій групі opsci з питань ШІ, експериментуючи з великими мовними моделями (LLM), які здатні обробляти й генерувати тексти, передбачаючи наступне слово в послідовності. Водночас це зовсім не чарівні палички. У цій публікації я стисло розповідаю, як ми застосовуємо LLM для виявлення дезінформації, з якими викликами ми зіткнулися в ході дослідження та як адаптуємо наші методи, щоб удосконалити інструменти ШІ, які підтримують журналістів у їхній роботі.

Основні труднощі у спробі зрозуміти, які типи дезінформаційного контенту циркулюють онлайн, полягає в неструктурованій природі більшості інтернет-матеріалів. Твіти, пости в Telegram, коментарі й навіть меми рідко мають позначки чи метадані, що могли б указати на категорії, які нас цікавлять: про що цей текст? Які аргументи висуваються? Чи намагається контент викликати певні емоції? Але саме це необхідно для розуміння механізмів дезінформації — перетворення вільного тексту на структуровані, придатні для аналізу дані.

Саме тут LLM демонструють свій справжній потенціал. У так званому Zero-Shot режимі ми можемо «маркувати» (категоризувати) дані без значних витрат на навчання моделі (а для досвідчених користувачів — навіть без додаткового навчання). Наприклад, для такого повідомлення добре натренована LLM могла б надати наступні позначки:

«Вакцину ввели поспіхом. Ніхто не знає, що насправді в ній міститься».

Цільова аудиторія: органи охорони здоров’я

Наратив: експериментальні вакцини / ризик для населення

Емоція: недовіра, страх

Ми використовуємо цей підхід, щоб автоматично позначати публікації, виокремлювати сутності та співвідносити їх із наративами, які ми в межах проєкту PROMPT визначили щодо тем російського вторгнення в Україну, виборів до Європарламенту та прав спільноти LGBTQI+.

Підхід

Ми використовували великі мовні моделі (LLM), щоб автоматично анотувати повідомлення з ознаками дезінформації вісьмома мовами. Замість того щоб покладатися лише на одну модель, ми експериментували із кількома LLM, усі в режимі Zero-Shot.

Завдання LLM полягало в анотації понад 20 полів, які охоплюють як поверхневі, так і глибинні структурні лінгвістичні характеристики кожного допису в соціальних мережах (повний кодбук обговорюється тут). Серед них, наприклад:

• Типологія дезінформації (наприклад, змова, фальсифікація, упередженість)
• Наративні теми (наприклад, анти-ЄС, міграція, геополітичне фреймування)
• Фактичність та можливість перевірки
• Маніпуляції з інформацією та переконувальні техніки
• Риторичні фігури (наприклад, іронія, перебільшення, повторення)
• Аксіологічне фреймування (наприклад, «ми проти еліт», «ми проти мігрантів»)
• Емоційні тригери (наприклад, страх, гнів, ностальгія)

Щоб перевірити, які результати дають LLM, ми протестували їх на вибірці з бази даних EUvsDisinfo — ініціативи ЄС, що спеціально займається російською дезінформацією.

Кожен вхідний допис надсилався моделі разом зі стандартизованою системною інструкцією, яка описувала як завдання, так і таксономію. Отримані результати згодом перевірялися на відповідність формату.

Які існують виклики?

Попри свої можливості, LLM були розроблені насамперед для генерації текстів, а не для їхньої класифікації. Це на практиці створює три основні проблеми:

1. Вартість. Кожен запит до комерційної LLM оплачується за кількістю токенів. Аналіз мільйонів дописів може швидко коштувати тисячі євро.
2. Непослідовність. Одна й та сама вхідна інформація іноді може давати дещо різні результати. Без додаткових обмежень LLM здатні «галюцинувати», вигадуючи ярлики або продукуючи результати в непослідовних форматах.
3. Затримка й масштабованість. Запуск LLM для кожного окремого повідомлення вимагає часу й обчислювальних ресурсів — це стає обмеженням для моніторингу в реальному часі чи в дуже великих масштабах. Особливо це критично тоді, коли швидкість є визначальною для підтримки журналістів у виявленні та реагуванні на дезінформаційні наративи.

Як ми долаємо ці виклики?

По-перше, ми робимо ставку на менші моделі та більш ресурсоефективні підходи. Спираючись на відгуки журналістів, намагаємося спрощувати отримані дані. Для цього ширше використовуємо метадані — адже немає потреби у LLM, щоб визначити, чи допис походить із Facebook, чи Telegram, — і зменшуємо кількість категорій. Чи справді потрібно відстежувати тисячі риторичних відтінків? Компроміси тут неминучі.

По-друге, ми застосовуємо кілька моделей одночасно й перехресно перевіряємо їхні результати на узгодженість. Ми зіставляємо «більшість голосів» серед LLM із власною ручною перевіркою, зосереджуючи увагу на тих ділянках, де ймовірність помилок найбільша — наприклад, у випадку рідковживаних мов, а не лише англійської.

По-третє, ми оптимізуємо продуктивність за допомогою асинхронної обробки: LLM видають результати частинами, тож ми можемо працювати з проміжними даними й не чекати на завершення найповільнішого завдання. Крім того, ми об’єднуємо запити у пакети, щоб підвищити ефективність обробки.

Висновок

Як показують сучасні дослідження, Zero-Shot-анотація може працювати. Дехто навіть стверджує, що ці методи не лише швидші за людську (або «ручну») перевірку, а й дають кращі результати. Мета PROMPT полягає не в тому, щоб замінити журналістів, а в тому, щоб підтримати їх: виявляти слабкі сигнали, тонкі риторичні засоби на кшталт завуальованої мови чи dog whistles, а також ідентифікувати ширші патерни у величезних масивах даних.

LLM є лише одним компонентом у ширшій ШІ-екосистемі, яка допомагає відфільтровувати та структурувати потоки онлайн-інформації. Коротко кажучи: ці експерименти — не кінець, а лише початок.

Цей текст було вперше опубліковано на німецькому сайті EJO 10 серпня 2025 року. Українською переклала Олександра Ярошенко.

Погляди, висловлені на цьому сайті належать авторам і не обов’язково відображають точки зору, політики та позиції EJO. 

Джерело зображення: Pexels.

Стежте за нами у Facebook та LinkedIn.