Как бороться с дезинформацией, сгенерированной с участием искусственного интеллекта

Информационные блиц-атаки, при которых дезинформация распространяется мгновенно и широко с целью создания немедленного разрушительного эффекта, — одна из наиболее серьезных проблем в цифровой экосистеме. 

Представим следующую гипотетическую ситуацию: в день президентских выборов, сторонники одного из кандидатов утром запускают кампанию по дезинформации, направленную на подавление голосов против их кандидата в ключевом колеблющемся штате. Определив избирательные участки, на которых большинство голосов, скорее всего, будут отданы оппоненту, авторы информационной атаки разворачивают изощренную кампанию в социальных сетях, распространяя свидетельства якобы реальных людей, которые пришли на избирательные участки, но не смогли проголосовать, потому что участки оказались закрыты.

Злоумышленники хорошо подготовились. За последние несколько месяцев они создали внушительное количество поддельных, но реалистично выглядящих учетных записей в Facebook и Twitter. Эти аккаунты регулярно публикуют и комментируют статьи, посвященные местной и национальной политике. Злоумышленники использовали искусственный интеллект (ИИ) для создания реалистичных фотографий и фейковых профилей, а также для варьирования контента и стиля постов и комментариев. Таким образом, удается избежать повторений и обмануть ПО, предназначенное для выявления фальшивых учетных записей. Фальшивые аккаунты подписываются как на другие фальшивые аккаунты, так и на реальных людей, многие в ответ также берут их в «друзья». 

В день выборов, сразу после начала голосования, злоумышленники приступают к действиям и публикуют десятки сообщений в Facebook и Twitter, жалуясь на то, что они пришли на избирательные участки в определенных районах, а те оказались закрыты. Типичный твит выглядит так: «Сегодня утром я пришел на свой избирательный участок, чтобы проголосовать, и он был ЗАКРЫТ! Табличка на двери сообщает, что мне нужно проголосовать в другом месте!». Десятки других контролируемых злоумышленниками аккаунтов «лайкают» твит и отвечают аналогичными историями о том, что их избирательные участки тоже закрыты. Некоторые аккаунты даже выкладывают фотографию «закрытого» участка.

Реальные пользователи, не понимая, что аккаунты фальшивые, комментируют и делают перепосты, чем непроизвольно способствуют распространению дезинформации.  

В свою очередь, их подписчики распространяют информацию дальше. 

Злоумышленники стараются активизировать большую часть фейковых учетных записей, хотя, некоторые из них используются для распространения дезинформации только через реплаи и лайки. Злоумышленники знают, что в течение дня модераторы социальных сетей поймут, что происходит, и примут меры, поэтому делают все, чтобы было сложно отличить аккаунты, намеренно участвующие в кампании дезинформации, от тех, кто делает это непреднамеренно.

Местные телеканалы и радиостанции быстро подхватывают новость, обеспечивая эфирное и онлайн-освещение сообщений о закрытых участках. Некоторые (но далеко не все) местные СМИ отмечают, что информация пока не подтверждена. Подключаются и федеральные каналы, хотя и освещают эту историю с оговоркой, что ждут подтверждения. Через полчаса после первых публикаций в социальных сетях местные журналисты едут на место происшествия и обнаруживают, что все упомянутые избирательные участки работают в обычном режиме, голосование проходит гладко, и люди в очередях выражают полное недоумение, когда им показывают сообщения из социальных сетей. Местные и федеральные СМИ быстро корректируют информацию, объясняя, что сообщения о закрытых избирательных участках – ложные.

Однако ущерб уже нанесен. До конца дня слухи о закрытых участках продолжают распространяться в социальных сетях. Многие потенциальные избиратели слышат только первоначальную новость о закрытых избирательных участках, а не её опровержение. Для некоторых достаточно возникшей неопределенности, чтобы они решили вообще не голосовать. Иные решают подождать до конца дня, чтобы проголосовать, полагая, что позже ситуация прояснится. Поток людей, прибывающих на избирательные участки в середине и конце дня, создает очередь, увеличивая время ожидания до часа и более. Кто-то, не имея желания или возможности ждать долго, возвращается домой, так и не проголосовав. В совокупности информационная атака приводит к десяткам тысяч потерянных голосов по всему штату – и этого оказывается достаточно, чтобы изменить исход выборов, как на уровне штата, так и на национальном уровне.

РИСКИ ДЕЗИНФОРМАЦИИ

Будем надеяться, что описанное выше никогда не случится. Но тот факт, что этот сценарий возможен, наглядно иллюстрирует важнейший аспект онлайн-дезинформации, которому не уделяется должное внимание: некоторые формы дезинформации способны нанести урон за считанные часы или даже минуты. Такого рода дезинформацию легко опровергнуть со временем, но чрезвычайно трудно сделать это быстро, предотвратив ущерб.

Ситуация выборов – лишь один пример, где могут возникнуть подобные проблемы. Другой пример – финансовые рынки. Они тоже рискуют стать объектом краткосрочных манипуляций. Такие фейки могут также серьезно повлиять на международные отношения, поскольку слухи мгновенно распространяются по всему миру благодаря цифровым платформам. Социальные движения – также поразительно легкая мишень для распространения ложной информации, побуждающей к действиям сторонников или противников того или иного мнения.

Конечно, проблема онлайн-дезинформации краткосрочного действия, не нова. Когда появился интернет на онлайн-форумах финансовых рынков было полно людей, которые стремились посеять ложную информацию об успехах и провалах публичных компаний и быстро на этом заработать. С тех пор изощренность инструментов, которые могут быть использованы для запуска кампаний по дезинформации, и охват платформ для ее распространения значительно возросли.

В конце 1990-х недобросовестным трейдерам приходилось вручную внедрять ложные слухи на форумах в надежде, что они попадутся на глаза большому количеству людей и спровоцируют движение рынка. Сегодня, с помощью технологий ИИ, онлайн-активность совсем небольшой группы людей может оказаться весьма заметной. 

ОБНАРУЖЕНИЕ ДЕЗИНФОРМАЦИИ

Дезинформация во всех ее формах – настоящий вызов для руководства социальных сетей. Они вынуждены идти на определенный компромисс. При слишком высоких требованиях, под классификацию «дезинформаторов» может подпасть огромное число пользователей, что серьезно ограничит их право на публикацию точной, своевременной информации о важных событиях. Если же компании будут недостаточно бдительны, то информационные атаки могут остаться незамеченными.

Руководства компаний прекрасно отдают себе отчет в этом компромиссе. В случае с медленными, долгоиграющими информационными атаками компаниям имеет смысл действовать консервативно в отношении блокировки контента. Вреда от длительного процесса проверки потенциально ложной информации куда меньше, чем от последствий блокировки реальных пользователей, чья информация является точной. 

Иными словами, дезинформацию, рассчитанную на игру в долгую, нужно подвергнуть тщательному расследованию. А в случае необходимости – действовать более решительно и минимизировать урон.

Блиц-атаки – особый вызов, они не дают компании времени на размышление. Вернемся к вышеописанному сценарию дня выборов. Если компания решит дождаться подтверждения информации о закрытых участках, прежде чем начать блокировку фейковых аккаунтов, то уже через несколько часов ущерб от дезинформации будет необратим. С другой стороны, меры, предпринятые в течение нескольких минут, могли бы этот ущерб предотвратить, но это требует определенности. Невозможно сразу получить информацию об аккаунтах, стоящих за атакой. И даже если информация очевидно ложная, все равно остается вопрос: какие именно учетные записи блокировать? Особенно если, как описано в примере, реальные учетные записи невольно способствуют распространению дезинформации.

В случае с незамысловатой дезинформацией, которая основана на copy/paste сообщений из недавно созданных учетных записей с небольшим количеством подписчиков, достаточно настроить программное обеспечение на их обнаружение и быстрое реагирование. Однако в момент изощренной атаки, отличить фейковую учетную запись от настоящей очень трудно. За то время, пока компании разбираются, что правда, а что нет, какие аккаунты действуют добросовестно, какие нет, дезинформация успевает нанести значительный ущерб.

К счастью, необходимость борьбы с дезинформацией в интернете привлекает все большее внимание исследователей, гражданских активистов, а также коммерческого сектора, причем как среди стартапов, так и среди технологических компаний-гигантов. Это увеличило количество платных и бесплатных онлайн-ресурсов для отслеживания дезинформации. 

Решение включает в себя технологии по обнаружению ботов, так как боты часто используются для распространения дезинформации. Но и здесь все неоднозначно, так как боты вполне могут быть использованы и в безобидных целях; кроме того, не во всех информационных атаках прибегают к ботам. 

Простой и доступный пример таких технологий — это набор инструментов, предоставленный Обсерваторией социальных сетей в Университете Индианы. Один из ее инструментов, Botometer, «проверяет активность учетной записи Twitter и выставляет ей оценку. Более высокие баллы означают бото-подобную активность». Также растет число коммерческих продуктов, направленных на обнаружение ботов и управление их активностью.

Сами по себе боты — лишь часть проблемы, поскольку не все информационные атаки с использованием ботов, можно выявить с помощью ПО. Нужны инструменты, способные отслеживать подозрительный контент и его влияние на более широкую экосистему. 

Еще один инструмент Обсерватории социальных сетей Университета Индианы, Хоукси (en. Hoaxy), можно использовать для «наблюдения за тем, как непроверенная информация и последующий фактчекинг распространяются в общедоступных социальных сетях». Хоукси отслеживает онлайн-активность, связанную с историями и их проверкой третьими лицами. Каким бы полезным ни был Хоукси, он не претендует на то, чтобы делать выводы о точности информации. Скорее, он просто собирает данные о том, как точность информации оценивают другие источники, не беря в расчет достоверность и точность самих источников. Проблема следующего этапа – а ее решить значительно труднее – как установить, является ли изначальное утверждение ложным или правдивым?

ПРОБЛЕМА РАЗМЕТКИ ДАННЫХ

Для быстрого реагирования на блиц-атаки потребуется ИИ. 

Но ИИ — это не волшебство. 

Для того, чтобы эффективно бороться с дезинформацией, ИИ необходим доступ к данным, позволяющим оценивать точность сообщения. Чтобы разобраться в этой ситуации, нужно понять, на что способен ИИ в отсутствие дефицита времени, а потом решать проблемы быстрого реагирования.

Дезинформацию легче всего обнаружить, когда есть значительные объемы точно размеченных «обучающих данных». Обучающие данные используются для того, чтобы система ИИ могла обучаться, и чтобы при обнаружении новых данных, которых не было в наборе, она знала, как их классифицировать. 

Рассмотрим препарат, потенциально предназначенный для лечения COVID, неэффективность которого была научно доказана. Тем не менее, большое число пользователей социальных сетей и некоторые новостные сайты продолжают утверждать, что это лекарство помогает. 

Набор обучающих данных может быть построен путем: 

а) компиляции постов и сообщений в социальных сетях, неверно утверждающих, что препарат излечивает COVID, и маркировки их как ложных, и 

б) компиляции и маркировки как верных сообщений в социальных сетях и новостных статей, которые правильно утверждают, что препарат не лечит болезнь. 

Дальше, с помощью этого набора данных, алгоритм может обучаться. Это называется «контролируемым» обучением; то есть обучению с использованием набора данных, который уже «помечен» в контексте интересующего нас атрибута. После завершения процесса обучения алгоритм будет крайне эффективен в быстрой классификации новых сообщений в социальных сетях или новостных статей, касающихся этого препарата, как неточных, так и точных.

Существует также метод «машинного обучения», основанный на «неконтролируемом» обучении, в которых алгоритм сам должен научиться определять интересующие нас категории данных без использования заранее проставленных меток. Пример неконтролируемого обучения в контексте дезинформации можно найти в статье 2019 года под названием «Неконтролируемое обнаружение фейковых новостей в социальных сетях: генеративный подход», опубликованной исследователями из Шанхайского университета Цзяо Тонг, Университета штата Пенсильвания и Университета штата Аризона. Авторы математически анализируют «взаимодействие пользователей в социальных сетях, чтобы определить их мнение о достоверности новостей» и используют это как основу для вывода о «достоверности пользователей без каких-либо помеченных данных».

Одним из препятствий для любого алгоритма обучения, контролируемого или неконтролируемого, является доступ к достаточно широкому набору обучающих данных. Для накопления информации из социальных сетей, которую можно использовать в качестве обучающих данных по конкретной проблеме, требуется значительное время. А чтобы оказаться полезными в системах искусственного интеллекта, эти данные, как правило, требуют ручной разметки. 

Такой подход работает, если предметом для разногласий является что-то конкретное — например, ложные рекомендации методов лечения, и – если нет дефицита времени на борьбу с дезинформацией. Для создания и использования полноценного набора обучающих данных требуется очень много времени. Но этот путь менее эффективен, если защиту нужно включить быстро, а объем данных для обучения алгоритма сильно ограничен.

Еще одной проблемой является точность меток, на которые алгоритм ИИ полагается в процессе обучения. «Шумные» данные – данные, в которых метки не обязательно точны – хорошо известная проблема в машинном обучении. В качестве простого примера, не связанного с информационными атаками, рассмотрим алгоритм машинного обучения, который пытается научиться автоматически отличать изображения автомобилей от изображений велосипедов. Для этого алгоритм может найти в интернете миллионы изображений с пометкой «автомобиль» и столько же изображений с пометкой «велосипед». В большинстве случаев эти метки будут правильными. Но в некоторых случаях метки будут неверными; изображение с пометкой «автомобиль» может показывать грузовик, велосипед или контент, совершенно не связанный с транспортными средствами. Чем выше доля неправильных меток, тем медленнее алгоритм будет учиться точно различать автомобили и велосипеды. Работа с зашумленными данными является активной областью исследований. Возникают новые подходы, которые помогут минимизировать, если не полностью устранить дефекты при работе с такими данными.

В процессе выявления дезинформации с помощью ИИ, вероятно, придется столкнуться с зашумленными данными по той простой причине, что речь идет о преднамеренном обмане. Большинство людей, публикующих изображение автомобиля в интернете, не станут называть его «велосипедом» для того, чтобы запутать алгоритмы машинного обучения. Но информационные атаки заранее связаны с набором противоречивых утверждений. Возвращаясь к приведенному выше примеру про день выборов: в ответ на твит, в котором ложно утверждается, что избирательный участок закрыт, кто-то, кто реально только что там проголосовал, может ответить собственным твитом, о том, что это дезинформация, и участок на самом деле открыт. Такой ответ, по сути, является маркером. Злоумышленник может ответить на первоначальный твит, заявив, что это правда.  Этот ответ также является маркером, хотя он прямо противоречит комментарию настоящего избирателя. В краткосрочной перспективе алгоритму или человеку будет чрезвычайно сложно определить, какому из маркеров доверять. Таким образом, быстрое реагирование на дезинформацию требует устранения двойного препятствия: ограниченных данных для обучения и ненадежных (в некоторых случаях – намеренно ложных) пометок этих данных.

Исследователи осознают эту проблему и разрабатывают новые подходы, которые не полагаются на набор ранее существовавших данных для обучения. В апреле 2020 года группа исследователей из Microsoft и Университета штата Аризона опубликовала предварительную версию статьи, в которой описываются свежие результаты по методам быстрого обнаружения фейковых новостей. В статье авторы отмечают, что традиционные подходы к обнаружению фейковых новостей «полагаются на большое количество помеченных примеров для обучения контролируемых моделей. Необходимый объем помеченных данных трудно получить сразу при обнаружении фейковых новостей». Чтобы решить эту проблему, авторы вводят метод, требующий «небольшого количества чистых данных, размеченных вручную». Этот метод используется для быстрой и автоматической маркировки большего набора данных на основе сообщений и комментариев пользователей социальных сетей к новостным статьям. Доверие пользователей — один из факторов, которые учитываются при формировании маркеров. По словам авторов, этот подход «превосходит современные базовые стандарты для быстрого выявления фейковых новостей». Подобные подходы помогут не только решить проблему ограниченных данных, но и минимизировать эффект неточной маркировки. 

Важнейшим аспектом в исследованиях, является подтверждение достоверности онлайн-источников. Установление доверия к информации станет решающим фактором в эффективном противодействии блиц-атакам. 

Например, в описываемом ранее сценарии дня выборов имело бы смысл особым образом пометить аккаунты новостных каналов, а также работающих там журналистов. Таким образом, как только становится понятно, что утверждения о закрытых избирательных участках являются ложными, и авторитетные аккаунты начинают этот факт распространять в социальных сетях, система ИИ сможет откалибровать правду и ложь и перейти к следующему этапу анализа сообщений, которые, как известно, содержат дезинформацию.

Также важно осознавать пределы возможностей ИИ. Ранее в этом году Сэмюэл Вулли из UT Austin опубликовал в MIT Technology Review отрывок из своей книги «Реалистичная игра». В нем Вулли отметил, что «не существует простого решения проблемы математического вычисления пропаганды в социальных сетях». В ближайшем будущем любые технологии ИИ вряд ли будут способны быстро решить проблему и безошибочно идентифицировать информационную атаку. Тем не менее, ИИ, безусловно, дает некоторое представление о динамике распространения и источниках возникновения дезинформации, он способен распознать фейковые учетные записи и проанализировать степень правдивости или ложности циркулирующей в социальных сетях информации. Дальнейшие меры должны принимать компетентные люди, принимающие решения на основе полученных результатов и правовых рамок.

СТРАТЕГИИ

Политика внутри самих компаний должна играть центральную роль в реагировании на блиц-атаки. На технологическом уровне, алгоритм обязан учитывать несколько факторов. Степень уверенности в том, что происходит блиц-атака. Когда менеджеры получают уведомление о выявленной подозрительной активности? В каких временных рамках система ИИ должна произвести такую оценку и должна ли эта шкала зависеть от характера и/или масштаба дезинформации? Например, дезинформация, связанная с насилием, явно должна иметь более высокий приоритет, чем фейковые комменты к речи того или иного политика во время предвыборного выступления. При каких обстоятельствах система ИИ должна упреждающе блокировать учетные записи, подозреваемые в организации блиц-атаки? Какие типы действий следует предпринять в отношении реальных учетных записей, которые невольно способствуют распространению дезинформации?

Важнейшим фактором является человеческий ресурс. Если система ИИ распознает потенциальную блиц-атаку, менеджерам социальных сетей требуется набор руководящих принципов, чтобы понять, как действовать дальше. Внутренняя политика компании также поможет определить, по какому принципу организовать «дежурство» сотрудников, чтобы блиц-атака не застала их врасплох. Очевидно, что в период важных событий, таких как национальные выборы, компаниям необходимо мобилизовать людей, готовых бороться с дезинформацией в режиме быстрого реагирования. В этом случае вопрос не в том, возникнет ли дезинформация, а в том, каков ее масштаб, и насколько изощренными будут атаки.

Большинство случаев невозможно предсказать и никакого ресурса не хватит для индивидуального мониторинга ситуаций, в которых может возникнуть дезинформация. Особенно с учетом того, что такие компании, как Facebook и Twitter, работают по всему миру; в двухстах странах мира существуют миллиарды аккаунтов, которые потенциально могут быть использованы для распространения дезинформации. В результате, блокировка произойдет не раньше, чем проблему обнаружит алгоритм, либо информация поступит от пользователей через каналы обратной связи.

Также нужна стратегия на тот случай, если система ИИ принимает неверное решение. Из-за ограниченности данных и необходимости быстро принять решение, алгоритм может инвертировать правду и ложь, придя к выводу, что попытки опровергнуть дезинформацию сами по себе являются блиц-атакой. Такой вариант более вероятен, чем можно предположить. Алгоритмы, как и люди, которые их разрабатывают, могут быть предвзяты. Речь идет о выборочном подходе к данным, подтверждающим «желательный» вывод. Этот эффект приводит к росту уверенности в ложном выводе. 

Скорость блиц-атак способна привести алгоритм к неверному выводу, и это требует вмешательства человека для идентификации проблемы и  ее изменения.

Короче говоря, сочетание растущей экосистемы социальных сетей и доступности все более мощных инструментов искусственного интеллекта для распространения контента означает, что информационные блиц-атаки гарантировано станут частью онлайн-ландшафта. Противодействие этим атакам потребует дальнейшего развития ИИ, особенно в отношении методов, которые могут быстро оценить надежность онлайн-источников, несмотря на ограниченность данных. Также требуется внимание со стороны руководителей социальных сетей, которые должны создать стратегии и обеспечить ресурс, в том числе человеческий, для обнаружения дезинформации. Необходима максимальная уверенность в том, что платформы будут использоваться для продвижения достоверной информации, а не для распространения лжи. 

Источник / Перевела А.Мирзоева