Как Discord превратился из игрового сервиса в платформу, где собираются экстремисты? Главное из расследования The Washington Post

Весной 2023 года сотрудники ФБР задержали 21-летнего служащего ВВС США Джека Тейшейру по делу об одной из крупнейших утечек секретных документов Пентагона и американской разведки. Тейшейра больше года выкладывал документы на закрытом сервере в Discord — площадке, которую геймеры используют для разговоров во время многопользовательских игр. При этом долгое время засекреченные документы оставались незамеченными — СМИ обратили внимание на документы, только когда они стали появляться на других площадках. «Медуза» пересказывает материал The Washington Post о том, как площадка для геймеров стала притягивать экстремистов.

Discord почти не уделял внимания модерации с самого основания платформы

Сервис Discord, появившийся в 2015 году, изначально был предназначен для геймеров — с его помощью они могли общаться голосом, проходя многопользовательские игры, и поддерживать связь вне игр в специальных тематических чатах. Во время пандемии ковида разработчики Discord расширили свою целевую аудиторию: сейчас это универсальная платформа для общения без фокуса на геймерах.

В первые два года своего существования Discord практически не уделял внимания мониторингу контента, который распространяется внутри сервиса. Это подтверждает Джон Редгрейв, вице-президент компании, возглавляющий отдел Trust & Safety (T&S). В беседе с The Washington Post он отметил, что до лета 2017 года в T&S был нанят только один сотрудник.

Компании пришлось пересмотреть свою политику после беспорядков в Шарлотсвилле в августе 2017 года, когда несколько тысяч ультраправых активистов вышли на акцию протеста против сноса памятника генералу конфедератов Роберту Ли. Выяснилось, что Discord был одной из главных платформ, где протестующие координировали свои действия перед маршем. В то же время пользователи обменивались антисемитскими и расистскими шутками, пользуясь возможностью сохранять анонимность.

После этих событий руководство Discord начало активно набирать сотрудников в отдел T&S. Сейчас его численность составляет 15% от общего количества работников компании, отмечает The Washington Post со ссылкой на представителей Discord. В 2021 году компания купила созданный Редгрейвом сервис Sentropy, который позволил ей автоматизировать процесс выявления контента, нарушающего правила пользования Discord. По словам главы отдела T&S, теперь сервис в 85% случаев сам удаляет подобный контент еще до того, как на него пожалуются пользователи. Ранее этот показатель находился на отметке 40%.

Компания подчеркивает, что тем не менее не мониторит каждую беседу на всех серверах, объясняя это необходимостью соблюдать этические принципы и свободу слова. Более 80% коммуникаций на платформе приходится на прямое общение между пользователями и закрытые сообщества, доступ в которые возможен только по приглашению. Здесь модерация Discord минимальна, заявляют представители компании, либо (за исключением редких случаев) полностью отсутствует.

The Washington Post отмечает, что из-за резкого роста числа пользователей во время пандемии Discord начал активнее работать с модераторами. Тогда же были запущены специальные обучающие программы, которые помогали лучше следить за соблюдением правил платформы. Ведущих модераторов также пригласили на специальный сервер, где они могли обсуждать вопросы доверия и безопасности юзеров и формировать пользовательскую политику Discord.

Однако в ноябре 2022 года компания закрыла этот сервер, свернула все обучающие программы и уволила трех сотрудников отдела T&S, которые за них отвечали. По словам Редгрейва, в Discord сочли поддержку сервера «не самым эффективным способом использования ресурсов». Редгрейв не уточнил, почему было принято решение отказаться от обучающих программ.

Несмотря на попытки модерации после скандалов, пользователи платформы продолжали успешно публиковать проблематичный контент

В марте 2019 года уроженец Австралии Брентон Таррант, придерживающийся ультраправых взглядов, совершил нападение на две мечети в Новой Зеландии. В результате теракта погиб 51 человек, еще 49 пострадали. Таррант снимал свое нападение на видео и вел прямую трансляцию в фейсбуке. Вскоре связанные с убийством материалы появились и на других платформах, включая Discord. Компания заявила, что за 10 дней, прошедших с момента теракта, забанила 1397 учетных записей и удалила 159 серверов, распространявших подобный контент.

The Washington Post перечисляет и другие события, во время которых Discord не был готов своевременно отреагировать на действия пользователей и контент, который они загружают на платформу. Среди них штурм Капитолия в январе 2021 года, серия ложных звонков с июня по сентябрь 2022 года с сообщениями о бомбах, стрельбе или других угрозах жителям США и Канады (за всеми этими звонками стоял один человек), а также убийство 10 человек в супермаркете в Буффало в мае 2022 года. Нападавший Пэйтон Гендрон использовал закрытый сервер для записи своих ежедневных дел и планирования атаки, рассказывает Зак Паркер, работавший в команде модерации Discord до ноября 2022 года. Именно поэтому компания не могла заранее отследить, что Гендрон планирует массовое убийство.

Чтобы заранее распознать опасность, нужно понимать разницу между расписанием дел и планированием причинения вреда другим людям, объясняет Паркер. Иными словами, модель должна читать и понимать все происходящее на платформе так же хорошо, как живой человек, — а это пока невозможно.

Сейчас компания рассчитывает на саморегуляцию сообщества, то есть на то, что пользователи сами будут сообщать о проблематичном контенте. При этом в Discord осознают, что такой метод не работает, если большинство пользователей в нем не заинтересованы. Это позволяет радикалам продолжать использовать площадки для коммуникации. «Расследования, которые мы проводим, особенно в отношении ультраправых экстремистов, почти всегда так или иначе приводят к Discord», — отметила в беседе с The Washington Post Рита Кац, глава организации SITE Intelligence Group, которая отслеживает активность террористов.

Сервер Тейшейры с секретными документами и расистскими постами не вызывал вопросов платформы, несмотря на многочисленные нарушения

В 2020 году Джек Тейшейра вместе со своими друзьями начал размещать на нескольких закрытых серверах, посвященных играм (среди них был сервер Thug Shaker Central), расистские и антисемитские посты, изображения с последствиями террористических атак и прочий контент, явно нарушающий правила Discord. Пользователи сервера (в материале The Washington Post они представлены только по никнеймам) отмечают, что игры очень скоро отошли на второй план. Став администратором, Тейшейра исключил из списка участников всех, кто ему не нравился, тем самым уменьшив количество людей, которые в теории могли бы сообщить о нарушениях. Сам он часто упоминал массовые убийства, фантазировал на тему взрыва в своей школе и охотно обсуждал вопросы расовой идеологии.

Также Тейшейра выкладывал на сервер Thug Shaker Central видеоролики, снятые от первого лица и по своей стилистике похожие на трансляцию, которую вел Таррант во время нападения на мечети. В этих видео Тейшейра показывал оружие и стрелял из него. Редгрейв подтвердил, что эти и другие видео, которые появлялись на Thug Shaker Central, нарушали правила платформы, однако никто из сотрудников Discord их не видел.

Отсутствие жалоб, а значит и внимания со стороны отдела T&S, позволило Тейшейре больше года публиковать засекреченные документы. Редгрейв отмечает, что возможности компании и в этом случае были ограничены. Даже когда сотрудники Discord обратили внимание на потенциально секретные документы, появившиеся на других площадках, они смогли связать эту утечку со своей платформой только через три дня, когда к ним уже начали обращаться журналисты. Даже в этом случае платформа не смогла ничего делать: Тейшейра закрыл сервер и лишил платформу архива, который можно было бы предоставить ФБР. Это помешало компании и властям США своевременно осознать масштабы утечки.

Согласно записям суда, на которые ссылается The Washington Post, Тейшейра делился конфиденциальной информацией как минимум на трех отдельных серверах. Среди них был сервер Abinavskiʼs Exclusion Zone, связанный с пользователем ютьюба Abinavski, который специализируется на публикации контента из игры War Thunder с ироничными комментариями. Поэтому, когда Тейшейра начал публиковать настоящие сводки американской разведки о начале российского вторжения в Украину, модераторы Discord отнеслись к этой информации с недоверием.

Один из таких модераторов, Джеремайя (он согласился ответить на вопросы журналистов при условии, что они укажут только его имя), признался, что позже эти документы все же их заинтересовали. Теперь он считает, что реакция со стороны модераторов была «неверным шагом», и добавляет, что модераторам необходимо было немедленно сообщить о сводках представителям Discord.

Ветка, которую вел Тейшейра, пропала примерно 19 марта 2023 года. Сервер Abinavskiʼs Exclusion Zone попал в поле зрения отдела T&S только 24 апреля — через 11 дней после ареста Тейшейры и спустя две с половиной недели после первых контактов между ФБР и сотрудниками Discord. Модератор Джеремайя отмечает, что он и его коллеги получили автоматическое предупреждение от платформы о нарушении правил, предписывающее удалить нелегальный контент. При этом ни один из представителей Discord так и не связался с командой модераторов лично. По словам Джеремайи, компания просто переложила всю ответственность за контент на самих пользователей.

Discord меняет правила взаимодействия с пользователями, но они не выглядят эффективными

В октябре Discord анонсировал несколько новых функций для пользователей, которые в первую очередь направлены на защиту несовершеннолетних пользователей. К ним, например, относится автоматическое размытие определенных типов медиа, а также предупреждения о возможных последствиях, когда несовершеннолетний начинает впервые общаться с новым пользователем.

Также компания собирается смягчить политику банов: если раньше пользователи могли получить постоянный бан за многократные нарушения правил, то теперь этой мерой будут пользоваться в исключительных случаях. Например, в бан попадут те, кто поощряет насилие или делится контентом, содержащим сексуальную эксплуатацию несовершеннолетних. Обычные нарушители будут получать временную блокировку или предупреждения с описанием нарушений.

Представители платформы надеются, что такой подход позволит пользователям пересмотреть свое поведение и исправиться. Политика хранения информации на платформе пока останется неизменной. Автоматическое сканирование информации на серверах для поиска потенциально опасного контента в планы компании не входит.

Несмотря на все нововведения, в Discord по-прежнему можно найти экстремистский контент. The Washington Post отмечает, что бывшие участники сервера Thug Shaker Central восстановили свое сообщество и обсуждают дело Джека Тейшейры, жалуясь на его освещение в прессе и активно используя расистские оскорбления.