Facebook знал о оскорбительном контенте во всем мире, но не смог пресечь его

45
Facebook позволяет правительству Казахстана напрямую отмечать вредоносный контент, говорится в совместном заявлении

Сотрудники Facebook годами предупреждали, что по мере того, как компания стремилась стать глобальной службой, ей не удавалось контролировать оскорбительный контент в странах, где такая речь могла нанести наибольший вред, согласно интервью с пятью бывшими сотрудниками и внутренние документы компании, просмотренные Рейтер.

Более десяти лет Facebook стремится стать доминирующей онлайн-платформой в мире. В настоящее время он работает более чем в 190 странах и может похвастаться более чем 2,8 миллиардами пользователей в месяц, которые публикуют контент на более чем 160 языках. Но его усилия по предотвращению превращения своей продукции в каналы разжигания ненависти, подстрекательской риторики и дезинформации — некоторые из которых обвиняют в подстрекательстве к насилию — не поспевают за ее глобальным расширением.

Внутренние документы компании, просмотренные Reuters, показывают, что Facebook знает, что он не нанял достаточно сотрудников, которые обладают как языковыми навыками, так и знанием местных событий, необходимых для выявления нежелательных сообщений от пользователей в ряде развивающихся стран. Документы также показали, что системы искусственного интеллекта, которые Facebook использует для искоренения такого контента, также часто не справляются с этой задачей; и что компания не упростила для своих пользователей по всему миру возможность отмечать сообщения, нарушающие правила сайта.

Эти недостатки, как предупреждали сотрудники в документах, могут ограничить способность компании выполнить свое обещание заблокировать разжигание ненависти и другие нарушающие правила сообщения в разных местах от Афганистана до Йемена.

В обзоре, опубликованном на внутренней доске сообщений Facebook в прошлом году о том, как компания выявляет злоупотребления на своем сайте, один сотрудник сообщил о «значительных пробелах» в некоторых странах, подверженных риску реального насилия, особенно в Мьянме и Эфиопии.

Эти документы относятся к тайне разоблачений, сделанных Комиссией по ценным бумагам и биржам США и Конгрессом разоблачителем Facebook Фрэнсис Хауген, бывшим менеджером по продукту Facebook, покинувшим компанию в мае. Рейтер входил в группу новостных организаций, которые могли просматривать документы, включая презентации, отчеты и сообщения, размещенные на внутренней доске объявлений компании. Об их существовании впервые сообщил The Wall Street Journal.

Представитель Facebook Мавис Джонс заявила в заявлении, что у компании есть носители языка по всему миру, которые просматривают контент на более чем 70 языках, а также эксперты по гуманитарным вопросам и вопросам прав человека. По ее словам, эти команды работают над предотвращением злоупотреблений на платформе Facebook в местах, где существует повышенный риск конфликтов и насилия.

«Мы знаем, что эти проблемы реальны, и гордимся проделанной к настоящему времени работой», — сказал Джонс.

Тем не менее, кеш внутренних документов Facebook предлагает подробные снимки того, как сотрудники в последние годы били тревогу о проблемах с инструментами компании — как человеческими, так и технологическими — направленных на искоренение или блокирование речи, нарушающей ее собственные стандарты. Материал расширяет предыдущие отчеты Reuters о Мьянме и других странах , где крупнейшая в мире социальная сеть неоднократно не могла защитить пользователей от проблем на своей собственной платформе и изо всех сил пыталась отслеживать контент на разных языках.

Среди упомянутых недостатков было отсутствие алгоритмов проверки языков, используемых в некоторых странах, которые Facebook считает наиболее «подверженными риску» потенциального реального вреда и насилия в результате злоупотреблений на его сайте.

Компания называет страны «подверженными риску» на основе таких переменных, как беспорядки, этническое насилие, количество пользователей и существующие законы, сообщили Reuters два бывших сотрудника. По словам источников, система направлена ​​на то, чтобы направлять ресурсы в те места, где злоупотребления на ее сайте могут иметь самые серьезные последствия.

По словам пресс-секретаря Джонс, Facebook каждые шесть месяцев проверяет эти страны и определяет их приоритетность в соответствии с руководящими принципами Организации Объединенных Наций, направленными на оказание помощи компаниям в предотвращении и устранении нарушений прав человека в их деловых операциях.

В 2018 году эксперты ООН, расследующие жестокую кампанию убийств и изгнаний мусульманского меньшинства рохинджа в Мьянме, заявили, что Facebook широко использовался для распространения ненавистнических высказываний по отношению к ним. Это побудило компанию увеличить штат сотрудников в уязвимых странах, сказал Рейтер бывший сотрудник. Facebook заявил, что ему следовало сделать больше, чтобы предотвратить использование платформы для подстрекательства к насилию в стране.

Ашраф Зейтун, бывший глава отдела политики Facebook по Ближнему Востоку и Северной Африке, который ушел из компании в 2017 году, сказал, что подход компании к глобальному росту был «колониальным», сосредоточенным на монетизации без мер безопасности.

Более 90% ежемесячных активных пользователей Facebook находятся за пределами США или Канады.

ЯЗЫКОВЫЕ ВОПРОСЫ

Facebook уже давно рекламирует важность своих систем искусственного интеллекта (ИИ) в сочетании с человеческим обзором как способ борьбы с нежелательным и опасным контентом на своих платформах. Системы машинного обучения могут обнаруживать такой контент с разной степенью точности.

Но языки, на которых говорят за пределами США, Канады и Европы, стали камнем преткновения для автоматической модерации контента Facebook, как показывают документы, предоставленные правительству Хаугеном. Компании не хватает систем искусственного интеллекта для обнаружения оскорбительных сообщений на нескольких языках, используемых на ее платформе. В 2020 году, например, у компании не было алгоритмов проверки, известных как «классификаторы», для поиска дезинформации на бирманском языке, языке Мьянмы, или языка вражды на эфиопских языках оромо или амхарском, говорится в документе.

Эти пробелы могут привести к распространению оскорбительных сообщений в странах, где сам Facebook определил, что риск реального ущерба высок.

В этом месяце агентство Reuters обнаружило сообщения на амхарском, одном из самых распространенных языков Эфиопии, в которых различные этнические группы назывались врагами и угрожали им смертью. В течение почти года конфликта в стране между правительством Эфиопии и повстанческими силами в районе Тыграй погибли тысячи человек и более 2 миллионов были перемещены.

Представитель Facebook Джонс сказал, что у компании теперь есть технология проактивного обнаружения для выявления языка ненависти на оромо и амхарском языке, и она наняла больше людей, владеющих «языком, страной и тематикой», включая людей, которые работали в Мьянме и Эфиопии.

В недатированном документе, который, по словам человека, знакомого с раскрытиями информации, был датирован 2021 годом, сотрудники Facebook также поделились примерами «разжигающих страх антимусульманских нарративов», распространяемых на сайте в Индии, включая призывы изгнать там многочисленное мусульманское меньшинство. . «Отсутствие у нас классификаторов на хинди и бенгали означает, что большая часть этого контента никогда не помечается и не обрабатывается», — говорится в документе. В внутренних сообщениях и комментариях сотрудников в этом году также отмечалось отсутствие классификаторов на языках урду и пушту для проверки проблемного контента, размещенного пользователями в Пакистане, Иране и Афганистане.

Джонс сказал, что Facebook добавил классификаторы языка вражды для хинди в 2018 году и бенгальского в 2020 году, а также классификаторы для насилия и подстрекательства на хинди и бенгали в этом году. Она сказала, что в Facebook теперь есть классификаторы языка вражды на урду, но не на пушту.

Документы показывают, что человеческая проверка сообщений Facebook, которая имеет решающее значение для решения таких тонких проблем, как язык вражды, также имеет пробелы на ключевых языках. В недатированном документе описывается, как его операция по модерации контента борется с арабоязычными диалектами нескольких стран, находящихся в «группе риска», из-за чего она постоянно «играет в догонялки». В документе признается, что даже в его арабоязычных рецензентах «Йеменцы, Ливийцы, Саудовская Аравия (на самом деле все страны Персидского залива) либо отсутствуют, либо имеют очень низкое представительство».

Джонс из Facebook признал, что модерация контента на арабском языке «представляет собой огромный набор проблем». Она сказала, что Facebook вложила средства в персонал за последние два года, но признает, что «у нас еще есть над чем поработать».

Трое бывших сотрудников Facebook, которые последние пять лет работали в офисах компании в Азиатско-Тихоокеанском регионе, на Ближнем Востоке и в Северной Африке, сказали Reuters, что, по их мнению, модерация контента в их регионах не была приоритетом для руководства Facebook. Эти люди сказали, что руководство не понимает проблемы и не выделяет достаточно персонала и ресурсов.

Джонс из Facebook сказал, что калифорнийская компания борется со злоупотреблениями со стороны пользователей за пределами США с той же интенсивностью, что и внутри страны.

Компания заявила, что активно использует ИИ для выявления разжигающих ненависть высказываний на более чем 50 языках. Facebook заявил, что он основывает свои решения на том, где развернуть ИИ, исходя из размера рынка и оценки рисков страны. Он отказался сообщить, в скольких странах не действуют классификаторы языка вражды.

Facebook также заявляет, что у него есть 15 000 модераторов контента, которые просматривают материалы своих пользователей со всего мира. «Увеличение количества языковых знаний было для нас ключевым моментом», — сказал Джонс.

Компания заявила, что за последние два года она наняла людей, которые могут просматривать контент на амхарском, оромо, тигринском, сомалийском и бирманском языках, а в этом году добавила модераторов на 12 новых языках, включая гаитянский креольский.

Facebook отказался сообщить, требуется ли минимальное количество модераторов контента для любого языка, предлагаемого на платформе.

УТРАЧЕНО ПРИ ПЕРЕВОДЕ

Пользователи Facebook — мощный ресурс для выявления контента, нарушающего стандарты компании. Компания создала для них систему, но признала, что этот процесс может занять много времени и быть дорогостоящим для пользователей в странах, где нет надежного доступа в Интернет. Согласно документам и активистам цифровых прав, которые беседовали с Reuters, в инструменте отчетности также были ошибки, недостатки дизайна и проблемы с доступностью для некоторых языков.

Next Billion Network, группа технологических групп гражданского общества, работающих в основном в Азии, на Ближнем Востоке и в Африке, заявила, что в последние годы она неоднократно сообщала руководству Facebook о проблемах с системой отчетности. Среди них был технический дефект, из-за которого система обзора контента Facebook не могла видеть нежелательный текст, сопровождающий видео и фотографии, в некоторых сообщениях, о которых сообщили пользователи. Эта проблема не позволила должным образом оценить серьезные нарушения, такие как угрозы смертью в тексте этих сообщений, сообщили Reuters группа и бывший сотрудник Facebook. По их словам, проблема была устранена в 2020 году.

Facebook заявила, что продолжает работать над улучшением своих систем отчетности и серьезно относится к обратной связи.

Языковой охват остается проблемой. В январской презентации Facebook, включенной в документы, сделан вывод о том, что «существует огромный пробел в процессе сообщения о ненавистнических высказываниях на местных языках» для пользователей в Афганистане. Недавний вывод туда американских войск по прошествии двух десятилетий спровоцировал внутреннюю борьбу за власть в стране. Так называемые «общественные стандарты» — правила, регулирующие то, что пользователи могут публиковать — также недоступны на основных языках Афганистана — пушту и дари, — сказал автор презентации.

Обзор Reuters в этом месяце показал, что стандарты сообщества не доступны примерно на половине из более чем 110 языков, которые Facebook поддерживает с такими функциями, как меню и подсказки.

Facebook заявил, что стремится к тому, чтобы эти правила были доступны на 59 языках к концу года и еще на 20 языках к концу 2022 года.

Последнее обновление 10 месяцев назад — GameZoom

0 0 голоса
Рейтинг статьи
Подписаться
Уведомить о
guest
0 комментариев
Межтекстовые Отзывы
Посмотреть все комментарии