Investigadores proponen un nuevo enfoque para desmantelar redes de odio en línea

¿Cómo te des haces de la incitación al odio en las plataformas sociales? Hasta ahora, las empresas han intentado generalmente dos enfoques. Una es prohibir a los usuarios individuales que son sorprendidos publicando abuso; la otra es prohibir las grandes páginas y grupos donde las personas que practican el discurso de odio se organizan y promueven sus puntos de vista nocivos.

Pero, ¿qué pasa si este enfoque es contraproducente? Ese es el argumento de un nuevo y intrigante artículo de hoy en Nature de Neil Johnson, profesor de física en la Universidad George Washington, e investigadores de GW y la Universidad de Miami. El artículo, “Resiliencia oculta y dinámica adaptativa de la ecología global del odio en línea”, explora cómo se organizan los grupos de odio en Facebook y la red social rusa VKontakte, y cómo se resucitan después de que las plataformas los prohíben.

Como noemi Derzsy escribe en su resumen en Nature:

Johnson y otros muestran que los grupos de odio en línea están organizados en grupos altamente resistentes. Los usuarios de estos grupos no están localizados geográficamente, sino que están interconectados globalmente por “autopistas” que facilitan la propagación del odio en línea en diferentes países, continentes e idiomas. Cuando estos clústeres son atacados —por ejemplo, cuando los administradores de la plataforma de medios sociales eliminan los grupos de odio (Fig. 1), los clústeres se vuelven a cablear y repararse rápidamente, y se hacen fuertes lazos entre los clústeres, formados por usuarios compartidos entre ellos, análogos a los enlaces químicos covalentes. En algunos casos, dos o más racimos pequeños pueden incluso fusionarse para formar un gran cúmulo, en un proceso que los autores parecen a la fusión de dos núcleos atómicos. Utilizando su modelo matemático, los autores demostraron que la prohibición del contenido de odio en una sola plataforma agrava los ecosistemas de odio en línea y promueve la creación de clústeres que no son detectables por la vigilancia de la plataforma (que los autores llaman “piscinas oscuras”)), donde el contenido de odio puede prosperar sin control.

En el artículo, los autores ofrecen una metáfora de elección para el enfoque actual de las plataformas:

Estos dos enfoques son equivalentes a los intentos de tratar de entender cómo hierve el agua buscando una partícula mala en un mar de miles de millones (aunque no hay uno para transiciones de fase), o el punto de vista macroscópico que todo el sistema tiene la culpa (similar a termodinámica). Sin embargo, la ciencia correcta detrás de fenómenos físicos extendidos se encuentra en la mesoescala en la dinámica de clúster autoorganizada de las correlaciones en desarrollo, con lo mismo que se cree que es cierto para muchos entornos de ciencias sociales

Entonces, ¿qué hacer en su lugar? Los investigadores abogan por un enfoque de cuatro pasos para reducir la influencia de las redes de odio.

1. Identifique grupos más pequeños y aislados de discursos de odio y prohíba a esos usuarios en su lugar.
2. En lugar de eliminar clústeres pequeños completos, prohíba muestras pequeñas de cada racimo al azar. Esto teóricamente debilitaría el racimo con el tiempo sin inflamar toda la colmena.
3. Reclutar usuarios en contra de la incitación al odio para interactuar directamente con los miembros de los grupos de odio más grandes. (Los autores explican: “En nuestros datos, algunos supremacistas blancos piden una Europa unificada bajo un régimen similar a Hitler, y otros se oponen a una Europa unida. Existen combates similares entre los grupos de odio del movimiento KKK. Agregar una tercera población en un formato pre-diseñado permite que el tiempo de extinción del grupo de odio sea manipulado globalmente.)
4. Identificar grupos de odio con puntos de vista competidores y enfrentarlos unos contra otros, en un esfuerzo por sembrar dudas en la mente de los participantes.

Estas estrategias me parecen fascinantes, aunque me pregunto qué tan pragmáticas son. (En particular, estos dos últimos, son básicamente diametralmente opuestos a la política de plataforma existente.) El primer punto, que los autores documentan con una cantidad de matemáticas prohibidas, me parece el más persuasivo. (Otra investigadora, Natalie Bucklin, publicó recientemente un análisis similar de los grupos de odio de Twitter que también encontró grandes grupos conectados por unos pocos nodos grandes, tal como lo hizo el equipo de Johnson.)

El equipo de Johnson está desarrollando actualmente software que espera que ayude a los reguladores y plataformas de software a considerar nuevas intervenciones en la incitación al odio.

“La analogía no importa cuánto asesino de hierba coloques en un patio, el problema volverá, potencialmente más agresivamente”, dijo Johnson en un comunicado de prensa que acompañaba al periódico. “En el mundo en línea, todos los patios del vecindario están interconectados de una manera muy compleja, casi como agujeros de gusano. Esta es la razón por la que las plataformas de redes sociales individuales como Facebook necesitan nuevos análisis como el nuestro para encontrar nuevos enfoques para empujarlos por delante de la curva”.

Aun así, puedo pensar en muchos problemas potenciales con el enfoque identificado en el documento. Vamos a tomarlos en el orden en que se les propone.

1. La eliminación de pequeños grupos de malos actores podría ser un enfoque más productivo a largo plazo. Pero, ¿cómo justificarían las plataformas que los grandes clústeres sigan operando mientras tanto? Si las plataformas persiguen alos pequeños alevines mientras permiten que los grandes grupos de odio prosperen, los usuarios, los reguladores y sus propios empleados las pillan, y no son injustamente.
2. Prohibir a los malos actores al azar es un anatema a las políticas actuales de la plataforma, que intentan desarrollar estándares claros y escalables que pueden aplicar universalmente. Los investigadores piden a las plataformas que creen un sistema menos justo hoy con la esperanza de que mañana cree un sistema más seguro, pero habrá muchos aullidos válidos de injusticia mientras tanto.
3. Con algunas excepciones notables, no me parece claro que entendemos cómo involucrar productivamente a los usuarios extremistas en nuestras plataformas sociales actuales. Reclutar voluntarios para hacerlo se siente digno de experimentación —ver charlie Warzel esta semana con un esfuerzo de este tipo— pero no es algo en lo que apostaría la plataforma hoy.
4. Promover la lucha interna entre grupos extremistas, descuelvarles de energía que de otro modo podrían utilizar para radicalizar a los nuevos usuarios, parece útil en teoría. Pero, ¿dónde podrían las plataformas permitir justificadamente un intercambio de escuelas rivales de pensamiento de discursos de odio? Eso iría en contra del loable principio de la plataforma de eliminar el discurso de odio tan pronto como se identifique, y no sé cómo construyes alrededor de eso.

Como siempre, son compensaciones hasta el final.

Es posible que tenga otras ideas acerca de los enfoques descritos en este documento, y estoy ansioso por escucharlos si do([email protected]). Pero si nada más, parece que estamos desarrollando un sentido más fuerte de cómo se propagan y perduran las redes de odio, incluso después de que sus líderes son desplataformados. Esas son noticias alentadoras. Y con la noticia de que las autoridades han detenido a 27 personas por amenazas de cometer asesinatos en masa desde los tiroteos de El Paso y Dayton solos, ideas como estas no pueden llegar lo suficientemente rápido.

Democracia

Los empleados de Twitter entrenaron a funcionarios y agencias del gobierno chino sobre cómo utilizar elservicio. A principios de esta semana, Twitter expulsó a los medios controlados por el estado de su plataforma publicitaria. Y ahora esto, del informe Shelly Banjo y Sarah Frier en Bloomberg:

Lo que Twitter no mencionó en su serie de entradas de blog esta semana fue el aumento número de funcionarios chinos, diplomáticos,medios de comunicación y agencias gubernamentales que utilizan el servicio de redes sociales para impulsar laagenda política de Beijing en el extranjero. Los empleados de Twitter realmente ayudan a algunas de estas personas a transmitir sus mensajes, una práctica que no se ha reportado previamente. La compañía proporciona apoyo a ciertos funcionarios, como verificar sus cuentas y capacitarlos sobre cómo amplificar los mensajes, incluso con el uso de hashtags.

Esto es a pesar de la prohibición de Twitter en China, lo que significa que la mayoría de la gente en el continente no puede utilizar el servicio o ver ví

ews del extranjero. Sin embargo, en los últimos días, una cuenta perteneciente al embajador chino en Panamá tomó Twitter para compartir videos pintando a los manifestantes de Hong Kong como vigilantes. También respondió a los tweets de los usuarios panameñas sobre las manifestaciones, que comenzaron en oposición a un proyecto de ley que permite extradiciones a China.

Twitter también aparentemente identificó erróneamente a un estudiante de 24 años como un propagandista chino. (Dave Lee / BBC)

Cómo la cuenta de Twitter de un club nocturno estadounidense fue tomada y convertida en un órgano de propaganda chino. (Donie O’Sullivan / CNN)

Facebook sigue publicando anuncios de medios estatales chinos que intentan poner una cara feliz en sus campos de concentración musulmanes. (Ryan Mac / BuzzFeed)

El jefe antimonopolio del Departamento de Justicia dice que el Departamento de Justicia está trabajando con los fiscales generales del estado en el caso. (Makena Kelly / The Verge)

Los conservadores “estudio” siguen citando para promover la falsa idea de que Google manipuló intencionalmente los votos, desacreditados. (April Glaser / Slate)

Los desarrolladores de aplicaciones están planteando preocupaciones antimonopolio sobre algunos cambios pro-privacidad propuestos de Apple. (Reed Albergotti y Craig Timberg / Washington Post)

El candidato presidencial demócrata Michael Bennet se detiene junto a The Vergecast para hablar de su nuevo libro, que explora “cómo Rusia hackeó las redes sociales y la democracia”.

Me tenías con 21,6 millones de cuentas falsas de LinkedIn. (Nat Levy / GeekWire)

En otra parte

Un número francamente increíble de políticos y celebridades envejecidos se enamoróde un engaño copypasta de Instagram. Ashley Carman informa:

Actores y músicos famosos, el jefe del Departamento de Energía de los Estados Unidos, y los usuarios habituales de Instagram han estado difundiendo una nota de engaño que afirma que la compañía pronto tendrá permiso para hacer públicas las fotos y mensajes eliminados y utilizar esas publicaciones en su contra en la corte.

Las afirmaciones son falsas y las afirmaciones no tienen mucho sentido, pero eso no ha impedido que se difunda por algunos nombres importantes preocupados por las implicaciones. Celebridades como Usher, Judd Apatow y Julia Roberts publicaron la nota en sus feeds, al igual que Rick Perry, el actual secretario de energía de los Estados Unidos y ex gobernador de Texas. La nota y otras similares han estado en marcha desde 2012, y este es sólo su resurgimiento más reciente.

En otra parte de Instagram, los creadores populares están usando una funda telefónica cuyo lema dice “Las redes sociales dañan seriamente tu salud mental”. (Ashley Carman / The Verge)

Las alternativas de YouTube están apareciendo a medida que los influencers se preparan para los principales cambios publicitarios relacionados con la investigación en curso de la FTC. (Mark Bergen / Bloomberg)

El Tampa Bay Times habla con moderadores de contenido en el sitio de Facebook en Tampa, quienes les dicen a los periodistas que las condiciones han empeorado desde que publiqué mi investigación sobre el sitio en junio. “Cada día encontramos una nueva manera de amenazarlos o hacerles sentir que vamos a despedirlos”, le dice un jefe de equipo a Kavitha Surana y Dan Sullivan.

Lanzamientos falsos y artistas falsos están disparando en las listas de streaming. (Noah Yoo / Pitchfork)

Y finalmente …

YouTube prohíbe los videos de lucha robot para la crueldad animal aproximadamente 10 años demasiado pronto

Tendemos a dar a las plataformas mucho dolor por aquí por no ser proactivos en sus decisiones de moderación del contenido. Así que felicitaciones a YouTube por estar muy por delante de la curva aquí. Jay Peters informa:

Google, que cree tanto en la IA que renombrado su división de Google Research como Google AI , ha comenzado a ponerse del lado de los robots. El lunes, se informó que YouTube de Google derribó videos de robots luchando entre sí (piensa: BattleBots), diciendo que violaban las políticas contra mostrar muestras de crueldad animal.

Cuando nuestros futuros señores robot decidan perdonar nuestras vidas, tendremos YouTube para agradecer.

Habla conmigo

Envíeme consejos, comentarios, preguntas y teorías sobre la propagación del extremismo en línea: [email protected].

Haga clic aquí para más información