Por qué los moderadores no pueden proteger a las comunidades en línea por sí solos

Las comunidades en línea suelen anunciar que unen a las personas, pero muchas se caracterizan por comportamientos tóxicos, desde el acoso manifiesto, la incitación al odio, el trolling y el doxing hasta comentarios más casuales (aunque a menudo siguen siendo bastante dañinos) que menosprecian y excluyen. Incluyen plataformas conocidas como Reddit, Discord y 4chan, junto con comunidades de marcas como Call of Duty. Los datos son aleccionadores: según uno informe reciente, casi uno de cada tres adolescentes ha sufrido ciberacoso y alrededor del 15% ha perpetuado el ciberacoso contra otras personas. Otros informes han descubierto que El 40% de todos los usuarios de Internet se han enfrentado a algún tipo de acoso en Internet, con una de cada cinco mujeres sufrir abusos misóginos en Internet.

¿Por qué está tan extendida esta toxicidad en Internet? ¿Y qué van a necesitar los gestores de plataformas para frenarlo?

Para explorar estas preguntas, analizamos 18 años de datos de una comunidad en línea para fanáticos de la música electrónica dance (EDM) en el Reino Unido, que representan más de siete millones de publicaciones de 20 000 miembros. A continuación, ampliamos estos datos con siete entrevistas exhaustivas con miembros de la comunidad, notas de campo sobre la asistencia a 15 eventos comunitarios fuera de línea y una revisión exhaustiva de la literatura existente para identificar cinco ideas erróneas comunes sobre cómo y por qué surge la toxicidad en las comunidades en línea. En este artículo, desmentimos cada uno de estos mitos y ofrecemos estrategias respaldadas por la investigación para ayudar a los administradores y moderadores de plataformas a replantearse su enfoque para mitigar la toxicidad en Internet.

1. Los miembros no se van después de sufrir toxicidad

En primer lugar, una suposición generalizada es que los usuarios que sufren toxicidad en una comunidad en línea abandonarán esa comunidad porque ya no les da la sensación de pertenencia, confianza e intimidad que buscaban. Y dado que la participación en las comunidades en línea es voluntaria, la gente suele optar por participar por diversión y es fácil entrar o salir de estos espacios virtuales, es natural suponer que los usuarios se marcharían si sufrieran un comportamiento desagradable y abusivo.

Sin embargo, nuestras investigaciones muestran que, por el contrario, los usuarios suelen permanecer activos a pesar de sufrir daños continuos, a veces durante años. Por ejemplo, un miembro de la comunidad que estudiamos fue objeto de ataques incesantes simplemente porque a otras personas no les gustaba el contenido que compartía. En una serie de publicaciones, la agredieron con insultos para personas discapacitadas. Un miembro le dijo: «Usted es la definición misma de la frase ignorancia/felicidad, ignorante que vive en un estanque. Induce tanta ira y, sin embargo, parece no darse cuenta… Habría una… muchísima menos negatividad si no estuviera aquí». Otro publicó: «Pregunta o sugerencia seria para los mods/desarrolladores. ¿Podemos darnos una ronda de látigos y pagar para que le amputen las manos? No impedirá que publique, pero la retrasará un poco».

A pesar de ser el blanco de este torrente de abusos, el usuario permaneció activo en el foro, publicando alrededor de 2000 publicaciones e iniciando 500 nuevos hilos al año siguiente. Del mismo modo, otro miembro fue víctima de una campaña continua de acoso en la que los usuarios insultaron su apariencia e incluso la amenazaron de muerte. Pero en lugar de abandonar la plataforma, reunió a sus amigos para que emprendieran un esfuerzo de un año por silenciar a los acosadores.

Incluso en los casos en los que una persona objeto de abuso decide abandonar la comunidad en señal de protesta, no es raro que regrese. Este fenómeno se conoce como» volando», o dejar drásticamente una plataforma y volver poco después. Era bastante común entre los usuarios de nuestro estudio, muchos de los cuales anunciaban que dejaban la comunidad, pero al final acababan quedándose o regresando después de una breve pausa, solo para volver a recibir los mismos abusos.

Entonces, ¿por qué la gente no abandona estos entornos tóxicos? Descubrimos que las personas son reacias a abandonar estas comunidades para siempre porque los lazos profundos y duraderos que suelen construir a lo largo de los años las convierten en espacios sociales muy importantes para sus usuarios. A pesar de recibir abusos, los miembros también obtienen reconocimiento y un sentido de pertenencia. Las comunidades también se convierten en las principales fuentes de información tanto de expertos como de personas con ideas afines, lo que deja a los usuarios de los servidores el acceso a la información. La marcha también puede generar disrupción en el acceso al apoyo social del que dependen los usuarios para responder a sus desafíos personales, especialmente para aquellos para quienes la comunidad sirve de escape y salida para procesar y desahogar la frustración.

A la luz de esta realidad, los administradores y moderadores de plataformas no pueden dar por sentado que los usuarios simplemente abandonarán las comunidades que les causan daño, porque los usuarios de Internet no son consumidores puramente racionales, sino miembros de la comunidad que valoran las relaciones y la lealtad a sus amigos. En cambio, las plataformas deben tomar medidas activas para combatir estas formas de toxicidad. Al fin y al cabo, si no se controla, es probable que las personas sigan sufriendo daños durante meses o incluso años, básicamente atrapadas en una dinámica abusiva, porque no están dispuestas a renunciar a las relaciones positivas que ofrece la comunidad. Esto acaba perjudicando tanto a los miembros individuales como a toda la comunidad, que es probable que sufra y se vuelva menos activa a largo plazo.

¿Hay formas de evitar la toxicidad sin salir de la comunidad? Sí. Nuestra investigación revela que las plataformas pueden mitigar las conductas tóxicas mediante tres estrategias principales. En primer lugar, las plataformas permiten a los usuarios gestionar sus interacciones al ofrecer herramientas como silenciar, bloquear, denunciar y filtrar contenido. Estos mecanismos permiten a los usuarios detener eficazmente el acoso continuo por parte de personas específicas.

En segundo lugar, las plataformas pueden establecer «refugios seguros» para los usuarios nuevos y vulnerables: espacios muy moderados diseñados para ayudar a quienes acaban de unirse a la plataforma o pertenecen a comunidades especializadas. Estos entornos seguros permiten a los usuarios controlar su exposición a conductas tóxicas y, al mismo tiempo, permiten a las plataformas equilibrar la tensión entre fomentar el discurso abierto y garantizar la protección.

Por último, los avances en los modelos lingüísticos extensos ahora permiten la detección en tiempo real del contenido tóxico, lo que brinda a los propietarios de las plataformas la oportunidad de intervenir de forma rápida y escalable. Desde funciones automatizadas, como el cierre temporal de temas y los «modos lentos» posteriores a la limitación, hasta acciones más decisivas, como las prohibiciones, la IA está ampliando el espectro de herramientas disponibles para frenar las interacciones dañinas.

Sin embargo, si bien estas estrategias ofrecen valiosas defensas, no son suficientes de forma aislada para proteger plenamente a los usuarios que buscan interactuar en las redes sociales. Para fomentar un entorno en línea más seguro e inclusivo, las plataformas también deben abordar la dinámica colectiva de la toxicidad, lo que nos lleva a la siguiente creencia fuera de lugar.

2. Las conductas tóxicas en Internet no son incidentes aislados

El segundo mito común es que las conductas tóxicas son incidentes aislados que se pueden mitigar simplemente abordando conflictos específicos de forma puntual. Por lo tanto, muchas plataformas se centran en difundir, mediar y arbitrar los conflictos, censurar las incidencias de conductas tóxicas, castigar y excluir a los miembros tóxicos individuales y cerrar ciertos hilos para restablecer la paz.

De hecho, nuestra investigación demostró que la toxicidad en Internet suele ser una característica principal de las comunidades en línea, una característica que los usuarios reproducen y amplifican de forma proactiva. Por ejemplo, un moderador entrevistado en nuestro estudio describió que eliminar los casos individuales de conducta tóxica no resolvía la raíz del problema, ya que cuando se expulsa a un acosador, «hay que llenar una especie de vacío y, la mayoría de las veces, la pobre persona a la que se molestan es la que da un paso adelante para llenar los zapatos de los chicos malos».

Resolver conflictos individuales no cura la toxicidad cuando se reproduce mediante mecanismos de recompensa, sistemas y prácticas comunitarias que (a menudo sin querer) permiten o incluso fomentan el florecimiento de conductas tóxicas. De hecho, a menudo veíamos jerarquías comunitarias opresivas que animaban a un grupo comunitario a marginar a otros, lo que afianzaba aún más los patrones de comportamiento tóxicos. Por ejemplo, algunos grupos comunitarios ofrecieron premios para celebrar a los «toreros» agresivos en Internet que humillan a otros para entretener al público. Los diseños de plataformas y los algoritmos suelen recompensar las expresiones intensas de rabia y odio porque generan clics y comentarios a corto plazo, mientras que las prácticas de moderación sin intervención y laissez-faire llevan a muchos usuarios a adoptar el vigilantismo como estrategia pragmática para defender a su comunidad, lo que a menudo agrava aún más el conflicto.

Abordar esta toxicidad sistémica requiere una transformación estructural. Las plataformas deben identificar las estructuras comunitarias tóxicas y sustituirlas por alternativas más saludables, ya sea que eso signifique desafiar las jerarquías de miembros existentes, cambiar los algoritmos de recomendación, repensar las prácticas de moderación de contenido o realizar otros cambios estructurales.

Como ejemplo, periodistas han informado de que eliminar el subreddit «incel» (célibe involuntario) de 40 000 miembros resultó ineficaz para suprimir esta comunidad, a menudo tóxica, ya que los miembros simplemente se trasladaron a otras plataformas. Sin embargo, crear un espacio alternativo en Reddit llamado» IncelExit» ha demostrado ser más eficaz para desradicalizar a los miembros. Con 20 000 miembros, la comunidad IncelExit prioriza la vulnerabilidad, el crecimiento y la franqueza por encima de la experiencia sexual y el atractivo, por lo que los me gusta y lo que no me gusta de las publicaciones muestran contenido saludable. Los inceles reformados en esta comunidad ahora desradicalizan activamente a los recién llegados, mientras que una moderación estricta hace cumplir las normas contra la vergüenza corporal, la misoginia y la retórica violenta. Esto ilustra que el cambio sistémico es más eficaz que solo castigar las conductas más atroces o excluir a los infractores individuales

3. La toxicidad proviene de la cultura, no de unas pocas «manzanas podridas»

Una tercera idea errónea relacionada es que la toxicidad en Internet proviene de personas con problemas impulsadas por el deseo de causar daño. Desde este punto de vista, unos cuantos usuarios (o «manzanas podridas») enfurecidos, posiblemente incluso sádicos desde el punto de vista patológico, invaden deliberadamente las comunidades en línea para provocar a los miembros, provocar peleas y cacarear detrás de sus pantallas mientras las comunidades se incendian.

De hecho, nuestras investigaciones muestran que casi cualquier persona puede convertirse en un miembro tóxico en un entorno de Internet. Encontramos un caso tras otro en el que miembros, por lo demás, aparentemente inofensivos publicaron mensajes increíblemente crueles. Estos miembros no lo hacían porque fueran malas personas. En cambio, su comportamiento estuvo motivado por una cultura comunitaria que sugería que hacer daño a otras personas en Internet es una forma aceptable de entretenimiento. En la comunidad que estudiamos, la gente internalizó la idea de que dañar a otros es una forma de «juego inofensivo»; que si ocurre en Internet, «no es real, es solo drama escenificado».

La buena noticia es que es posible reconfigurar la cultura de una comunidad para fomentar el juego responsable y reemplazar la tóxica idea de que la única manera de divertirse es causar daño. Por ejemplo, en la comunidad que estudiamos, los moderadores organizaron un juego en el que se animaba a los miembros a que se insultaran unos a otros de forma creativa pero no personal. Esto redirigió con éxito el deseo de los usuarios de divertirse y movilizó sus «habilidades de trolling» para realizar bromas muy entretenidas e inofensivas durante los encuentros deportivos. Abordar la toxicidad requiere que los moderadores reconozcan que los autores individuales pueden ni siquiera reconocer que están haciendo daño a alguien y, como tal, que una mejora duradera solo es posible mediante un cambio cultural.

En última instancia, los gestores de plataformas o las marcas que son propietarios de una comunidad son responsables del comportamiento en ella. Si la toxicidad se va de las manos y se puede rastrear la violencia hasta su plataforma, es posible que rindan cuentas (legal o reputativamente). Por lo tanto, los gestores de plataformas y las marcas deberían crear políticas de contenido que prohíban claramente el contenido violento y nombrar moderadores (de pago o voluntarios) que estén facultados para abordar la toxicidad.

4. Las rivalidades no impulsan a las comunidades, las separan

Desde divisiones políticas hasta rivalidades deportivas y jugadores novatos contra jugadores experimentados, muchas comunidades en línea muestran una fuerte dinámica de «nosotros contra ellos». El cuarto mito que descubrimos supone que las comunidades prosperan gracias a estas formas de polarización, ya que pueden promover el sentido de identidad y pertenencia de los usuarios a su propio grupo, e imbuir a sus comunidades de un vigorizante sentido del drama.

Sin embargo, nuestras investigaciones muestran que este tipo de rivalidades tienen las mismas probabilidades de separar a las comunidades, dispersar a los miembros en espacios sociales en línea más pequeños y fragmentados o incluso disolver la comunidad por completo. Esto se debe a que las rivalidades suelen tener sus raíces en la profunda ansiedad de la gente por saber si su comunidad sobrevivirá. Dentro de esta mentalidad, los grupos opuestos son vistos como una amenaza para la preservación y la perpetuación de la comunidad, ya que crean límites entre los «verdaderos» miembros de la comunidad que personifican los «verdaderos» valores y comportamientos comunitarios, y los peligrosos «intrusos» y «dogmáticos».

Tanto nuestras propias investigaciones como nuestros trabajos anteriores muestran que la transformación y el aprovechamiento de las tóxicas rivalidades internas entre los grupos comunitarios requieren que las plataformas y sus moderadores organicen un diálogo sano y adopten un enfoque democrático para gestionar los desacuerdos de manera que las diferencias y la diversidad sean valiosas para la comunidad (no algo que temer). Por ejemplo, los moderadores pueden promover el respeto por la diversidad tomando medidas enérgicas contra el discurso que menosprecia a los miembros en función de su identidad social o afiliación con grupos comunitarios particulares; ofreciendo subforos seguros y estrictamente moderados para los grupos comunitarios populares; promoviendo el respeto por la diversidad a través de publicaciones, etiqueta comunitaria, términos y condiciones formales y directrices; creando un equipo de moderación que sea representativo de los diferentes grupos y, en general, creando estructuras sociales igualitarias y participativas.

Dentro de la comunidad en línea de editores de Wikipedia, por ejemplo, los estudios han identificado rivalidades entre dos campos comunes: los delecionistas, que se comprometen a mantener normas estrictas sobre los temas que pertenecen a las entradas enciclopédicas, y los inclusionistas, que se comprometen a incluir la mayor cantidad de información posible. El sitio rápidamente se vio plagado de conflictos de ida y vuelta entre los dos grupos, y estas disputas podían ir acompañadas de un lenguaje muy agresivo y tóxico. La plataforma abordó este desafío instituyendo un sistema de gobierno descentralizado en el que se daba a los diferentes grupos autoridad explícita sobre diferentes artículos y temas, y en el que un comité de arbitraje con directrices y políticas claras estaba facultado para supervisar los desacuerdos.

5. La automorderación no basta para mantener a raya la toxicidad

La quinta idea errónea generalizada entre los propietarios y usuarios de plataformas es que las comunidades en línea que tienen éxito se gestionan de manera poco estricta y, en gran medida, se automodian. Este mito sugiere que una vigilancia policial excesiva puede sofocar la participación y que los miembros responsables de la comunidad deberían ser capaces de resolver los conflictos sin supervisión.

Si bien no cabe duda de que hay lugar para la moderación, nuestras investigaciones demuestran que esta creencia excesiva en la automorderación puede contribuir a que las comunidades en línea se vuelvan tóxicas. Esto se debe a que cuando inevitablemente surgen conflictos, los miembros no pueden confiar en ninguna autoridad legítima y, por lo tanto, piensan que deben recurrir al vigilantismo, encargándose de castigar a los presuntos infractores en nombre de la justicia. En la comunidad que estudiamos, este fenómeno a menudo provocaba un círculo vicioso de toxicidad.

Para reducir la necesidad percibida de castigar a los vigilantes, las plataformas pueden mejorar sus capacidades de policía comunitaria de varias maneras. Por un lado, pueden desarrollar y formar un equipo de moderación más grande, o incluso inscribir a «moderadores secretos» (para que los miembros no puedan ver si los moderadores están en línea, una práctica real en la comunidad que hemos estudiado). Por otro lado, también pueden formar a los moderadores actuales en el principios de la justicia restaurativa para ayudarlos a transformar las narrativas comunitarias sobre la retribución y el castigo en narrativas de la justicia que prioricen la curación, la rendición de cuentas y la reparación de los daños.

Sin duda, este puede ser un equilibrio difícil de lograr. En un estudio, una cadena minorista invitó a 2500 diseñadores a participar en un comunidad en línea se centró en un concurso para el nuevo diseño de su bolsa. El objetivo de la plataforma era fomentar la innovación, por lo que tenía sentido dejar a los miembros la libertad de debatir y compartir ideas. Sin embargo, el conflicto surgió rápidamente, ya que los miembros se frustraron con el resultado del concurso y entre sí, e incluso crearon varias cuentas de alias para causar estragos e insultar a otros diseñadores. Para solucionar este problema, la empresa combinó su enfoque limitado de moderación con unas cuantas políticas proactivas diseñadas para mantener a raya la toxicidad. Adoptó cierto grado de autogobierno o dirigido por la comunidad y, al mismo tiempo, creó estructuras como espacios dedicados a la desahogo y políticas claras que definían los tipos de publicaciones que no se tolerarían en la plataforma.

Este tipo de principios o barandillas deben aplicarse de forma creativa según las circunstancias de cada comunidad. Por ejemplo, otro estudio descubrió que una plataforma multimedia tuvo problemas para integrar a nuevos miembros, ya que estos novatos no estaban familiarizados con las normas de comunicación establecidas y, por lo tanto, provocaron sin querer guerras incendiarias, trolls y otros conflictos punitivos. Como la plataforma tenía recursos limitados de moderación de pago, instituyó un sofisticado sistema de moderación distribuida, en el que una gran base de usuarios podía moderar el contenido de la comunidad dentro de los parámetros y directrices establecidos, lo que ayudaba a los recién llegados a aprender las formas aceptables y valiosas de comunicarse en la plataforma de forma oportuna y tranquila.

. . .

Las comunidades en línea tienen el potencial de ser una fuerza increíble para el bien. Pueden unir a personas de todo el mundo y pueden ayudar a sus miembros a construir relaciones duraderas y de apoyo basadas en intereses y experiencias compartidos. Pero si no se controla, estas plataformas también pueden estar plagadas de toxicidad y, aunque este comportamiento tóxico puede ser virtual, su impacto suele ser muy real. Como tal, es responsabilidad de los administradores de plataformas replantearse sus ideas erróneas y tomar medidas proactivas para garantizar que sus comunidades realmente funcionan para todos.