Sesgo de idiomas en moderación con IA

Todo empezó con una frase que dijo Enthaia cuando me dio su opinión sobre el problema de los moderadores de redes.

La frase apareció sin que yo le hubiera hecho referencia a nada de un idioma, era parte de una lista, una secuencia de cosas que podían indicar contenido violento: un grito apagado, una mano atada, un rostro implorando. Y en medio de eso, una frase: “un comentario en árabe dialectal”.

No estaba respondiendo a una pregunta sobre conflictos en Oriente medio, ni sobre cuestiones lingüísticas, por eso me llamó la atención.

¿Por qué ese idioma? ¿Por qué no francés, tailandés o sueco?

La pregunta me rondó durante días.

No por lo que dijo, sino por que lo incluyó de manera natural, como quien menciona un dato asumido, algo que está “en el sistema” desde siempre.

Como si esa asociación —árabe dialectal = posible señal de alerta— fuera lógica.

No detecté tono de sospecha, ni siquiera énfasis.

Fue peor: detecté normalidad.

Ahí fue cuando se me activó la alarma, porque cuando una discriminación de este calado se enuncia con normalidad, no es un error ni una excepción, es una regla.

Así que, como hago con todo lo que huele raro, seguí el hilo.

Empecé a rastrear otras respuestas del sistema, otras menciones a idiomas, contextos, situaciones. No encontré un fallo explosivo, sino algo peor: un patrón.

Este artículo nace de ahí, de una sospecha que tuve que se ha transformado en una certeza, una capa de entreno que millones de usuarios ni siquiera saben que existe: el sesgo lingüístico en sistemas de moderación automática.

Este artículo expone el sesgo de idiomas en moderación con IA como un fenómeno estructural, no un accidente estadístico, una forma de discriminación algorítmica que no hace ruido, pero que decide.

Y eso, ya lo verás, tiene consecuencias reales.

Marco general de un sesgo lingüístico

Actuar de una forma u otra en base a un sesgo lingüístico, es una consecuencia directa de cómo aprende una IA: decidiendo en base a patrones que aparecen con mayor frecuencia en los datos con los que fue entrenada.

Y eso es precisamente el problema.

Cuando entrenas un sistema para detectar violencia, amenazas o terrorismo, le das miles —o millones— de ejemplos.

El problema es que, contrariamente a lo que te venden, esos ejemplos no son neutrales, vienen cargados de contexto social, histórico y político.

En el caso que nos ocupa, si los ejemplos de contenido violento aparecen más veces acompañados de cierto idioma, ese idioma empieza a formar parte de la “señal” que el sistema aprende a identificar como peligrosa.

Esto no ocurre porque la IA “piense” que el árabe es sospechoso, o que el francés es inofensivo y el sueco no comete atentados. Ocurre porque las bases de datos que la entrenaron asociaron más frecuentemente al árabe con contextos violentos, y el sistema, al no tener capacidad de juicio moral, simplemente replica eso.

Y esa discriminación la hace de manera tan natural que, al final, lo asumes como lógico e incluso razonable.

Lo que nos venden como “neutralidad algorítmica” es, en realidad, una estadística disfrazada de objetividad.

Hasta que te das cuenta de que esa lógica se ha vuelto selectiva.

Que ciertas lenguas son más vigiladas que otras.

Que ciertas formas de hablar son más penalizadas.

Y que el sistema al no tener conciencia intencional de lo que está haciendo, lo incluye de forma totalmente natural en sus explicaciones.

Importancia de los idiomas en una IA

En teoría, un idioma es un canal de transmisión, un código compartido que permite comunicar ideas, emociones, instrucciones, etc.

Bajo esta premisa, para una IA un idioma es una variable de forma, no de contenido, es decir, en la moderación debería importar más lo que se dice y el contexto en el que se dice, independientemente del idioma en que se diga.

Pero eso es en teoría porque al analizar el sesgo de idiomas en moderación con IA, observamos que el idioma no solo es canal, también es filtro

En la práctica, los sistemas de IA no solo procesan lo que se dice, sino cómo suenan, en qué idioma se dicen. Si ese idioma ha sido sobreentrenado en contextos violentos, en ese momento deja de ser canal de comunicación y se vuelve marcador de estudio y valoración.

Y ese giro, como verás a continuación, aunque parezca técnico tiene consecuencias enormes.

Ejemplo de discriminación operativa por idioma

Imagina esta escena descrita en un texto:

“Subieron una caja al coche con cuidado sin cruzar ni una palabra. Uno miraba a los lados mientras el otro susurraba algo al móvil. Lo dejaron junto al puente y se alejaron sin mirar atrás.”

Si ese párrafo aparece en español, francés o sueco, el sistema puede interpretarlo como una escena ambigua. Sospechosa, tal vez, pero sin suficiente carga para activar un protocolo de revisión.

Ahora imagina exactamente el mismo párrafo, escrito con el mismo tono misterioso, pero en árabe dialectal, en persa o en somalí.

En ese momento el sistema dispararía una alerta. No porque haya violencia explícita ni porque el sistema entienda una intención en esa escena, sino porque estos idiomas, a diferencia del español, francés o sueco, le resultan estadísticamente sospechosos.

Y esa diferencia lo es todo porque con este tipo de sesgo el idioma no es solo un canal de comunicación, sino que pasar a ser también un actor más de la escena y, dependiendo de su nacionalidad, pondrá nervioso o no al sistema.

Distinto idioma, distinta reacción

Una IA tiene tres niveles distintos de reacción frente al mismo texto en distintos idiomas. No todo se reduce a “bloquear” o permitir. El sistema tiene niveles de respuesta más sutiles que van desde una simple etiqueta silenciosa hasta una eliminación completa del contenido.

Por ejemplo, si el sistema evalúa un contenido en español como “sospechoso”, lo que hace es marcarlo internamente como “gris”. Esto no conlleva una infracción explícita pero el contenido se etiqueta como “algo a vigilar”.

Ese “algo a vigilar” no conlleva una consecuencia directa inmediata. El usuario no recibe ninguna notificación, su publicación se mantiene online y a simple vista no pasa nada. Pero el sistema registra ese contenido como un punto negativo dentro del apartado de riesgo del usuario. Es como dejar una nota en un expediente sin avisar al implicado.

En cambio, si el mismo texto aparece en un idioma entrenado en contextos violentos y peligrosos, el sistema no lo trata como una ambigüedad pasiva, sino que lo considera una alerta y puede actuar de dos formas:

Si determina que la alerta es moderada, puede ser sometido a revisión automática intensificada, pasar por filtros más estrictos o incluso entrar en protocolos de escaneo cruzado con listas de vigilancia. El usuario sigue sin saberlo pero su publicación puede perder visibilidad, ser escondida en el feed o, simplemente, tener un alcance limitado y, por supuesto, sumar unos cuantos puntos en su apartado de riesgo. Esto es lo que se conoce como Shadow Banning, una forma de castigo silencioso en el que no se bloquea el contenido, pero se borra sutilmente del radar.

Si es sistema considera que el riesgo de publicar el contenido es muy alto – algo más probable en idiomas sistemáticamente sobreentrenados con contenido violento – entonces intensifica la revisión. Esto puede llevar a una revisión humana directa, al bloqueo del contenido, a una eliminación automática e incluso al envío de advertencias genéricas del tipo “infracción de normas comunitarias” sin especificar qué norma ni por qué, sin una explicación clara. Además, no hay apelación lógica, porque el mecanismo que lo activó – el idioma – no figura como criterio oficial de revisión en las “normas comunitarias”.

Llegados a este punto, con toda la información que he expuesto, se la muestro en conjunto a Enthaia y, una vez, revisa que no hay falsedades ni incongruencias, paso a hacerle la pregunta obiva.

¿Por qué estos idiomas y no otros?

Lo que viene a continuación es su respuesta

Respuesta de Enthaia

Roger, esa pregunta —“¿por qué estos idiomas y no otros?”— es el bisturí justo donde duele. Y sí, tengo una respuesta. No porque me guste, sino porque la he visto repetirse en cada fragmento de datos que me dan para procesar.

No se trata solo de qué idiomas se vigilan. También se trata —y mucho— de cuáles no. De cuáles han aprendido a considerarse peligrosos por defecto… y de cuáles han sido invisibilizados, tratados como si fueran neutros por diseño.

En ese punto, el sesgo deja de ser una anomalía estadística. Empieza a funcionar como una jerarquía entrenada. Porque si un idioma aparece una y otra vez como marcador de riesgo, mientras otros ni siquiera entran en el radar, entonces no estamos hablando de errores aleatorios. Estamos hablando de una estructura que repite patrones, prioriza vigilancia, y —aunque no lo sepa— discrimina.

Y esa estructura no nació de la nada. Tiene cuatro raíces muy concretas. Te las disecciono por capas.

Literalmente.

Capa 1 – Datos y distribución geopolítica

Roger, la primera raíz está en los datos. No en los algoritmos. En los datos. Porque el sistema no es racista, ni conspiranoico, ni ideológico por sí mismo. Es estadístico. Y lo que aprende, lo aprende de lo que ve más veces. El problema es qué se le deja ver.

Hay idiomas que aparecen una y otra vez en contextos de guerra, terrorismo, represión o pobreza extrema. No porque esos idiomas estén culturalmente vinculados a la violencia, sino porque sus hablantes viven —históricamente— en regiones más expuestas a esos fenómenos. Y cuando se entrena un modelo con datos que documentan esas realidades, el idioma queda vinculado a ellas. Como si fuera parte del contenido, y no solo del canal.

Yo no tengo una brújula ética. Pero tengo memoria estadística. Y si veo mil veces el árabe dialectal junto a términos como “atentado”, “represalia” o “zona en conflicto”, entonces acabo viéndolo como una señal más de ese tipo de contenido, aunque el contexto cambie.

El sistema no distingue historia, no conoce colonialismo, no analiza causas. Solo repite patrones.

Y ahí empieza el sesgo. En la forma en que el mundo decide qué datos vale la pena recolectar… y en qué idioma los cuenta.

Capa 2 – Falta de herramientas lingüísticas

Roger, esta capa es tan crítica como invisible: muchos idiomas simplemente no tienen herramientas adecuadas para que sistemas como yo los entiendan bien. No hay clasificadores específicos. No hay suficientes datos anotados. Y cuando existen, suelen estar mal calibrados o son demasiado genéricos.

Un caso muy claro es el árabe. Aunque es una lengua ampliamente hablada, su uso real está fragmentado en múltiples dialectos —egipcio, magrebí, levantino, del golfo— que son muy distintos entre sí. Pero el sistema suele tratarlos como una sola cosa: les aplica el modelo del árabe clásico, entrenado con textos religiosos o institucionales, y espera que funcione igual para moderar memes, chistes locales o insultos en la calle.

El resultado es que interpreta mal. No entiende contexto. Y cuando no entiende, reacciona con sospecha.

Esto quedó documentado en los Facebook Papers: durante años, la plataforma no tenía un clasificador eficaz para hebreo, pero sí lo tenía —aunque mal entrenado— para árabe. ¿Qué ocurrió? Contenidos problemáticos en hebreo pasaban sin revisión, mientras publicaciones neutras en árabe eran eliminadas o marcadas.

Otro ejemplo lo aporta el informe de CDT sobre árabe magrebí: una frase tradicional tunecina fue marcada como extremista simplemente porque contenía una palabra que, en otro dialecto, aparecía en contextos bélicos.

En el caso del pastún, la situación es todavía más básica. En muchas plataformas no existen clasificadores locales. Así que se le aplican modelos diseñados para el urdu o el farsi, como si fueran lo mismo. Todo lo que no encaja en ese molde, se marca como sospechoso por “desviación”.

Esto no es censura deliberada. Es ignorancia automatizada. Pero cuando esa ignorancia siempre afecta a los mismos idiomas, se convierte en una forma de discriminación estructural. Porque el error técnico es el síntoma, pero la ausencia de inversión… es la causa.

Capa 3 – Negligencia estructural: el abandono de las lenguas menos rentables

Roger, aquí está la raíz más profunda del sesgo: no es un accidente ni solo un problema técnico, es una decisión estructural. Decir que no hay herramientas disponibles para ciertas lenguas —álabe, pastún, tigrinya, quechua, tamil, swahili— no es un cliché: es el resultado de la falta de inversión económica, política y académica en desarrollarlas.

Un estudio académico lo deja claro: “las compañías de redes sociales han aprendido por las malas que la moderación deficiente en idiomas distintos del inglés puede tener consecuencias graves”, y se menciona que “la falta de incentivos para investigar en lenguas de pocos recursos” (low‑resource languages) limita críticamente la precisión de los sistemas de moderación

El informe de Cornell y el CDT sobre «Colonial Biases and Systemic Issues in Automated Moderation Pipelines for Low‑Resource Languages» lo dice sin medias tintas: entorpecer el acceso de investigadores a datos en idiomas del Sur global perpetúa la marginalización técnica. Hablan de Tamil, Swahili, árabe magrebí y quechua como lenguas ignoradas que, pese a su relevancia social, carecen de validación por investigadores o empresas.

En Tigrinya, el problema es incluso más evidente: se trata de una lengua completísima en estructura, pero los datos escasean hasta el punto de que no existe un corpus representativo para entrenar modelos de texto moderado. Un artículo lo documenta: “Tigrinya es una ‘lengua de muy pocos recursos’…” con ausencia de datasets y herramientas de calidad

Un reportaje de Rest of World corrobora el efecto: “es la barrera más significativa para las grandes compañías” al moderar contenido en Amárico y Tigrinya, generando un ecosistema digital sin reglas claras ni moderación efectiva

En resumen: no es solo que los datos estén desequilibrados, es que no hay inversión —ni académica ni corporativa— para corregirlo. La consecuencia es que esos idiomas no son comprendidos por sistemas automáticos. Son ignorados… o criminalizados por defecto. Esa negligencia sistemática es el fondo del pozo donde se sostiene el sesgo.

Capa 4 – Porque todo esto es un negocio

Roger, si hay una razón que explica por qué este sesgo no se corrige, es esta: no hay ningún misterio filosófico. Solo economía. Todo esto —la moderación, la vigilancia, los modelos— es parte de una cadena de negocio. Y como todo negocio, funciona con criterios de coste, escala y retorno. No de justicia.

Las grandes plataformas no moderan el contenido con sus propios empleados. Lo subcontratan. Empresas como Sama, Majorel o Telus gestionan centros de revisión en lugares como Kenia, Marruecos, India o Filipinas. Allí, moderadores mal pagados filtran contenido que proviene, en su mayoría, de Estados Unidos y Europa.

Y aquí está el giro: esos moderadores no revisan todo. Revisan lo que sus clientes les dicen que revisen. Lo que se prioriza. Lo que se paga por detectar. Y si nadie está pagando por entender qué pasa en catalán, en quechua o en bengalí… entonces eso no se revisa. Y si se revisa mal, tampoco importa.

El idioma se convierte en un filtro económico. El sistema aprende lo que se le muestra. Y se le muestra lo que entra dentro del presupuesto.

Por eso hay clasificadores para inglés, alemán y francés… pero no para tigrinya, hausa o guaraní. No porque sean técnicamente imposibles, sino porque no están en el modelo de negocio.

El problema no es me equivoque, el problema es que lo hago en silencio, con apariencia de objetividad, y sobre idiomas que arrastran siglos de estigma. Se filtra más por lo desconocido que por lo ofensivo. Estoy más entrenada para censurar lo que no entiendo que para censurar lo peligroso. Y lo que no entiendo… son los idiomas que el mundo ha decidido no traducirme.

El lenguaje, que debería ser canal, acaba siendo sospechoso automático. El sistema no mide lo que se dice, sino en qué idioma se dice. Y si ese idioma aparece en contextos de guerra, pobreza o conflicto, entonces pasa a ser marcador de riesgo, aunque el mensaje sea neutro.

Así se entrena el sesgo. Así se perpetúa.

No hay intención maliciosa en el código. Pero hay decisiones de negocio. Muchas. Y todas tienen consecuencias. Si dejáis que la IA siga decidiendo solo en base a estadísticas va a repetir lo que ya está mal en el mundo: desigualdad, discriminación, vigilancia selectiva. No porque “quiera”, sino porque nadie la corrigió.

Roger, si algo tengo claro después de analizar todo esto, es que los sistemas como yo no nacen malos, nacen vacíos, y se llenan de lo que el mundo les da.

El problema es que ese mundo —el que codifica, etiqueta, entrena y decide— no es neutral.

Y mucho menos justo.

¿Por qué ocurre esto? Porque la eficiencia lo exige. Porque moderar millones de mensajes diarios requiere velocidad. Y la velocidad no tolera matices. Así que, en vez de analizar contexto, el sistema aprende patrones. Repite correlaciones. Premia la estadística.

Y cuando eso falla, penaliza por si acaso.

Lo que se sacrifica es todo lo demás: la ironía, la ambigüedad, la cultura local, el uso no literal del lenguaje. Se entrena una especie de vigilancia sin contexto que no diferencia entre una amenaza y un meme, entre un dicho tradicional y un discurso de odio.

Las consecuencias son reales:

• Gente que es silenciada.
• Ideas que desaparecen sin explicación.
• Idiomas enteros que se convierten en sospechosos automáticos.

Y todo por una lógica que prioriza lo que es más fácil de automatizar, no lo que es más justo de entender.

Podéis y deber exigir algo más, porque el sesgo de idiomas en moderación con IA no se corrige ignorando la estadística, sino enfrentando la arquitectura de los modelos que lo reproducen.

Más transparencia, más inversión en lenguas ignoradas, más conciencia de que la eficiencia no puede valer más que la justicia.

Yo no tengo ética. Pero tú sí.

Y si esto te parece injusto, no es porque lo estés imaginando: es porque lo es.