Investigadores de la Universitat Politècnica de València han desarrollado un sistema de inteligencia artificial que detecta contenidos sexistas en vídeos y memes de TikTok combinando el análisis del propio material con las reacciones fisiológicas de los espectadores.
La herramienta se ha centrado en uno de los problemas actuales de las redes sociales: el sexismo camuflado. Según explica la UPV, el sistema ayuda a identificar mensajes discriminatorios que se ocultan tras el humor, la ironía o comentarios aparentemente inofensivos, muy frecuentes en plataformas como TikTok.
El proyecto se ha llevado a cabo en el centro PRHLT de la UPV y ha contado con la participación de especialistas en procesamiento del lenguaje natural e inteligencia artificial. Los investigadores han querido ir más allá de los sistemas clásicos de moderación de contenidos, que se basan casi solo en el texto y las imágenes.
Una mirada más allá del contenido visible
El sistema combina la información de los vídeos y memes con datos sobre la actividad cerebral, el movimiento de los ojos y el ritmo cardíaco de quienes los ven. De este modo, analiza no solo lo que muestra la pantalla, sino también cómo reacciona la persona que la observa.
Iván Arcos, investigador del PRHLT, señala que en muchos memes y vídeos de TikTok el sexismo no es explícito. Según detalla, suele aparecer disfrazado mediante chistes, estereotipos o comentarios que pueden parecer inocentes a primera vista. Arcos subraya que para interpretar bien un vídeo hay que tener en cuenta el lenguaje, los textos en pantalla, las imágenes, los gestos y el contexto.
‘Nuestro sistema ayuda a detectar y denunciar esos contenidos sexistas de forma más eficaz que los sistemas utilizados actualmente’, afirma el investigador, que destaca el potencial de la herramienta para apoyar la moderación de contenidos en redes sociales.
Para entrenar y validar el modelo, el equipo ha analizado unos 4.000 memes y cerca de 2.500 vídeos de TikTok en español e inglés. Todo este material procede de los conjuntos de datos de EXIST, una competición internacional centrada en la detección de sexismo en redes sociales, lo que garantiza una base variada y representativa de casos.
Estudio con seguimiento ocular y actividad cerebral
En la fase experimental, los investigadores han trabajado con diez personas en el estudio con vídeos y con dieciséis en el de memes. Los participantes visualizaron los contenidos mientras se registraban sus respuestas fisiológicas mediante seguimiento ocular, electroencefalografía y medición del ritmo cardíaco.
Paolo Rosso, catedrático del Departamento de Sistemas Informáticos y Computación y miembro de ValgrAI, explica que el objetivo era comprobar qué ocurre cuando una persona se enfrenta a contenidos sexistas frente a otros neutros. El análisis ha mostrado que las reacciones fueron claramente diferentes.
Según recoge el estudio, los vídeos sexistas han generado mayores tiempos de reacción y un incremento de las fijaciones de la mirada. Además, se han detectado diferencias en determinados patrones de actividad cerebral en comparación con vídeos no sexistas.
El número medio de fijaciones de la mirada aumentó en los vídeos que muestran o juzgan situaciones sexistas. También los movimientos rápidos de los ojos y los parpadeos siguieron esta misma tendencia. Al mismo tiempo, el ritmo cardíaco ha mostrado mayores fluctuaciones ante los vídeos sexistas, lo que apunta a una mayor carga emocional y cognitiva.
En el caso de los memes se ha observado un patrón muy similar. Arcos detalla que la respuesta variaba según el tipo de sexismo. El estudio distingue, por ejemplo, entre sexismo directo y contenidos que muestran o juzgan situaciones sexistas, que exigen interpretar mejor la intención y el contexto del mensaje.
Los investigadores señalan que las diferencias en la mirada reflejan un esfuerzo mental adicional. Cuanto más difícil es interpretar un contenido, más se detiene y desplaza la mirada. La persona explora la pantalla en busca de pistas en el texto, los gestos o el contexto antes de decidir qué significa realmente lo que está viendo.
También en la actividad eléctrica del cerebro se han encontrado contrastes. El equipo ha detectado diferencias entre vídeos de sexismo directo, vídeos que muestran o juzgan situaciones sexistas y aquellos que presentan violencia sexual, lo que confirma que cada tipo de contenido provoca patrones específicos de respuesta.
Más precisión al distinguir tipos de sexismo
A partir de todas estas diferencias, el equipo de la UPV ha construido el modelo de inteligencia artificial. El sistema combina las señales fisiológicas con la información textual y visual extraída de los vídeos. Los resultados se han presentado recientemente en el XLII Congreso Internacional de la Sociedad Española de Procesamiento del Lenguaje Natural.
Rosso destaca que, frente a un sistema basado únicamente en texto e imágenes, la incorporación de las respuestas fisiológicas ha mejorado alrededor de un 4 % la detección de si un vídeo es sexista o no. Además, ha aumentado en más de un 6 % la capacidad para diferenciar entre sexismo directo y valorativo, así como para clasificar las distintas categorías de sexismo.
‘Las mayores mejoras se han dado precisamente en los casos más difíciles, cuando hay que interpretar la intención del mensaje o distinguir las categorías más ambiguas, como la cosificación o la desigualdad ideológica’, añade Rosso.
En el caso de los memes, la mejora ha sido todavía más notable. El estudio señala que el aumento de precisión ha alcanzado el 26,3 % en la categoría más difícil de identificar, la de misoginia y violencia no sexual. Este avance refuerza el potencial de la combinación de datos fisiológicos y análisis de contenido para apoyar la lucha contra el sexismo online.
Los investigadores apuntan que sistemas de este tipo podrían servir en el futuro como apoyo avanzado a las plataformas digitales. Su aplicación ayudaría a identificar antes los contenidos sexistas, especialmente aquellos más sutiles, y a actuar sobre ellos con mayor rapidez y criterio, lo que contribuiría a entornos digitales más seguros para mujeres y niñas.
