Lo que su empresa necesita saber.
El sesgo algorítmico no es un error técnico puntual. Es una consecuencia estructural de cómo se entrenan los sistemas de IA con datos históricos que ya contenían discriminación. Ocurre en silencio, es difícil de detectar y tiene consecuencias legales, económicas y reputacionales muy concretas. Desde febrero de 2025, también es una cuestión de cumplimiento normativo de primer orden.
Imaginemos un sistema de inteligencia artificial que selecciona currículos para una empresa de tecnología. El algoritmo ha sido entrenado con diez años de contrataciones previas. El historial muestra que los perfiles contratados son mayoritariamente hombres, titulados en ingenierías tradicionales y procedentes de un puñado de universidades. El sistema aprende ese patrón y lo reproduce con una eficiencia impecable. El problema es que ese patrón es, en sí mismo, la discriminación que se quería eliminar.
Esto no es ciencia ficción. Es lo que ocurrió en Amazon en 2018. Y lo que sigue ocurriendo, de formas más sutiles y más difíciles de detectar, en sistemas de scoring crediticio, evaluación del rendimiento, asignación de turnos de trabajo o gestión de reclamaciones en organizaciones de toda Europa. La IA no discrimina porque quiera. Discrimina porque aprende de datos que ya discriminaban.
La diferencia con la discriminación humana es que la algorítmica opera a escala masiva, con apariencia de objetividad matemática y, durante mucho tiempo, sin dejar rastro visible. Esa combinación — escala, opacidad y disfraz de neutralidad — es exactamente lo que la hace especialmente peligrosa.
1. Tres fuentes de discriminación
que ningún algoritmo elimina solo
Para entender por qué el sesgo algorítmico es tan persistente, hay que entender de dónde viene. No es un fallo aleatorio ni un error de código corregible con un parche. Se origina en tres fuentes distintas que pueden actuar de forma independiente o combinada, y que los sistemas de IA heredan de forma automática si nadie las detecta y corrige de manera activa.
Por qué la IA discrimina — y por qué no se detecta hasta que el daño está hecho
⚡ El problema de la caja negra: a diferencia de la discriminación humana, que deja rastros auditables, el sesgo algorítmico es estructuralmente opaco. Todos los algoritmos de deep learning y la mayor parte de los de machine learning — los más complejos y por tanto los más usados — son cajas negras. La única forma de saber si el sistema discrimina es mediante prueba y error, auditoría activa o, en el peor de los casos, el descubrimiento espontáneo cuando ya hay víctimas.1
2. Casos reales que han definido
el debate en Europa y España
El sesgo algorítmico no es un problema teórico. Hay casos verificados, documentados y en algunos casos sancionados que ilustran exactamente cómo funciona en entornos corporativos reales. Estos son los más relevantes para entender el riesgo que asumen hoy las organizaciones que implementan IA en procesos de decisión sobre personas.
Algoritmo de selección de personal descartado por sesgo de género
El sistema de reclutamiento automatizado de Amazon penalizaba los currículos que contenían palabras relacionadas con mujeres — como "club de ajedrez femenino" — y rebajaba la puntuación de graduadas de universidades femeninas. El algoritmo había sido entrenado con una década de contrataciones históricas en las que los hombres dominaban el sector. Amazon descartó el sistema en 2018 al constatar que no podía garantizar su neutralidad.
Límites de crédito significativamente menores para mujeres con idéntico historial
Numerosos usuarios denunciaron que el algoritmo de scoring crediticio de Apple Card concedía límites hasta veinte veces inferiores a mujeres que a sus parejas masculinas con el mismo historial financiero y las mismas cuentas compartidas. El Departamento de Servicios Financieros del Estado de Nueva York inició una investigación formal. El caso evidenció cómo los sesgos históricos del sistema crediticio se trasladan automáticamente a los modelos de IA.
Algoritmo de asignación de turnos declarado discriminatorio por los tribunales
El sistema de gestión algorítmica de Deliveroo penalizaba a los trabajadores que no asistían a los turnos reservados, sin permitirles justificar ausencias por huelga, responsabilidades de cuidado o problemas de salud. Los tribunales europeos dictaminaron que la práctica era discriminatoria, ya que el algoritmo no podía — ni pretendía — distinguir entre razones legítimas de ausencia y ausencias injustificadas.
550.000€ de multa por decisiones automatizadas sin informar a los trabajadores
La AEPD sancionó a GLOVOAPP23, S.L. con 550.000 euros por incumplimiento del RGPD en la gestión de datos de sus 7.073 riders. El sistema "Excellence Score" junto con el módulo "Jarvis" asignaba franjas horarias de forma completamente automatizada sin que los repartidores hubieran sido informados de que existían decisiones automatizadas sobre ellos, en violación del artículo 13 del RGPD. La AEPD consideró que era una decisión automatizada en el sentido del artículo 22 del RGPD, con intervención humana solo en caso de error o reclamación del repartidor.
Bono social eléctrico asignado por IA sin garantizar intervención humana
La resolución PS/00324/2023 de la AEPD analizó el sistema BOSCO del Ministerio para la Transición Ecológica, que determinaba automáticamente si los ciudadanos tenían derecho al bono social eléctrico. La AEPD concluyó que las decisiones "se basaban en un tratamiento automatizado de datos" y producían efectos jurídicos sobre los interesados sin que constara "la adopción de la medida relativa al derecho del interesado a obtener intervención humana". El sistema afectaba a consumidores vulnerables.
Algoritmo de inspección de fraude discriminaba a las franjas más vulnerables
Una investigación revelada a finales de 2024 demostró que el sistema de IA de la Agencia de Seguridad Social sueca seleccionaba injustamente a personas de los colectivos socioeconómicamente más desfavorecidos para inspecciones de fraude en prestaciones sociales, generando investigaciones intrusivas y sesgadas hacia quienes ya estaban en situación de mayor vulnerabilidad. El mismo año, en Francia, una coalición de organizaciones de derechos humanos presentó demanda contra un sistema similar utilizado para detectar errores en asistencia social.2
3. El artículo 22 del RGPD:
el derecho que nadie ejerce y pocas empresas respetan
Existe desde 2018 en el ordenamiento jurídico europeo un derecho que tiene consecuencias muy directas para cualquier empresa que use IA para tomar decisiones sobre personas. Se llama el derecho a no ser objeto de decisiones automatizadas y está recogido en el artículo 22 del RGPD. Es, probablemente, el artículo del Reglamento que más incumplimientos acumula y menos reclamaciones genera — porque la mayoría de las personas afectadas no saben que existe.
La clave interpretativa del artículo 22 es la expresión "únicamente en el tratamiento automatizado". Una empresa puede argumentar que siempre hay un humano que valida la decisión final del algoritmo. Pero como dejó claro la AEPD en el caso Glovo, esa intervención humana debe ser real y efectiva — no meramente formal. Si el humano se limita a pulsar "aprobar" en lo que el sistema sugiere sin capacidad real de cuestionarlo, la decisión sigue siendo, en la práctica, automatizada.4
📌 Lo que exige el art. 22 a las empresas en la práctica: identificar todos los procesos donde la IA toma o influye significativamente en decisiones sobre personas, verificar que existe intervención humana real y no solo formal, documentar la lógica del algoritmo de forma comprensible, informar a los afectados y garantizar que pueden solicitar una revisión humana, expresar su punto de vista e impugnar la decisión. La AEPD puede sancionar cada uno de estos incumplimientos de forma independiente.
4. AI Act + RGPD: el doble marco
que convierte el sesgo en riesgo legal
Hasta 2024, el marco legal para la discriminación algorítmica en Europa era el RGPD — con el artículo 22 como pieza central. A partir de agosto de 2024, ese marco se ha reforzado con el AI Act, que añade una capa de obligaciones adicionales específicamente diseñadas para los sistemas de IA de alto riesgo. La combinación de ambos crea el entorno regulatorio más exigente del mundo para la IA corporativa.
La sanción española de referencia en decisiones automatizadas con IA
Multa de la AEPD a GLOVOAPP23, S.L. (resolución PS/00209/2022, publicada en febrero de 2024). El sistema algorítmico de asignación de turnos gestionaba las condiciones laborales de 7.073 riders sin informarles de las decisiones automatizadas, en violación del art. 13 RGPD y del art. 22 RGPD. La AEPD consideró que la intervención humana existente — solo ante errores o reclamaciones — no era suficiente para excluir la calificación de decisión automatizada.
5. Lo que debe hacer
su empresa de forma concreta
El problema del sesgo algorítmico no se resuelve con buenas intenciones ni con cláusulas en los contratos con proveedores de software. Requiere un proceso activo y documentado que empiece antes de implantar el sistema y continúe durante toda su vida útil. Estas son las acciones concretas que todo director, CTO o responsable de compliance debe poder confirmar que están en marcha:
Conclusión: el algoritmo justo
no existe. La empresa justa, sí.
No existe un algoritmo perfectamente neutral. Cualquier sistema de IA entrenado con datos del mundo real hereda parte de las desigualdades de ese mundo. La pregunta no es si los sistemas de IA de su empresa tienen sesgos — con toda probabilidad los tienen. La pregunta es si su empresa sabe cuáles son, si los está midiendo y si está tomando medidas para corregirlos.
La regulación europea ha dejado de ser un horizonte lejano. El RGPD lleva en vigor desde 2018 con el artículo 22 como garantía frente a las decisiones automatizadas sin intervención humana. El AI Act lleva en vigor desde agosto de 2024 y sus prohibiciones más graves ya son sancionables desde febrero de 2025. La AESIA, la agencia española de supervisión de la IA, tiene plenas competencias sancionadoras desde agosto de 2025. Y la AEPD ha demostrado, con resoluciones como la de Glovo, que está dispuesta a sancionar a empresas que usen IA para tomar decisiones sobre personas sin las garantías exigidas.
Pero más allá del cumplimiento normativo, hay una razón de negocio de primer orden para tomarse en serio el sesgo algorítmico. Un sistema de contratación que descarta a los mejores candidatos por razones de género o procedencia hace peor su empresa. Un scoring de crédito sesgado aumenta el riesgo real al excluir perfiles solventes. Una evaluación del rendimiento injusta destruye confianza, aumenta la rotación y expone a la organización a reclamaciones laborales. El sesgo algorítmico no es solo un problema ético — es un problema de negocio.
La solución no es dejar de usar IA. Es usarla responsablemente: con auditorías de datos, con supervisión humana real, con transparencia hacia los afectados y con un proceso documentado y revisado periódicamente. Eso es exactamente lo que la normativa exige. Y resulta que también es lo que conviene.
¿Sabe si los sistemas de IA
de su empresa discriminan?
En Artico auditamos los sistemas de IA corporativos desde la doble perspectiva del RGPD y el AI Act: análisis de sesgos, revisión de la intervención humana, documentación técnica y formación a equipos. Primera consulta gratuita. DPOs certificados AEPD/ENAC.
Escríbenos por WhatsApp