Sesgo en IA

¿Qué es el sesgo en IA?

Un modelo aprende de ejemplos. Si los ejemplos están desequilibrados, el modelo aprende ese desequilibrio como si fuera una regla. No hay mala intención en el algoritmo: hay un reflejo fiel de los datos, con sus huecos y sus prejuicios.

Un caso muy citado es el de un sistema experimental de selección de personal que penalizaba los currículos de mujeres. Había aprendido de los contratados en años anteriores, en su mayoría hombres, y tomó ese patrón como señal de buen candidato. La empresa abandonó la herramienta. Del mismo modo, los sistemas de reconocimiento de voz pueden fallar más con acentos que estaban poco representados en sus datos.

Cómo se produce

El sesgo puede entrar en varias fases:

1. En los datos. Un dataset con pocos ejemplos de un grupo, o que refleja decisiones injustas del pasado. Es el origen más frecuente.
2. En el diseño. Elegir qué predecir y con qué variables. Usar el código postal, por ejemplo, puede funcionar como un indicador indirecto de origen o de nivel de renta.
3. En el entrenamiento y la evaluación. Si solo se mide el acierto medio, un modelo puede funcionar bien para la mayoría y mal para una minoría sin que nadie lo vea.
4. En el uso. El sesgo de automatización: las personas aceptan la recomendación de la máquina sin revisarla, aunque sea dudosa.

Los modelos de lenguaje añaden otro frente: pueden reproducir estereotipos presentes en el texto con el que se entrenaron, por ejemplo al suponer el género de una profesión.

Ejemplo

Una empresa de alquiler de pisos en Madrid usa un sistema para priorizar a los solicitantes. Al revisar los resultados por grupos, ve que las personas con trabajos por cuenta propia quedan casi siempre al final, aunque sus ingresos sean altos. El modelo había aprendido que «nómina» equivale a buen inquilino porque así lo reflejaba el histórico.

La empresa corrige los criterios, añade ejemplos de autónomos solventes y decide que la decisión final la tome siempre una persona, con el ranking solo como apoyo.

Cómo te afecta en tu empresa

Si usas IA para tratar con clientes, te interesa evitar dos cosas: que trate peor a algunos y que tome decisiones importantes sin supervisión. La primera se combate revisando resultados; la segunda, con reglas claras y una persona al mando. El AI Act va en esa línea, con obligaciones más exigentes cuanto mayor es el riesgo.

En UTIO, el agente de voz y el agente de WhatsApp trabajan con las reglas que tú fijas: qué puede hacer, con qué información responde y cuándo pasa a una persona. La autonomía es gradual (sin IA, preguntar, borrador o automático) y arranca en borrador. Así puedes revisar cómo responde a distintos tipos de cliente antes de darle más margen.