4. Discriminación algorítmica y derechos digitales
Objetivos de la mesa
- Diagnosticar los riesgos y desafíos de la IA para los derechos humanos y la privacidad, analizando casos de discriminación algorítmica, vigilancia masiva y filtraciones de datos en México e Iberoamérica.
- Explorar propuestas de políticas públicas y marcos regulatorios que fortalezcan la soberanía digital, garanticen la transparencia en el uso de algoritmos y establezcan mecanismos efectivos de auditoría, protección de datos y prevención del sesgo algorítmico.
- Fomentar la construcción de estrategias multisectoriales (Pentahélice) que promuevan el uso responsable de la IA en servicios públicos y privados, asegurando inclusión, equidad y respeto a los derechos digitales de la ciudadanía.
Problemática
Los algoritmos de IA pueden perpetuar sesgos y discriminación, no sólo en el ámbito privado y laboral, sino con efectos sociales, afectando a mujeres, pueblos originarios y personas con discapacidad. La falta de diversidad en los datos de entrenamiento y en los equipos de desarrollo contribuye a este problema. La discriminación algorítmica puede limitar el acceso a oportunidades laborales, educativas y de servicios, exacerbando las desigualdades existentes. Además, la opacidad de los sistemas de IA dificulta la identificación y corrección de estos sesgos (Smith, 2024).
Tecnologías como el reconocimiento facial, la lectura automatizada de matrículas (LPR), y la identificación biométrica están siendo desplegadas por gobiernos locales y federales, a menudo sin una regulación clara o mecanismos efectivos de transparencia. A esto se suma el vacío legal sobre la propiedad de los datos personales generados por tecnologías de IA. En la mayoría de los casos, los datos recolectados (biométricos, de geolocalización, patrones de comportamiento, etc.) no pertenecen al ciudadano, sino que son almacenados por el proveedor del sistema o por el gobierno, sin mecanismos claros de consentimiento informado, control individual ni trazabilidad. México ha sufrido filtraciones graves de datos, como la del padrón electoral de 2016 y bases de datos biométricos en 2023, lo que demuestra la fragilidad de los sistemas de custodia y el bajo nivel de protección jurídica (Flores, 2025; Ruiz, 2025). Sin una legislación que reconozca el derecho a la autodeterminación informativa como pilar de la ciudadanía digital, el uso de IA en vigilancia convierte a las personas en objetos pasivos de control, más que en sujetos de derechos.
El uso de tecnologías de IA de empresas extranjeras para la vigilancia, como el reconocimiento facial, plantea riesgos significativos para los derechos humanos. En México, muchas de las tecnologías de vigilancia basadas en inteligencia artificial (IA) no son desarrolladas localmente (Fuentes Rivera, 2024; Xira, 2023). Estas compañías suelen proveer los sistemas de reconocimiento facial, almacenamiento de dato, análisis predictivo del crimen, e incluso software de monitoreo social para gobiernos estatales y federales. Este fenómeno pone en riesgo la soberanía digital, ya que los datos recopilados por estas herramientas pueden ser almacenados y analizados fuera del país, quedando potencialmente expuestos a usos indebidos por parte de actores extranjeros.
Para enfrentar esta problemática, es indispensable articular una respuesta desde la pentahélice. En este sentido, organizaciones de la sociedad civil han detectado y denunciado casos de discriminación; a fin de garantizar los derechos digitales. Tal es el caso de R3D o Artículo 19, la cual cumple un rol fundamental al monitorear y denunciar abusos (R3D & ARTICLE 19, 2024).
Preguntas guía
- ¿Cómo ha impactado el uso de sistemas automatizados y tecnologías de inteligencia artificial a los derechos humanos?
- ¿Qué marcos deben establecerse para auditar algoritmos y evitar sesgos que afecten decisiones gubernamentales?
- ¿Qué límites deben establecerse para el uso de IA en vigilancia, reconocimiento facial y predicción del delito?
- ¿Qué políticas públicas deben desarrollarse para enfrentar el uso de IA en delitos cibernéticos y desinformación?
- ¿Cómo puede la IA ser una aliada en la reducción de la discriminación y de las desigualdades educativas y económicas?