Sin explicación no hay defensa: el debido proceso ante el “lo decidió el sistema”

Te rechazan un crédito, te bloquean una cuenta, te bajan el alcance o te dejan afuera de una lista. Preguntás por qué y te responden con una frase que ya se volvió dogma contemporáneo: “lo decidió el sistema”. El problema no es técnico: es jurídico. Sin explicación no hay defensa. Y sin defensa, no hay libertad.

Durante décadas hubo un pacto tácito: si alguien decide sobre vos, tiene que poder dar razones. Ese pacto se está rompiendo. No por maldad inevitable, sino por una mezcla explosiva: automatización, opacidad y escala. Cuando la decisión se vuelve automática, la explicación se vuelve opcional. Y cuando la explicación se vuelve opcional, la defensa se vuelve simbólica.

El nuevo “porque sí”

El poder clásico tenía rostro: un funcionario, un gerente, una firma, un acto. Se podía pedir fundamentos, impugnar, apelar, exigir revisión. Hoy muchas decisiones llegan con una estética distinta: no hay firma, no hay acto, no hay razón. Solo un resultado.

En la vida digital, cada vez más cosas se deciden así: aprobado/rechazado, visible/invisible, confiable/sospechoso. El problema no es que existan sistemas. El problema es cuando el resultado se presenta como incuestionable y la respuesta estándar es una coartada perfecta: “no fui yo, fue el sistema”.

La ilusión de la neutralidad

“Algoritmo” suena a objetividad. A matemática. A ausencia de arbitrariedad. Pero un sistema no es una verdad: es un diseño. Y todo diseño arrastra criterios, datos, objetivos, sesgos y márgenes de error.

Cuando una decisión automatizada afecta oportunidades o derechos relevantes, la opacidad deja de ser un detalle técnico: se vuelve un problema institucional. Porque lo que no puede explicarse, no puede controlarse. Y lo que no puede controlarse, se transforma en poder.

Explicación no es revelar el código

Acá aparece el atajo discursivo: “si pedís explicación, querés que te muestren el algoritmo”. No. La explicación jurídica no exige abrir el código fuente ni entregar secretos industriales.

Exige algo más básico y compatible con cualquier organización seria: que se pueda entender por qué pasó lo que pasó. Qué variables fueron relevantes, qué criterio general se aplicó, qué dato pesó más, qué margen de error existe y qué canal real hay para corregir o impugnar.

La explicación, además, tiene que ser comprensible. Si la razón solo la entiende quien diseñó el sistema, no es una garantía: es una pared.

De ciudadano a usuario

El efecto más serio de la opacidad no es tecnológico: es político-jurídico. Cuando no podés entender ni discutir una decisión, dejás de ser ciudadano y pasás a ser usuario. Y el usuario no discute: acepta términos y condiciones.

Ahí nace una forma silenciosa de indefensión. No por ausencia de derechos en el papel, sino por falta de procedimientos concretos para ejercerlos. La defensa existe, pero no funciona.

Un piso mínimo de garantías

La salida no es moralina ni pánico. Es derecho aplicado. Un estándar mínimo, practicable, que devuelva control donde hoy hay opacidad. Diez puntos bastan para empezar:

1. Saber cuándo hubo automatización influyendo en una decisión relevante.
2. Recibir una explicación comprensible del motivo del resultado.
3. Registro y trazabilidad: que la decisión deje huella verificable.
4. Canal de impugnación real (no un formulario decorativo).
5. Revisión humana efectiva cuando el impacto es alto.
6. Acceso a evidencia básica: datos principales usados y su fuente.
7. Rectificación simple de datos erróneos.
8. Auditorías proporcionales al riesgo del sistema.
9. Detección y corrección de sesgos discriminatorios.
10. Responsabilidad: alguien responde siempre. El sistema no es un “nadie”.

La discusión de fondo no es si la IA “funciona”. La discusión es si vamos a aceptar decisiones de alto impacto sin explicación y sin revisión, solo porque vienen envueltas en tecnología. En derecho, el nombre de esa renuncia es claro: indefensión.

Y en una sociedad libre, la indefensión nunca puede ser el precio del progreso.

Fuentes consultadas:

• UNESCO — Recommendation on the Ethics of Artificial Intelligence (2021).
• OCDE — OECD AI Principles (transparencia y rendición de cuentas).
• Argentina — Ley 24.240 (deber de información al consumidor).
• Argentina — Ley 25.326 (protección de datos personales y consentimiento).