La IA no es el problema: el error es confundir asistencia con decisión

La denuncia presentada en España contra un juez de Ceuta por el presunto uso indebido de inteligencia artificial en una resolución judicial volvió a instalar un debate mal planteado desde el inicio. No se trata de si la IA “puede” o “no puede” usarse en la Justicia, sino de entender qué es realmente una IA generativa y cuáles son sus límites estructurales. Sin esa comprensión mínima, cualquier uso profesional —y más aún judicial— es una irresponsabilidad.

El caso involucra al titular del Juzgado de Instrucción número 5 de Ceuta, Antonio Pastor, acusado de haber incorporado en una resolución fundamentos generados por IA que incluían jurisprudencia inexistente. El punto clave no es la herramienta utilizada, sino el error conceptual: un modelo de lenguaje no verifica, no contrasta fuentes y no distingue verdad de falsedad. Produce texto probable, no conocimiento cierto. Cuando se le pide que “argumente”, responde con coherencia formal, no con validez jurídica.

Esto no es un defecto circunstancial ni una falla excepcional. Es una característica intrínseca de estos sistemas. Las llamadas “alucinaciones” no son bugs: son el resultado lógico de modelos entrenados para predecir la siguiente palabra más plausible según patrones estadísticos. Si el contexto sugiere que debería existir una jurisprudencia, la IA la inventa con la misma soltura con la que redacta un párrafo gramaticalmente impecable. El texto suena bien, pero puede ser completamente falso.

Por eso, el problema no es usar IA, sino delegar en ella tareas que requieren verificación, criterio y responsabilidad personal. En el ámbito judicial, esa delegación es especialmente grave. Cuando un juez firma una resolución, no valida un texto: asume la autoría intelectual y las consecuencias institucionales de cada argumento. Si ese razonamiento proviene de un sistema opaco, no auditado y sin trazabilidad, el acto jurisdiccional queda vacío de control humano efectivo.

Los antecedentes se multiplican. Abogados en distintos países ya fueron sancionados por presentar escritos con citas doctrinarias o jurisprudenciales generadas por IA y nunca comprobadas. En Argentina, el caso más extremo ocurrió en Chubut, cuando la Cámara en lo Penal de Esquel anuló una condena al detectar que el juez había usado inteligencia artificial para redactar el fallo. La frase residual —“Aquí tienes el punto IV reeditado, sin citas y listo para copiar y pegar”— dejó en evidencia no solo el uso de la herramienta, sino la ausencia total de revisión crítica.

Desde una perspectiva tecnológica, la nulidad fue lógica. No se informó qué sistema se utilizó, qué datos se ingresaron ni bajo qué instrucciones. Eso impide auditar sesgos, errores o filtraciones de información sensible. Además, expone otro riesgo poco discutido: la posible carga de datos personales en plataformas privadas, sobre las cuales el usuario pierde control una vez enviados los prompts.

La discusión de fondo no es jurídica, sino técnica e institucional. La IA puede servir para tareas auxiliares: ordenar información, resumir antecedentes, sugerir estructuras. No puede —ni debe— producir decisiones finales, fundamentos jurídicos ni criterios interpretativos. Confundir asistencia con sustitución es el error central, y no es tecnológico: es humano.

Espantarse con la inteligencia artificial es tan improductivo como idealizarla. Estas herramientas no piensan ni verifican, generan texto probable a partir de patrones aprendidos. Cuando se las usa sin control, el problema no es el algoritmo, sino quien delega decisiones reales en un sistema que puede sonar convincente incluso cuando está equivocado.