La caja negra de la IA, explicada para abogados: por qué un resultado sin explicación es un problema jurídico

Cuando un juez resuelve, debe motivar. Cuando una autoridad administrativa sanciona, debe explicar por qué. Cuando un abogado recomienda, el cliente espera razones. El derecho está construido sobre la exigencia de que las decisiones puedan explicarse. La inteligencia artificial moderna choca justo ahí: muchos de sus sistemas producen resultados correctos en promedio, pero sin una explicación accesible de cómo llegaron a ellos. A ese fenómeno se le llama caja negra, y entenderlo es hoy competencia básica del jurista.

Qué es exactamente la caja negra

Un sistema es una caja negra cuando podemos observar sus entradas y sus salidas, pero no el proceso interno que las conecta. Los modelos de aprendizaje profundo —los que están detrás de los sistemas generativos y de muchas herramientas de predicción— contienen millones o miles de millones de parámetros ajustados sobre datos. No hay una regla legible, una lista de «si pasa esto, entonces aquello», que describa su comportamiento: el modelo es, literalmente, una masa de números.

Esto no significa que el sistema sea magia ni que sea inútil. Significa que su «razonamiento» no puede leerse como se lee un contrato o una sentencia. Podemos probarlo con muchos casos y medir su desempeño, pero no pedirle que justifique una respuesta concreta de forma fiable: cuando el sistema da una «explicación», genera un texto plausible que no necesariamente refleja su proceso real.

Por qué es un problema jurídico, no solo técnico

La caja negra toca varias columnas del ejercicio del derecho:

• Motivación y debido proceso. Las decisiones que afectan derechos deben poder justificarse. Si una empresa niega un crédito, filtra un currículum o calcula un riesgo con un sistema inexplicable, ¿cómo se impugna esa decisión? ¿Cómo se defiende?
• Responsabilidad. Atribuir responsabilidad exige entender qué falló: ¿los datos, el diseño, el uso? Con una caja negra, la cadena causal se vuelve opaca justo cuando más se necesita.
• Prueba. Un peritaje exige que el experto explique su método. Un resultado de IA sin método explicable es un peritaje que no puede completar su propia lógica.
• Sesgos. Si el sistema aprendió patrones discriminatorios de sus datos, la opacidad impide detectarlos a simple vista: solo se revelan mediante auditorías estadísticas específicas.

Qué se está haciendo al respecto

El mundo técnico trabaja en «IA explicable»: métodos que aproximan por qué un modelo produjo un resultado (qué variables pesaron más, qué ejemplos de entrenamiento lo influyeron). Son aproximaciones útiles, no ventanas reales al interior del modelo. El mundo regulatorio, por su parte, tiende a no exigir transparencia total sino proporcional: a mayor riesgo del uso (salud, justicia, empleo, crédito), mayores obligaciones de información, supervisión humana y posibilidad de impugnación.

Para los abogados mexicanos, el debate no es lejano: la iniciativa de ley general de inteligencia artificial discutida en el Senado y el análisis de la propuesta de ley de IA de 223 artículos muestran que la transparencia algorítmica ya está en la agenda legislativa.

Qué exigir al usar o revisar un sistema de IA

Mientras llega la regulación específica, hay preguntas prácticas que todo abogado puede hacer cuando su cliente o su despacho usa IA: ¿el proveedor documenta cómo se entrenó el sistema y con qué límites? ¿Existe un registro de las decisiones en que interviene? ¿Una persona revisa los resultados antes de que produzcan efectos? ¿El usuario afectado puede pedir revisión humana? ¿Qué pasa cuando el sistema se equivoca y quién responde? Estas preguntas no eliminan la caja negra, pero la envuelven en un marco de control.

La regla práctica

Una forma breve de resumirlo: use la IA como se usa a un pasante brillante pero junior. Puede investigar, proponer y redactar borradores; no puede firmar. La supervisión humana no es un añadido ético opcional: es el mecanismo que convierte un resultado inexplicable en una decisión que alguien puede motivar, defender y de la que puede responder. Nuestra guía sobre supervisión humana en flujos de IA desarrolla cómo implementarla, y la de verificación de citas generadas por IA cubre el caso de error más frecuente en la práctica jurídica.

Preguntas frecuentes

¿Todos los sistemas de IA son cajas negras?

No. Los sistemas basados en reglas explícitas y algunos modelos estadísticos simples son interpretables. La opacidad es característica de los modelos complejos de aprendizaje profundo, que son los más capaces y los más usados hoy.

¿La IA puede explicar sus propias respuestas?

Puede generar textos que suenan a explicación, pero no hay garantía de que reflejen su proceso interno real. Una «explicación» generada no equivale a una motivación verificable.

¿Es legal usar sistemas de caja negra en decisiones sobre personas?

En México no hay una prohibición general, pero tampoco un salvoconducto: la legislación de protección de datos, laboral, financiera y de defensa del consumidor impone exigencias que un sistema opaco puede dificultar. La prudencia exige supervisión humana y vías de impugnación.

¿Qué es la IA explicable?

El conjunto de técnicas que buscan hacer comprensibles las decisiones de los modelos, ya sea diseñando modelos interpretables desde el inicio o generando aproximaciones posteriores sobre modelos complejos.

Fuentes y límites

Guía editorial de carácter general elaborada con base en la literatura técnica y jurídica sobre explicabilidad de la inteligencia artificial; no sustituye el análisis de un sistema o caso concreto. Información, no asesoramiento jurídico.