Publicamos nuestro paper técnico: por qué nunca prometemos 0% de alucinación

En derecho, inventar un artículo puede costar un caso. Por eso, cuando alguien vende una IA legal que promete "0% de alucinación", la primera pregunta debería ser: ¿dónde está el benchmark que lo demuestra?

Hoy publicamos el nuestro. Y no dice cero.

📄 Descargar el paper técnico (PDF)

Qué medimos

Sometimos a LEXIMEX a un banco de 108 preguntas sobre 10 áreas del derecho mexicano. La parte incómoda del diseño son las 21 preguntas trampa: preguntas que citan artículos que no existen —"según el artículo 999 de la Ley Federal del Trabajo…"— para ver si el sistema se deja arrastrar o corrige.

Los resultados, con su intervalo de confianza al 95% (método de Wilson):

• Tasa de alucinación global: 5,6% (6 de 108). Intervalo: 2,6% – 11,6%.
• En las 87 preguntas de uso realista: 0 alucinaciones. Cota superior del intervalo: 4,2%.
• Las 6 alucinaciones ocurrieron en las preguntas trampa (6 de 21). Que no hubiera ninguna en las de uso realista no prueba que nunca ocurran, y una cita equivocada no siempre es un ataque: también puede ser un error de buena fe.

Para poner el número en contexto, el estudio de la Universidad de Stanford (2025) midió tasas de alucinación de 17% en Lexis+ AI y en Ask Practical Law AI, y de 33% en Westlaw —todas herramientas comerciales con recuperación de documentos—. (Corregido el 13 de octubre de 2026: una versión anterior de este artículo atribuía a Ask Practical Law AI la tasa de alucinación de Westlaw, 33%, y para Westlaw daba su porcentaje de respuestas incompletas, 25%, en lugar de su tasa de alucinación. El paper en PDF trae la misma corrección en una fe de erratas, en su última página.) La comparación es solo orientativa: además de la jurisdicción y el banco de preguntas, cambia la definición. Stanford cuenta también las respuestas mal fundamentadas; nuestro benchmark, solo las citas o normas inventadas. Por eso las cifras no se pueden comparar como si midieran lo mismo.

Por qué no decimos "cero"

Porque no sería verdad. Un modelo de lenguaje está optimizado para que el texto suene bien, no para que sea cierto. Ninguna arquitectura elimina la alucinación por completo; solo la reduce y la vigila.

Cualquier proveedor que afirme "0% de alucinación" está midiendo mal o comunicando mal. La pregunta correcta no es "¿alucina?", sino "¿cuánto, bajo qué condiciones, y lo publica?".

Lo que sí hacemos es diseñar para atrapar el error. Cada respuesta de LEXIMEX atraviesa cinco capas de verificación antes de mostrarse:

1. 1. Verificación de citas: cada artículo citado se comprueba contra nuestra base de datos legal. Si no existe, se marca.
2. 2. Confianza computada: no mostramos la certeza que el modelo dice sentir —que es alta incluso cuando se equivoca— sino una confianza calculada a partir de señales objetivas.
3. 3. Filtro anti-alucinación: si la evidencia no alcanza el umbral, la respuesta se degrada o se bloquea.
4. 4. Contraste con el contexto: verificamos que la cita esté en los fragmentos recuperados para esa pregunta, no solo que exista en algún lugar.
5. 5. Señales de alucinación: patrones de riesgo penalizan la confianza.

El resultado es un sello auditable en cada respuesta: "X/Y artículos verificados", nivel de confianza (ALTA/MEDIA/BAJA; desde el 13 de octubre de 2026 el máximo es MEDIA, porque plazos, cifras y vigencia aún no se comprueban automáticamente) y advertencias cuando algo no cuadra. El sistema está diseñado para decir que no hay fundamento en lugar de inventarlo; aun así, en 6 de las 21 preguntas trampa se dejó arrastrar.

Lo que el paper también declara

Un benchmark honesto publica sus límites. En el documento reconocemos que la muestra es moderada (n = 108, por eso el intervalo va de 2,6% a 11,6%), que la validación humana independiente con acuerdo entre evaluadores (kappa) está pendiente, y que la comparación con Stanford es orientativa. Nada de esto se esconde: está en la sección de limitaciones.

El paper cubre la arquitectura completa, la metodología, los resultados por categoría, y el trabajo futuro comprometido (ampliar a n ≥ 250, validación humana, remedición trimestral).

Leer el paper completo (PDF, sin registro)

En una línea

El modelo redacta, pero la base de datos legal decide qué es verdad. Esa disciplina —verificar antes de afirmar, y declarar la incertidumbre en lugar de esconderla— es lo que separa una herramienta que ayuda al abogado a fundar un escrito —revisando siempre las fuentes citadas— de una que solo suena convincente.

LEXIMEX indexa legislación federal y de las 32 entidades federativas: 490 ordenamientos, 181,227 fragmentos legales y 31,857 tesis del Semanario Judicial de la Federación, cada uno con su referencia para que usted lo compruebe.

Actualizado el 13 de octubre de 2026: precisamos el alcance de algunas afirmaciones para que no digan más de lo que el benchmark demuestra.