Duro fallo bonaerense: detectaron citas judiciales inexistentes y alertaron sobre el riesgo de la IA
La Sala II de la Cámara de Apelación en lo Civil y Comercial de Morón declaró desierto un recurso judicial que se apoyaba en fallos que los magistrados no pudieron localizar y dispuso comunicar lo ocurrido al Colegio de Abogados departamental. En su voto, el juez Gabriel Hernán Quadri advirtió sobre las posibles alucinaciones de la inteligencia artificial generativa y cuestionó la utilización de referencias jurisprudenciales sin verificar su existencia y contenido. La jueza Laura Andrea Moro adhirió a sus fundamentos.
La resolución se dictó en una causa por cobro ordinario de sumas de dinero, en la que se había apelado una decisión de primera instancia que fijó la base regulatoria. Antes de analizar los cuestionamientos contra esa resolución, la Cámara evaluó si el escrito presentado cumplía con los requisitos procesales necesarios para sostener la apelación.
El análisis llevó a los jueces a concluir que la fundamentación era insuficiente. El problema no fue solamente la falta de argumentos jurídicos sólidos: buena parte del recurso se apoyaba en citas de fallos que no pudieron ser encontrados en las bases de consulta judicial.
Las citas que no pudieron localizar
En el escrito se invocaba un supuesto pronunciamiento de la Suprema Corte de Justicia bonaerense bajo la carátula “Colegio de Abogados de La Plata c/ Provincia de Buenos Aires”, identificado también como el caso “Barrio”. Se le atribuía un criterio relacionado con la actualización de los honorarios profesionales.
Sin embargo, Quadri explicó que no pudo localizar ni la sentencia mencionada ni un expediente que coincidiera con esa carátula. También señaló que el número de causa citado correspondía, según la consulta en la Mesa de Entradas Virtual, a otro expediente, vinculado con una quiebra, cuyo último movimiento registrado era de 2017.
A eso se sumó que el supuesto sumario jurisprudencial reproducido en el recurso tampoco aparecía en la base de datos JUBA.
El magistrado diferenció esa referencia del conocido fallo “Barrios” de la Suprema Corte bonaerense, que abordó la inconstitucionalidad sobrevenida de disposiciones de la Ley de Convertibilidad. Según indicó, de la lectura de esa sentencia no surgía el tratamiento de la cuestión que el abogado le atribuía.
La conclusión fue contundente: “Se construyó todo el memorial tratando de revertir la solución de la resolución apelada en base a menciones de fallos que no pueden ubicarse”, sostuvo Quadri.
Para el juez, esas deficiencias impedían considerar que el recurso contuviera una crítica concreta y razonada de la decisión de primera instancia, tal como exige el artículo 260 del Código Procesal Civil y Comercial bonaerense.
La advertencia sobre la inteligencia artificial
A partir de las citas que no pudieron verificarse, Quadri abordó la posibilidad de que el error estuviera relacionado con el uso de herramientas de inteligencia artificial generativa. El magistrado aclaró que no podía determinar con certeza que esa tecnología hubiera sido utilizada, pero señaló que el caso presentaba similitudes con otro detectado anteriormente por una sala de la misma Cámara.
“No puedo afirmar, con certeza, que la cita de fallos que no existen (o al menos no están localizables) provenga de un inadecuado uso de herramientas de inteligencia artificial”, precisó.
El juez explicó que estos sistemas pueden producir referencias aparentemente verosímiles al combinar nombres de causas conocidas con argumentos que parecen adecuados al tema, aunque no se correspondan con el contenido real de las sentencias.
En ese sentido, formuló una de las observaciones centrales del fallo: “La carátula aparece porque está fuertemente asociada al tema, no porque se haya verificado su contenido”.
Según desarrolló, los modelos de lenguaje generan respuestas a partir de patrones aprendidos y pueden asociar un precedente conocido con una afirmación que parece encajar en el razonamiento jurídico, sin que esa relación haya sido comprobada contra el texto original.
Quadri advirtió, además, que este mecanismo puede producir errores especialmente difíciles de detectar cuando se utiliza el nombre de un fallo real y conocido.
“Una carátula que no tiene nada de real puede detectarse con una simple búsqueda”, explicó. En cambio, “la mención a un fallo conocido puede generar confianza inmediata en quien lo lee”, lo que puede llevar a aceptar una atribución incorrecta sin consultar la sentencia.
El magistrado también señaló que los sistemas de inteligencia artificial suelen expresarse con fluidez y seguridad, sin distinguir necesariamente entre información comprobada y contenido generado por verosimilitud.
Qué resolvieron los jueces
La Cámara declaró desierto el recurso de apelación, con costas al apelante, al considerar que el escrito no cumplía con las exigencias procesales para cuestionar la resolución de primera instancia.
Pero la decisión no terminó allí. Los jueces dispusieron poner en conocimiento del abogado las circunstancias detectadas y comunicar el fallo al Colegio de Abogados del Departamento Judicial Morón para que evalúe la difusión de una advertencia entre sus matriculados.
El tribunal pidió que se destaque especialmente la importancia de verificar los resultados que ofrecen las herramientas de inteligencia artificial generativa. La recomendación incluye también la función “Visión general creada por IA” del buscador Google, cuando presenta referencias a precedentes judiciales conocidos.
La resolución no prohíbe el uso de estas tecnologías. Por el contrario, Quadri reconoció que pueden mejorar el trabajo de los operadores jurídicos, siempre que se utilicen de manera ética y responsable.
El planteo de fondo es que ninguna herramienta reemplaza la obligación profesional de comprobar que las sentencias, las normas y las citas doctrinarias invocadas existen y respaldan efectivamente los argumentos presentados ante la Justicia.
La decisión lleva las firmas de los jueces Gabriel Hernán Quadri y Laura Andrea Moro. La fundamentación sobre las posibles alucinaciones de la inteligencia artificial fue desarrollada por Quadri y compartida por Moro mediante su adhesión al voto.
