Inteligencia artificial y (buena) gestión pública: sistemas algorítmicos usados en el sector público y control judicial
Catedrático de Derecho Administrativo
Los sistemas algorítmicos empleados por la Administración, basados en inteligencia artificial, plantean problemas epistemológicos relacionados con el desconocimiento judicial y la falta de actitud para integrar ese necesario conocimiento
La sentencia de 30 de diciembre de 2021 (Juzgado Central de lo Contencioso-Administrativo núm. 8) supone la primera decisión judicial, salvo error u omisión, en relación con un sistema algorítmico. Esta sentencia ha analizado por primera vez en España la toma de decisiones automatizadas y las obligaciones de transparencia respecto a éstas, especialmente por lo que se refiere al código fuente del programa denominado BOSCO empleado por la Administración española. En la distinción entre algoritmos estadísticos que dan lugar a una inteligencia artificial no simbólica o conexionista (machine learning, deep learning) y algoritmos basados en reglas (rule-based), que dan lugar a una inteligencia artificial simbólica, BOSCO se sitúa en el segundo caso, lo que no impide hablar también en su caso de inteligencia artificial, existente en ambos supuestos, como recoge, por ejemplo, el Anexo I del borrador de Reglamento de la UE sobre inteligencia artificial que se está tramitando.
La sentencia dio lugar a un seminario celebrado en la facultad de Derecho de la Universidad de Barcelona el pasado 23 de septiembre de 2022, en el marco de la segunda actividad de los Seminarios periódicos denominados Del Derecho y del Revés tecnológico: diálogos entre programadores y juristas en la Facultad de Derecho de la Universidad de Barcelona, en el marco del del proyecto de investigación PID2020-115774RB-I00 (una crónica del mismo más extensa que estas líneas puede hallarse en el BLOG – Nudging aplicado a la Mejora de la Regulación y al Uso de Algoritmos y de Inteligencia Artificial (wordpress.com), tanto en español como en inglés). El seminario contó con un invitado especial, Javier de la Cueva, abogado que está llevando el caso y que, junto a Ana Valdivia, ha dado noticia de esta decisión judicial en inglés en el fórum de debate abierto alemán Verfassungsblog
Los antecedentes de la decisión judicial, que más allá del caso español plantea cuestiones debatidas a nivel internacional, muy brevemente explicados, son los siguientes. De acuerdo con la Directiva 2009/72/CE del Parlamento Europeo y del Consejo, de 13 de julio de 2009, sobre normas comunes para el mercado interior de la electricidad (art. 3.2), el parlamento español aprobó una ley en la que se prevé la concesión de un bono social (Ley 24/2013, de 26 de diciembre, del Sector Eléctrico, art. 45, modificado diversas veces y desarrollado por diversos reglamentos posteriores, recogidos en la sentencia que comentaremos, que ha dado lugar a una alta litigiosidad). Este bono es una prestación de carácter social destinada a proteger a determinados consumidores con específicas circunstancias personales y de bajos ingresos (“los consumidores vulnerables”) consistente en aplicar un descuento en el precio de la electricidad consumida en su vivienda habitual, para evitar que sufran la denominada pobreza energética, que afecta a muchos ciudadanos europeos.
La Fundación Civio, una fundación privada comprometida con la transparencia y el buen gobierno en España que realiza una labor de extraordinario valor, detectó que la falta de información desde la administración y la complejidad del proceso tenían como consecuencia que miles de personas no se estaban acogiendo al nuevo modelo a tiempo. La fundación Civio denunció este hecho y a la vez creó su propia app para ayudar a colectivos vulnerables a pedir las ayudas. Decenas de ayuntamientos, organizaciones sociales, colectivos y medios la insertaron en su web, llegando a muchos miles de personas.
El uso de esa aplicación de Civio puso de relieve que algo no funcionaba bien: utilizada la aplicación de Civio y el programa Bosco a la vez, los resultados no eran idénticos, denegando el segundo solicitudes de personas que tenían derecho al bono social, de acuerdo con la regulación vigente. La Fundación Civio colaboró entonces con el Gobierno para intentar paliar los problemas detectados y solicitó en 2018 acceso al código fuente de BOSCO, de acuerdo con la legislación española de transparencia, porque había indicios de errores en su configuración que impedían la aplicación correcta de la legislación.
La Fundación no obtuvo respuesta de la Administración española. Ante este silencio administrativo, una “práctica aberrante” de mala administración, la Fundación usando de nuevo la legislación de transparencia española acudió ese mismo año al Consejo de Transparencia y Buen Gobierno, organismo administrativo creado exprofeso para la protección del derecho de acceso a la información.
El Consejo dio la razón parcialmente a Civio en 2019 y obligó a la Administración a conceder acceso a la especificación técnica de dicha aplicación, al resultado de las pruebas realizadas para comprobar que la aplicación BOSCO cumple la especificación funcional y cualquier otro elemento que permitiera conocer el funcionamiento de la aplicación.
Sin embargo, denegó el acceso al código fuente, puesto que el Consejo consideró que era de aplicación el límite contenido en el artículo 14.1 letra j) de la legislación española de transparencia, relativo a la propiedad intelectual.
Civio decidió entonces acudir a la vía judicial. Ese mismo año 2019, presentó una demanda solicitando el acceso al código fuente de BOSCO. La mencionada sentencia de 30 de diciembre de 2021 resolvió dicha petición, denegándola y cerrando una primera fase del conflicto, que va a continuar, puesto que ha sido interpuesto ya recurso frente a un segundo tribunal.
¿Cuáles fueron los argumentos de Civio y por qué se produjo esa denegación judicial?
Frente a las alegaciones de Civio de violación del principio de interdicción de la arbitrariedad (art. 9.3 Constitución española) y ausencia de protección legal de la propiedad intelectual en un programa elaborado por la propia Administración pública, el órgano judicial se mostró impermeable.
Respecto a la primera, Civio argumentó que la imposibilidad de acceso al código fuente de los programas provoca que el derecho va derivando en una aplicación automatizada mediante un código binario imposible de leer, alejándose de esta manera ya no sólo el principio de legalidad, sino todo tipo de posibilidades hermenéuticas, argumentativas y éticas que podrán utilizarse única y exclusivamente en los resultados generados, pero que no podrán entrar en ninguna de las causas y, mucho menos, en el sistema de racionalidad sobre el que se fundamenta la toma de una decisión, lo que vulnera el derecho a conocer la motivación de las resoluciones.
Sin embargo, la decisión judicial sostiene que al reconocer el derecho al bono social la Administración española:
“ajusta su actuación a dicha normativa, dictando el correspondiente acto administrativo. Y para ello utiliza una aplicación informática, denominada “sistema de información BOSCO”, que se inserta en una fase del procedimiento administrativo, cuyo objeto es verificar el cumplimiento de los requisitos establecidos previamente por la normativa citada. Siendo lo anterior así, no puede considerarse que el acto administrativo se dicte por una aplicación informática, sino por un órgano administrativo, y en caso de que el destinatario de dicho acto esté disconforme con el mismo, podrá impugnarlo en vía administrativa, y en vía judicial. Por tanto, la legalidad del acto administrativo no está justificada por la aplicación informática que instrumentalmente se utiliza en una fase del correspondiente procedimiento administrativo, sino por la normativa que regula la materia”.
Según la sentencia, de la prueba practicada en el juicio:
“se ve cómo funciona el sistema informático, y si tal funcionamiento es correcto, careciendo por ello de fundamento la alegación de la entidad recurrente sobre la existencia de fallos o errores de cálculo en la aplicación, en particular para determinados colectivos. Y en los supuestos de “imposibilidad de cálculo”, por no contar con información suficiente del solicitante en las bases de datos conectadas a la aplicación, se le requiere al mismo para que aporte la documentación, y en base a ella se determina si existe el derecho al bono social o no. Son supuestos en que no es posible el cálculo automático mediante la aplicación, pero no supuestos de denegación del bono social”.
Por ello, la sentencia realiza una argumentación formalista llegando a la conclusión de que “En base a lo expuesto, hay que considerar que la denegación del acceso al código fuente de la aplicación informática no supone una vulneración del principio de legalidad, pues siempre, en último extremo, se podrá comprobar si el solicitante cumple los requisitos para que se le concede el bono social”
En cuanto a la segunda alegación referida a que no hay violación del límite de la legislación de transparencia española que impide acceder a información si hay violación de la propiedad intelectual, la sentencia señala que:
“el código fuente de la mencionada aplicación informática no está dentro de las exclusiones de la propiedad intelectual, mencionadas en el artículo 13 del Real Decreto Legislativo 1/1996, de 12 de abril, de propiedad intelectual, precepto invocado por la entidad recurrente, pues dicho código no es una norma ni un acto administrativo”.
La sentencia insiste en que “hay que considerar por ello que no existe ninguna norma que imponga a la Administración el desarrollo de aplicaciones con fuentes abiertas ni la adquisición de software libre”. Finalmente se rechaza la pretensión formulada por Civio respecto a que se le conceda el acceso a parte del código fuente, al ser ésta una pretensión nueva, no formulada en la demanda. Además, la sentencia añade consideraciones sobre la imposibilidad de dar acceso al código fuente, puesto que si así se hiciera se crearían problemas de vulnerabilidad del programa y afectaciones a la seguridad pública (?).
Si bien los juristas llevamos cientos de años utilizando algoritmos (por ejemplo, Ley posterior deroga a anterior), la cuestión de los sistemas algorítmicos empleados en inteligencia artificial plantea problemas epistemológicos relacionados con el desconocimiento judicial y la falta de actitud para integrar ese necesario conocimiento. La decisión judicial española se aparta de las soluciones dadas en otros países europeos a casos similares.
El acceso al código fuente es relevante para saber si el programa funciona correctamente o si existen errores de programación. En este caso, la Administración española ha dado acceso a los la especificación técnica de dicha aplicación y el resultado de las pruebas realizadas para comprobar que la aplicación BOSCO cumple la especificación funciona, pero ello no es suficiente. Sería un caso similar a aquel en que se escribe una noticia que da cuenta de una sentencia judicial, comentándola, sin aportar la propia sentencia. Es imprescindible tener el texto de la sentencia para poder saber si lo que dice el periodista en la noticia es correcto o no.
En cuanto al problema de la propiedad intelectual, de acuerdo con la legislación española de propiedad intelectual, sentencias y normas, así como los actos, acuerdos, deliberaciones y dictámenes de los organismos públicos no tienen propiedad intelectual (art. 13). En cambio hay obras sí protegidas por derechos de autor que la Administración no tiene ningún problema en ofrecer al público, como cartografía o tablas de estadística, por ejemplo. La interpretación de la Ley de Propiedad intelectual debe hacerse sistemáticamente: los derechos de autor sólo se refieren a actividad privada.
Por otro lado, la sentencia comete un error de interpretación de los hechos, pues, pese a lo que afirma, no hay funcionario que tome la decisión porque se trata de una decisión automatizada.
En espera de la decisión del tribunal (Audiencia Nacional) que revisará la sentencia, el Consejo de Transparencia y Buen Gobierno, que en este primer litigio compareció junto a la Administración del Estado, ha decidido ahora que no se opone a la apelación presentada por Civio a la sentencia “por entender que dicha sentencia no se ajusta a derecho”, según un escrito de la nueva representación legal del Consejo. De hecho, el Consejo, enfrentado a una reclamación distinta presentada por un ciudadano en 2021 sobre el acceso al código fuente utilizado en la aplicación informática mediante la cual se procedió al sorteo de tribunales asociados a procesos selectivos de una Comunidad autónoma lo concede, negando que la propiedad intelectual impida dicho acceso. Sólo por haber facilitado este cambio de postura del Consejo, el litigio ya ha tenido consecuencias positivas.
En todo caso, es preciso tener en cuenta que la deferencia judicial no puede derivar en una indiferencia judicial frente a los derechos de los ciudadanos; que la Administración Pública debería servir con objetividad a los intereses generales, pero es responsabilidad judicial controlar que en cada caso ese servicio realmente existe y se ha respetado la buena administración; y que el privilegio de ejecutividad de que goza la Administración española, como otras europeas, no significa que exista una presunción iure et de iure de la legalidad de la actividad administrativa, sino que, una vez ejercida la carga de recurrir contra la decisión administrativa, es la Administración la que debe justificar que la decisión adoptada es conforme a Derecho y el recurrente puede destruir la presunción de legalidad.
Por otro lado, las cuestiones debatidas en esta primera sentencia se limitan, como se ha visto, a la cuestión del acceso al código fuente y la aplicación de la legislación de transparencia. Pero BOSCO, en concreto, y el uso de sistemas algorítmicos, en general, presentan otros posibles problemas, que también hallamos en este caso. Así, en el inicio del caso que ha dado lugar a la sentencia surgió el auténtico problema de fondo sobre los posibles errores del programa. Es este un tema relevante, por cuanto es posible y necesario avanzar en la detección y evitación de posibles errores en los sistemas algorítmicos, para evitar problemas como los generados por BOSCO.
Además, por otro lado, el caso pone encima de la mesa la cuestión del principio de legalidad y de reserva de ciertas decisiones a la ley como norma aprobada por representantes democráticamente elegidos. La decisión de automatizar actos administrativos, y de cómo hacerlo, no debería ser entregada por la ley como un cheque en blanco a las oficinas administrativas. Esta remisión en blanco de la ley no debería producirse en casos en los que se afectan derechos importantes de los ciudadanos como éste. Además, la Administración aprobó el sistema algorítmico sin previa participación ciudadana ni publicidad de ningún tipo, lo que no es aceptable, se considere el sistema algorítmico fuente del Derecho o no. En definitiva, lo que hace BOSCO es codificar en lenguaje informático una regulación legal previa escrita, que arranca de una ley del parlamento español, que debería haber previsto la automatización y haber establecido unas mínimas pautas, y pasa por diversos reglamentos. Regulación escrita en lenguaje natural originariamente. ¿Qué garantías existen de que la traducción efectuada a lenguaje informático es correcta y no está alterando el marco legal previo existente?
En tercer lugar, más allá del acceso al código fuente, en el caso del programa BOSCO, las decisiones reglamentarias que diseñaron el procedimiento administrativo para conceder o denegar el bono social dieron un protagonismo aparentemente excesivo a las empresas privadas del sector (llamadas comercializadores de referencia), lo que parece conducir a una privatización de la actividad procedimental administrativa, al encargar a éstos, con un simple reglamento, el desarrollo de funciones administrativas como comprobar, denegar o aprobar y notificar. Ello violaría la imposibilidad de atribuir potestades administrativas a privados (recogida en la legislación española referida al Estatuto Básico del Empleado Público, art. 9.2) y de privatizar de este modo procedimientos administrativos, lo que ha sido declarado contrario a Derecho por el Tribunal Supremo español.
Esperamos con atención la segunda sentencia que recaerá sobre el caso BOSCO, que deseamos sea de mejor calidad y mucho más argumentada que la primera, dando lugar, finalmente al debido acceso al código fuente.