YouTube Transcript:
Inteligencia Artificial en la administración de justicia_ Parte 2_

Buenos días a todos. Les damos la
bienvenida al ciclo de formación en
inteligencia artificial en la justicia.
Me presento, soy Melisa Samudio Reina.
Los acompañaré durante este espacio
organizado por el Consejo Superior de la
Judicatura en coordinación con la Unidad
de Transformación Digital e Informática
y en colaboración con la UNESCO a través
de la Escuela Judicial Rodrigo Lara
Bonilla. Esta colaboración que se ha
venido fortaleciendo desde finales del
2024 con nuestra alianza para la
promoción del uso,
aprovechamiento responsable, seguro y
ético de la inteligencia artificial en
la rama judicial se consolida con estas
charlas que ofrecemos de manera abierta
y gratuita a servidores judiciales,
abogados, estudiantes y usuarios del
sistema judicial en Colombia. Al
implementar este ciclo de formación, el
Consejo Superior de la Judicatura
también está cumpliendo con el mandato
establecido en la sentencia de la Corte
Constitucional
T323, la que nos compromete a capacitar
y formar en estos temas, asegurando así
que nos alineemos con los principios de
justicia y equidad.
En esta charla que hemos denominado uso
responsable, seguro y ético de la
inteligencia artificial en la
administración de justicia, se
desarrollarán temas como el enfoque de
derechos humanos en la implementación de
inteligencia artificial en el sector
justicia, tanto desde la perspectiva
nacional como internacional. En eh se
explorará además los lineamientos
establecidos por el Consejo Superior de
la Judicatura de Colombia. Se analizará
cómo Colombia ha tomado el liderazgo en
la región al adoptar este
modelo basado en en derechos,
diferenciándose del enfoque europeo
basado en riesgos. Antes de iniciar con
las conferencias, quiero saludar a todas
las personas que se conectan a esta hora
con nosotros a través de la plataforma
establecida por la Escuela Judicial
Rodrigo Larabonilla y por nuestro canal
de YouTube de la misma escuela.
Asimismo, quiero presentarle a los
expertos que nos acompañarán en esta
jornada. Empecemos por las mujeres. Hoy
nos acompaña la doctora Diana Alexandra
Remolina Botía, magistrada del Consejo
Superior de la Judicatura y coordinadora
de transformación digital de la rama
judicial. Ella es abogada de la
Pontificia Universidad Javeriana de
Bogotá y especialista en derecho
sustantivo y contencioso constitucional
de la misma universidad. ha ocupado
distintos cargos en de direcciones de
Ministerio de Justicia, desde donde
impulsó políticas, reformas legislativas
y reglamentarias en el Estado,
racionalización también normativa,
reforma a la justicia, trabajo además
para la Presidencia de la República, el
Departamento Nacional de Planeación, el
PENUT, el Banco Interamericano de
Desarrollo, entre otros, asesorando y
participando en la construcción de
políticas públicas en las mismas
materias Desde Irlanda nos se conecta
con nosotros a esta hora la doctora
Acneris Sampieri, quien es abogada de
egresada de la Universidad Nacional
Autónoma de México, actualmente es
estudiante y becada del Máster e Europeo
en derecho, datos e inteligencia
artificial de la Unión Europea. Cuenta
con más de 10 años de experiencia en
derecho y tecnología. Actualmente
trabaja como analista de políticas
públicas para América Latina en Accessas
Now y colabora como consultora de la
UNESCO capacitando a sistemas judiciales
sobre inteligencia artificial y derecho
y estado de derecho. Su experiencia
incluye intervenciones como experta en
casos relevantes como la sentencia TED
323 de la Corte Constitucional de
Colombia, además de impartir
conferencias en instituciones y
universidades de Colombia y México sobre
la intersección entre tecnología y
derechos humanos. En cuanto a nuestros
expertos, tenemos a Juan David
Gutiérrez. Es abogado javeriano con
maestras en derecho y economía de la
Universidad de Bol de Bolovna y Erasmus
de Rotterdam y es doctor en política
pública de la Universidad de Oxford.
Actualmente es profesor asociado a la
escuela de gobierno de la Universidad de
los Andes, donde investiga sobre
políticas públicas, gestión pública e
inteligencia artificial. Es experto de
la alianza global sobre inteligencia
artificial. lidera el proyecto sobre
repositorios de algoritmos públicos. Con
casi 20 años de experiencia ha asesorado
a gobiernos latinoamericanos,
organizaciones multilaterales como
UNESCO y el BT y entidades de la
sociedad civil. Y cierro con Santiago
Pardo Rodríguez. Él es abogado de la
Universidad de los Andes con maestría en
derecho. Complementa con una maestría en
ciencias del derecho, antropología y
sociedad de la Escuela de Economía y
Ciencias Políticas de Londres y una
maestría en ciencias del derecho de la
Universidad de Stanford. Se ha
desempeñado como magistrado auxiliar de
la Corte Constitucional destacando
redactando sentencias sobre derechos
fundamentales y trabajo de la
jurisdicción especial para la paz,
realizando estudios sobre tutelas.
cofundó el laboratorio de diseño para la
justicia de la Universidad de los Andes,
un espacio interdisciplinario entre las
facultades de derecho, diseño e
ingeniería y actualmente es defensor
delegado para los derechos digitales y
la libertad de expresión, donde lidera
eh iniciativas de protección de derechos
en entornos digitales y promueve el uso
ético de la inteligencia artificial en
el sector público. Ya teniendo claro
quiénes son nuestros magníficos
conferencistas, quiero que iniciemos
esta charla de uso responsable, seguro y
ético de la inteligencia artificial en
la administración de justicia con la
doctora y magistrada y coordinadora de
transformación digital de la rama
judicial, la doctora Diana Alexandra
Remolina Botico.
Bueno, muy buenos días. Gracias, Melisa,
por la presentación. Eh, muy buenos días
para todos los que nos acompañan en esta
sesión. Eh, primero que todo quisiera
saludar y agradecer especialmente a los
expertos de la red UNESCO Añeris y Juan
David que nos acompañan en este ciclo de
formación de inteligencia artificial en
la administración de justicia.
Igualmente, un saludo muy especial a
Santiago Pardo, defensor delegado de la
Protección de Derechos Humanos en
ambientes digitales y libertad de
expresión de la Defensoría del Pueblo,
eh entidad con la que venimos desde el
Consejo Superior de la Judicatura
articulando muchos esfuerzos en estas
materias. Eh, de nuevo a todos los
presentes en esta reesión virtual,
bienvenidos, bienvenidas.
Eh, esta es la segunda sesión de las 4
de este ciclo de formación en
inteligencia artificial, que es un
espacio académico que hemos venido
liderando eh eh en conjunto entre el
Consejo Superior de la Judicatura y la
UNESCO que busca generar ese
conocimiento en torno a este tema que
aunque estemos hablando tanto en todos
los escenarios, pues realmente sigue
siendo novedoso en nuestro ámbito en
concreto, que es el tema de la
inteligencia artificial.
En la primera sesión que tuvimos la
semana pasada, el viernes, se
inscribieron
2,392 personas y asistieron
efectivamente
1702, es decir, el
71% de los inscritos. Eh, lo que muestra
el interés que tiene la rama y el el
sector en estos temas de inteligencia
artificial. El 46% de esos asistentes
correspondió a participantes
provenientes de juzgados, de circuito,
municipales, administrativos, de
ejecución y de pequeñas causas. E y por
su parte tuvimos una participación
también de la academia muy destacada del
7.5% 5% de los asistentes. En cuanto a
las ciudades de conexión contaron con
mayor participación Bogotá, Medellín,
Barranquilla, Manizales, Bucaramanga,
Ibagué, Pereira, Pasto, Cali y Armenia.
Y en YouTube tuvimos 3,000 visitas de la
grabación y 800 personas se conectaron
en vivo en
simultáneo. Esa primera sesión está
disponible en el YouTube de la Escuela
Judicial Rodrigo Larailla.
Y en ella, para hacer un poquito de
contexto y de recorderis, esa sesión
estuvo dedicada al tema más básico del
entendimiento de estas tecnologías y lo
que está sucediendo alrededor de las
oportunidades de su uso en distintos
ámbitos, incluida por supuesto la
administración de justicia. y el
presidente, nuestro presidente del
Consejo Superior de la Judicatura, eh
nos contó acerca de cuál es esa
estrategia de inteligencia artificial en
la rama judicial en nuestro país y el
trabajo que venimos adelantando con la
UNESCO. Eh, él explicó muy bien cómo
esta estrategia está irradiada de unos
principios, de unos derechos, de unos
deberes para propiciar que el uso y
aprovechamiento de estas tecnologías se
haga de manera responsable, de manera
ética, de manera segura y respetuosa de
los derechos humanos. Y justamente sobre
estos principios es que vamos a hablar
en esta segunda sesión del ciclo de
formación. Entonces, para que entremos
en materia, vamos a decir que Colombia
es el primer país que adoptó las guías
de UNESCO para el uso de la inteligencia
artificial en poderes judiciales. Y eso
lo hicimos a través del reciente acuerdo
del 16 de diciembre del año pasado, el
acuerdo 12 eh
243, a través del cual adoptamos esos
lineamientos para el uso y
aprovechamiento de la inteligencia
artificial en la rama judicial. El
acuerdo tiene entonces solo 3 meses de
vigencia, pero vale la pena decir que en
el Consejo Superior de la Judicatura
llevamos trabajando con mucha intensidad
en este tema de la inteligencia
artificial desde finales del año 2023,
cuando el tema de la inteligencia
artificial empezó a tomar más fuerza en
todas las agendas del sector público.
momento también en el cual el gobierno
nacional empezó a hablar de lo mismo, de
una política nacional de inteligencia
artificial que más menos al tiempo
terminó con lo que con el COMPES, más o
menos al tiempo, digo, el acuerdo
nuestro eh terminó con el COMPES 414 que
se expidió en febrero de este año. Y por
supuesto, los servicios de
administración de justicia se han
visualizado con un gran potencial para
el uso de la inteligencia artificial,
pero por la naturaleza misma del
servicio también ha suscitado unas
reflexiones éticas y de garantías de
derecho por las las implicaciones que
pueda tener este estas tecnologías en el
acceso a la justicia, en el debido
proceso, en la igualdad, en la
protección de datos personales. y
sensibles y muchos otros derechos
asociados directamente a la
administración de justicia. Por eso es
que eh uno de los propósitos del Consejo
Superior de la Judicatura durante el año
2024 fue apostarle a construir la
estrategia que denominamos justicia LAP
en la rama judicial, que eh recoge
distintos propósitos de innovación en el
proceso de transformación digital que
estamos adelantando y que incluye, por
supuesto, a la inteligencia artificial.
Con estos esfuerzos y como lo iniciamos
hoy podemos decir con mucho orgullo que
la rama judicial en Colombia se ha
convertido en un referente de la región
por los avances que hemos tenido en esta
estrategia. eh eh que en lo que se
refiere a inteligencia artificial en
concreto gira alrededor de tres grandes
frentes. Primero, poder promover el
conocimiento y las capacidades en los
servidores judiciales en estos temas.
ciclos como estos o capacitaciones como
las que hicimos el año eh pasado
permiten que los servidores judiciales
estén familiarizados con el tema de la
inteligencia artificial, que sepan qué
es y qué no es la inteligencia
artificial, las potencialidades, los
riesgos que puede tener aplicarla en en
el desarrollo de los procesos
judiciales.
Y en sesiones como estas y como las
capacitaciones que hicimos el año pasado
y como las capacitaciones que esperamos
seguir adelantando, pues hemos
aprovechado mucho las alianzas con las
universidades, con la UNESCO y por
supuesto que estamos generando nuestras
propias capacidades para, como les digo,
promover el conocimiento y las
capacidades de los servidores
judiciales. En segundo
lugar, el otro gran frente de esta
estrategia es la experimentación y el
uso de soluciones basadas en
inteligencia artificial. E por qué?
Porque si queremos que la inteligencia
artificial tenga un impacto positivo en
los tiempos de los procesos, en el
trámite de los procesos, en el acceso a
la justicia, tenemos que empezar a
probar y a ver qué funciona y qué no
funciona para la rama judicial. Eh, y en
este punto específico de ensayar, hemos
trabajado de la mano con aliados como
Microsoft para para el uso institucional
del asistente de inteligencia artificial
Copilot y actualmente estamos trabajando
con jueces y magistrados en un
laboratorio de
experimentación con eh la herramienta de
asistencia jurídica Ariel.
Y en tercer lugar, nuestra tercera línea
de acción tiene que ver precisamente con
el marco eh regulatorio o los
lineamientos de uso responsable y seguro
de inteligencia artificial, que
seguramente hasta la fecha sea el
producto más importante en este frente
que es el acuerdo 12 243 del 16 de
diciembre de 2024. Los lineamientos que
se materializaron a través del acuerdo
fueron producto de un proceso muy
interesante de construcción
participativa con distintos actores
durante todo el año 2024 que lideramos
desde el Consejo Superior de la
Judicatura a través de de un equipo de
trabajo muy comprometido en estas en
estas en estos temas y en estas tareas y
tuvimos como referentes principales para
construir ese ese acuerdo
Por supuesto, la sentencia de la Corte
Constitucional, la
T323 de 2024, que sentó las primeras
pautas sobre el uso de herramientas de
inteligencia artificial generativa en
procesos judiciales. Además, también
tuvimos en cuenta, como lo decía al
principio, los estándares
internacionales, principios y guías de
la OGDE, de la UNESCO, la Comisión
Europea para la eficacia de la justicia,
que fueron unos referentes muy
importantes porque reflejan la visión no
solamente internacional, sino el enfoque
de derechos y garantías que es el que
queremos hacer prevalecer y en la
administración de justicia en Colombia.
Este acuerdo entonces, además de adoptar
principios tendientes a la aplicación de
buenas prácticas, a reflejar allí la
forma como el mismo acuerdo se construyó
de gobernanza colaborativa y la mejora
continua en la implementación de la
inteligencia artificial en la rama
judicial. Eh, además de eso, entonces,
eh incluyó principios orientados a la
primacía de los derechos fundamentales,
al control humano y la no sustitución de
la racionalidad. la transparencia y la
protección de los datos, que fueron los
elementos que más se resaltaron durante
el proceso de construcción de la norma.
Y a partir de ese enfoque y de esos
seguimientos, el acuerdo empieza a
desarrollar una serie de reglas,
deberes, de buenas prácticas para el uso
en concreto de la inteligencia
artificial en la actividad judicial. E
este acuerdo entonces eh en tanto se
dirige a la actividad
judicial, aplica de manera obligatoria a
los magistrados, a los jueces y a los
empleados de todas las
jurisdicciones y especialidades de de la
justicia, así como a los empleados del
orden administrativo de la rama
judicial, como somos nosotros en el
Consejo Superior de la Judicatura, en la
Dirección Ejecutiva de Administración
Judicial y en las en los consejos y
direcciones eh seccionales eh siendo
obligatorios para nosotros. El acuerdo
entonces plantea también que esos
requisitos en tanto esos principios en
tanto están orientando la actividad
judicial, también tendrán que servir de
orientación y referencia para los demás
actores que están involucrados en los
servicios de justicia, que eh son los
abogados, litigantes, entidades con
funciones jurisdiccionales, por ejemplo,
las superintendencias o la jurisdicción
especial para la paz que participaron
también los invitamos a participar en
las mesas de trabajo precisamente ente
porque son actores del sistema de
justicia y que eh obviamente al igual
que los jueces estaban esperando estos
lineamientos como referentes para
desarrollar las actividades en sus
propios ámbitos.
Eh, entonces entrando en concreto sobre
el contenido del acuerdo, el acuerdo
prevé una serie de deberes a cumplir por
los servidores judiciales que decidan
usar las herramientas de inteligencia
artificial para el cumplimiento de sus
funciones. Estos deberes están en línea
con lo dispuesto en la en la sentencia
eh de la Corte Constitucional. Eh, y se
definen estos deberes en relación con,
primero que todo, vamos a a a ubicarlo
en en tres grandes bloques. Primero,
analizar eh sobre sobre la idoneidad del
uso de la inteligencia artificial,
analizar si realmente usar la
inteligencia artificial es lo más idóneo
para apoyar determinada tarea o
actividad. Esto es lo que se denominó
como el desarrollo de la carga de
idoneidad. Hm. ¿Qué significa esto?
Entonces, es tener en cuenta que quizás
en algunas ocasiones eh la inteligencia
artificial generativa esté sobrevalorada
frente a otras herramientas que
seguramente más básicas, pero que aún
siendo más básicas, de pronto puedan
ayudar de mejor manera o de mejor de
manera más eficiente a resolver las
necesidades que tengan los servidores
judiciales. Por ejemplo, en temas de
automatizar flujos o tareas, a veces
algunas aplicaciones que ya tenemos en
nuestra su de Microsoft, que es la que
usa la rama judicial, eh, por ejemplo,
como Power Automate, puede podría
funcionar mejor y más rápido que hacer
todo un despliegue de una herramienta
compleja de inteligencia artificial. Eh,
y por eso estos cursos son importantes
en los ciclos en los ciclos posteriores.
Seguramente que vamos a a mostrarles hm
otras herramientas, eh explicar un
poquito herramientas de inteligencia
artificial y los mismos servidores
judiciales ya están empezando a conocer
cada vez más sobre esto. De tal manera
que eh el servidor judicial que quiera
usar oficial tiene que indagar y tiene
que informarse para ver cuál es la
herramienta más idónea para solventar su
problema e identificar si es o no es la
inteligencia artificial. Y ese análisis
sí que tiene que ver con el siguiente
bloque eh de principios que tiene que
ver o con el uso informado de las
herramientas de inteligencia artificial.
Es decir, que los servidores judiciales
y los usuarios y los abogados, como
decíamos, se informen sobre para qué
realmente sirve la herramienta y qué
limitaciones tienen frente a la tarea
que voy a a a atender. Por ejemplo, si
es una herramienta que tenga riesgos de
errores en sus resultados, pues habrá
que analizar si esa es una herramienta
que vale la pena usar o si de pronto la
puedo usar, pero las revisiones
posteriores que tengo que hacer son
complejas, son demoradas, eh de eh o
riesgosas en realidad con los
resultados. eh y entonces de pronto
decir que mejor descarto esa
herramienta, lo cual implica informarse
sobre qué es lo que la herramienta hace.
Eh, y normalmente las herramientas de
inteligencia artificial en sus términos
y condiciones de uso traen la
información sobre eso. Entonces, es muy
importante que el servidor judicial no
se deje llevar por salió esta nueva
herramienta y la empiece a usar, sino
que eh valore qué es lo que esa
herramienta puede servir, para qué le
puede servir, qué limitaciones tiene,
qué particularidades tiene antes de
empezar a usar en su actividad judicial.
Y en tercer lugar, eh una muy
importante, quizás la más diría yo, es
que eh se tiene que mantener el control
humano. Eso es lo que se está diciendo
en tantos escenarios y es que no podemos
sustituir la racionalidad humana con la
inteligencia artificial y eso se traduce
en que todo servidor judicial tiene que
contrastar y verificar la veracidad y la
suficiencia de los resultados que
obtenga por la herramienta de
inteligencia artificial generativa que
decida usar después de haber revisado si
es la mejor, después de haber revisado
cuáles son los riesgos y en cualquier
caso,
cuando produzca la inteligencia
artificial el resultado, eh el ser
humano tiene que validar lo que la
inteligencia artificial señaló. Eso
realmente en temas de justicia
seguramente que sea lo que más garantía
puede dar al ciudadano que acude al
sistema de justicia.
E para continuar, entonces, hm hay unos
condicionamientos muy importantes en el
acuerdo, algunos de los cuales sabemos
que han generado algunas controversias,
algunas inquietudes. Hay quienes dicen
que lo que pusimos en el acuerdo eh tal
vez no, pero nosotros al analizarlo y en
las mesas de trabajo en las que
construimos este acuerdo eh encontramos
que atendidos los fines que la la
justicia tiene que preservar eh y con
base en los avances en que nos
encontramos actualmente en la
tecnología, pues consideramos que lo que
se plasmó en el acuerdo es lo que por
ahora debería regir esta actividad. Sin
perjuicio, por supuesto, de que más
adelante eh pueda haber unas análisis,
unas consideraciones distintas que hagan
variar eh el acuerdo. Y esto es
importante porque el acuerdo no es una
letra eh eh muerta grabada en piedra,
sino que se tendrá que ir moviendo en la
medida en que la tecnología se mueva, en
la medida en que las realidades de la
justicia cambien. Eh, y sabemos que son
más rápidos, quizás nosotros más lentos,
pero eh por ahora lo que está planteado
en el acuerdo es lo que consideramos lo
más garantista y eh lo más eh cercano a
a al servicio de administración de
justicia. Entonces, ¿qué es eso? Por un
lado, eh establecimos que se debe evitar
el uso de chatbots generales o
comerciales de inteligencia artificial
en sus versiones gratuitas.
Eh, porque sabemos que hay versiones
licenciadas eh licenciadas o pagas que
pueden ofrecer unas mejores condiciones
de uso y de seguridad que las versiones
gratuitas. Entonces, en ese análisis que
los jueces y los y los servidores
judiciales tienen que hacer de las
herramientas, lo que el acuerdo dice es
trate de evitar los chatbots eh
comerciales gratuitos. Por otro lado,
establecimos que es importante
prescindir de herramientas de
inteligencia artificial que no permitan
conocer el origen o procesamiento de los
datos usados para su
entrenamiento. Eh, y en muchos
escenarios se nos ha dicho que eso es
imposible, que todos los sistemas, eso
la inteligencia artificial va
aprendiendo, que nunca vamos a poder
conocer el origen o procesamiento de los
datos. Pero también hemos oído expertos
diciéndonos que dado el el riesgo de
esta actividad, pues sí hay unos casos
de uso muy especiales, eh sobre todo los
que están ligados a los procesos de
decisiones en donde el origen y el
procesamiento de los datos eh pues es
importante para poderlo aplicar a esos
usos. Y ese fue el camino que seguimos
desde el Consejo Superior de la
Judicatura.
Eh, lo tercero es el deber de
abstenerse, de introducir datos
personales o información sensible o
confidencial, eh, cuando las
herramientas se apropien de esos datos
para compartirlos o reentrenar sus
modelos. E esto lo que lo que lo de lo
que nos está protegiendo es de de de ese
riesgo de que los datos de un expediente
judicial y de las personas que están
inmersas en un conflicto empiecen a
rodar por las redes. Y eso es un deber
muy importante que el servidor judicial
tiene que estar en la capacidad de eh
valorar. No es que me llegue a mí como
jueza, si yo fuera jueza, el expediente
y yo sin más monto todos los documentos
en en la inteligencia artificial y le
digo, "Bueno, con esto que me mandaron,
¿usted cómo me proyecta eh el
autoadmisorio de la demanda?" Y ahí
están las cédulas, los datos, datos
personales, direcciones, identificación
de menores eh de menores de edad, eh y
bueno, los datos de eh personales de
quienes están en el conflicto, de manera
que hay que ser muy cuidadosos. Eh, los
servidores judiciales tienen que ser muy
cuidadosos porque sí, la herramienta de
inteligencia artificial nos permite
muchas cosas, pero muy cuidadosos en
meter esas informaciones en los sistemas
eh de inteligencia artificial con todos
los datos. Eh eh y por supuesto que
nosotros estamos en en un ejercicio de
generar también herramientas de
anonimización, pero eh
eh eso eso está pasado también por el
control y por la responsabilidad que los
servidores judiciales tienen que tener
sobre la información personal de las de
las de las de quienes estén eh en un
conflicto y estén acudiendo a la rama
judicial para resolverlo.
Por otro lado, también en en el acuerdo,
en el artículo 8, se establecen unos
deberes de abstenerse, usar la
inteligencia artificial para temas eh
temas cruciales, diríamos que terminan
impactando la toma de decisiones de
fondo en el proceso judicial. Entonces,
¿qué quiere decir esto? Quiere decir que
no podemos utilizar la inteligencia
artificial para valorar las pruebas,
para realizar los juicios de valor y
para solucionar el problema jurídico del
asunto. Eh, porque pues eso está pegado
de de ese otro principio de sustituir la
racionalidad humana. Eh, y también la eh
esto es un una deber que tiene que está
muy bien eh tratado por la sentencia de
la Corte Constitucional y es que tampoco
se puede utilizar la inteligencia
artificial para motivar las decisiones,
para aplicar la normativa o para adoptar
las decisiones eh exclusivamente a
partir de las respuestas de la
inteligencia artificial.
Em, lo cual es evidente por todo lo que
les he dicho, ¿no? Luego es que se
regula se reguló también en el acuerdo
un tema fundamental relacionado con la
manera de materializar el principio de
transparencia. Es decir, que incluimos
el deber que tienen todos los servidores
judiciales de informar expresamente en
sus decisiones, en sus fallos, en sus
autos que están usando o que hicieron
uso de la inteligencia artificial
generativa. Esto obviamente que fue muy
debatido en las mesas de trabajo con los
servidores judiciales, quien quien
quienes argumentaban que había que tener
un poquito de equilibrio, que eso era
muy eh muy exigente eh poner que yo usé
la inteligencia artificial para hacer un
resumen o que usé la inteligencia
artificial para buscar una
jurisprudencia, bueno, para lo que
fuera. Eh, y que no se justificaba que
cualquier uso eventual de la
inteligencia artificial tuviera que
manifestarse expresamente en la
decisión.
Eh, de manera que con todas las
discusiones que tuvimos
finalmente el criterio que se fijó en el
acuerdo fue que el deber de
transparencia aplica en especial cuando
se trate de actividades que terminan
impactando y reflejándose en los
procesos de adopción y emisión de
decisiones
sustanciales. Entonces, eso qué es, y
permítanme lo coloquial, ¿eso cómo se
come? Lo que pusimos en el acuerdo
fueron esas actividades chiquitas que
materializan ese eh deber de
transparencia para eh para tranquilidad
de de la ciudadanía, de los usuarios y
para cumplir con las orientaciones que
nos daba la Corte en la sentencia 323.
Entonces tienen que hacer tienen los
servidores judiciales tienen que hacer
eh explícito en el expediente, en la
carpeta, en la actuación, en el
documento, en la decisión, etcétera, lo
siguiente. El nombre de la herramienta
usada, modelo y empresa proveedora, la
fecha en que fue usada la herramienta,
eso tiene que ver con las distintas
versiones que van saliendo
constantemente, entonces incluir la
fecha en que fue usada. eh manifestar
que leyeron, entendieron y aceptaron los
términos y condiciones de uso, que al
final concreta el el principio que les
señalaba atrás de eh hacer un uso
informado de las herramientas,
manifestar para qué fue empleada y cómo
fue usada la herramienta eh eh y los
prompts o las instrucciones que le
dieron, se le dio a la inteligencia
artificial para eh para el caso en
concreto. Y finalmente, identificar
mediante comillas, negrillas, cualquier
sistema que nos permita identificar
claramente cuáles fueron los resultados
o los productos de la inteligencia
artificial que se reprodujeron o
transcribieron en la decisión o en la
actuación, justamente para no hacer
pasar como de autoría propia los textos
elaborados por eh eh las herramientas de
inteligencia artificial eh
generativa. Entonces, en el marco de
esos principios, de esos deberes o
prohibiciones, como lo quiera ver, el
acuerdo eh establece, llamémoslo de
alguna manera, una categorización de los
usos posibles de herramientas de
inteligencia artificial por parte de los
servidores judiciales, jueces y
empleados en el cumplimiento de sus
labores. Y no quisiera profundizar mucho
en esto porque justamente la sesión
siguiente de este ciclo que es el 11 de
abril tratará expresamente sobre los
casos de uso. manera que los invitamos a
que no se pierdan porque se va vamos a
detallar mucho más cuáles son los casos
de uso de la inteligencia artificial,
pero solo como a manera de abrebocas
habría que decir que el acuerdo prevé
una primera categoría de usos muy
operativos, muy administrativos,
digamos, los más los más eh sí
operativos es la expresión correcta. una
segunda categoría que va más allá de la
de ese apoyo puramente administrativo y
que incursiona en unos aspectos más
ligados a la gestión misma del proceso
judicial y que en consecuencia demandan
una mayor atención y una mayor eh
revisión por parte del servidor
judicial. y una tercera categoría de
usos de la inteligencia artificial, eh,
que es la que exige mayor rigor de
transparencia, mayor responsabilidad eh
y muchísimo más eh ojo por parte de los
servidores judiciales eh que tiene que
ver
hiciones de fondo en los procesos
judiciales.
El resto del acuerdo del acuerdo del
consejo se dedica a establecer unas
directrices para implementar proyectos
institucionales más transversales en la
rama judicial que se basen en
inteligencia artificial. Porque como
decíamos incorporar en otros escenarios
decíamos que incorporar la inteligencia
artificial a la rama judicial exige,
digamos, una transformación muy grande
de los procesos, de las herramientas, de
la manera como estamos pensando. Y
seguramente eso sean aspectos muchísimo
más técnicos de los que de los que no
voy a hablar hoy, porque también tenemos
una sesión, la última, la del 25 de
abril, en la que vamos a hablar sobre
ese modelo de gestión de los proyectos y
de soluciones de inteligencia artificial
en la rama judicial con un enfoque de
innovación, proceso que es liderado todo
por la unidad de transformación digital
eh e informática del Consejo Superior de
la Judicatura, que al final es la unidad
a la que le encargamos la tarea de
articular de coordinar y de hacer
seguimiento a todo este tipo de
proyectos
institucionales. Eh, y eso justamente lo
hacemos para poder asegurar un proceso
uniforme en toda la rama judicial, que
se basa en buenas prácticas, que
aproveche las alianzas estratégicas que
estamos movilizando con distintos
actores y sobre todo para que podamos
cumplir con todas estas directrices para
el uso de las herramientas de
inteligencia artificial. En todo caso,
eh el acuerdo que estamos mirando es eh
ese primer instrumento de gobernanza de
la inteligencia artificial en la rama
judicial, que como les decía al
principio, eh está en constante proceso
de mejoramiento. Estamos reflexionando
cada vez más sobre en esos escenarios.
Los expertos nos hacen eh unas unas
reflexiones que estamos valorando, que
seguimos discutiendo eh porque sabemos
que estos temas son evolutivos, no se
quedan ahí y como les digo, la
tecnología va muchísimo más rápido que
nosotros, de manera que eh eh este
primer acuerdo eh siempre será posible
eh mejorarlo eh y estar más más a tono
con lo que se vaya eh discutiendo en el
mundo y en Colombia sobre el tema de la
inteligencia. artificial. Entonces, eh
dejo hasta acá mi intervención para
darle paso a Juan David, Juan David
Gutiérrez, que que nos ha acompañado de
manera muy cercana en este proceso en la
rama judicial. Gracias, Juan David. Eh,
y él nos va a
profundizar los elementos sobre la guía
de inteligencia artificial para poderes
judiciales de la UNESCO y nos va a hacer
una reflexión sobre la estrategia y los
lineamientos de uso de la inteligencia
artificial en la rama judicial
colombiana. Juan David, muchísimas
gracias y muchas gracias a todos los que
están conectados de nuevo.
Bueno, muy muy buenos días,
doctora Diana. Muchas gracias. Como
usted bien lo ha dicho, le vamos a dar
paso al Dr. Juan David Gutiérrez. Él es
profesor de la Universidad de los Andes
y él nos va a hablar todo lo que tiene
que ver con las guías recientes que la
UNESCO ha puesto sobre el uso ético de
la inteligencia artificial. De esta
manera le doy paso al Dr. Juan David.
Adelante. Muchas gracias. Ahora sí,
buenos buenos días para todos, todas.
Qué gusto estar acá. Muchas gracias,
doctora Remolina, por esta invitación.
Muchas gracias a todo el Consejo
Superior de la Judicatura por hacer
posible no solo este evento, sino todos
los demás que ya se han realizado y los
que vienen. Es es muy importante este
ejercicio
de esparcir la voz, esparcir la voz
sobre cuáles son las utilidades de estas
herramientas en la administración de
justicia, pero también cuáles son sus
limitaciones, cuáles son los cuidados
que hay que tener. Yo creo que no
debemos escatimar esfuerzos para para
hacer ese trabajo porque realmente así
como la tecnología va muy rápido,
nosotros no necesariamente tan
rápidamente nos hemos ido familiarizando
y es muy importante tanto para maximizar
todos los beneficios que pueden tener
estas herramientas como para prevenir
daños. Las herramientas tecnológicas,
sobre todo si son muy poderosas, pues
deben tener esa doble visión de cuáles
son los beneficios y cuáles son los
efectos que queremos
prevenir. Y bueno, yo precisamente
quiero compartirles eh un poquito sobre
el proceso de la las directrices de la
UNESCO sobre uso de inteligencia
artificial por parte de jueces y
tribunales. Yo estoy compartiendo ptaña,
me imagino que en este momento ya la
están viendo y e voy a contarles primero
sobre las directrices mismas y luego
vamos a hablar sobre el uso de sistemas
de inteligencia artificial en la rama
judicial en América del Caribe. Quiero
contarles un poquito sobre eso y al
final cierro con lo que nos contaba la
doctora Remolina de una reflexión sobre
este acuerdo eh que adoptó la justicia
colombiana a finales del año pasado.
También he estado revisando los
comentarios que veo en YouTube. Veo que
en este momento hay casi 700 personas
conectadas. He visto todo tipo de
comentarios. Yo creo que alcanzar a
reaccionar algunos precisamente para
poder hacer como más interesante mi
charla. Entonces, bueno, primera tema,
los sistemas de inteligencia artificial
se pueden usar para muchas cosas. Por
aquí alguien en el chat decía, "No, pero
la si solo se va a usar para redactar
sentencias no sirve."
Bueno, la verdad es que los sistemas de
inteligencia artificial, como pueden ver
ustedes en las diapositivas que que
espero les compartan, e realmente se
pueden usar para diferentes etapas de eh
el ciclo de la administración de
justicia, tanto en la gestión como en en
incluso etapas ya de
escritura. Por aquí en el en el en en
YouTube están diciendo que no se ve la
pantalla. Alguien que me ayude porque yo
sé que estoy compartiendo pantalla por
la aplicación. Nosotros estamos usando
una aplicación, pero por algún motivo no
lo están viendo. Bueno, e sigo.
Entonces, el el el punto central es
muchas muchas eh
funciones. Ciertamente no todos es
chatbots. Puede que todos tengamos la
posibilidad de acceder a un chatbot en
nuestro celular, en nuestro computador y
además son herramientas que tienen
versiones gratuitas, pero realmente hay
muchas funcionalidades. Algunas de esas
funcionalidades dependen de que el
usuario o la organización de la que hace
parte pues adquiera licencias. Por eso
yo vi que algunos de ustedes
preguntaban, bueno, y pero vamos a tener
herramientas adicionales o cómo podemos
acceder. Bueno, lo que ha hecho muchas
de las jurisdicciones alrededor del
mundo, incluida la rama judicial
colombiana, como lo vamos a hablar, es
desarrollar sus propias herramientas.
desarrollar herramientas propias que
precisamente eh estén a la mano de todos
o la mayoría de los servidores
judiciales. Ahora sí, afortunadamente,
están viendo las diapositivas. Muchas
gracias. Entonces, aquí están viendo
este listado de nueve diferentes tipos
de tareas que se pueden hacer con los
herramientas de inteligencia artificial,
que ni es solo redactar sentencias ni
mucho menos, sino que son muchas tareas.
Bueno, sigo adelante. Eh, las
directrices de la UNESCO parten de un
trabajo de muchos años de la UNESCO.
hace muchos años que la UNESCO tiene un
programa de inteligencia artificial y
estado derecho y hay eh digamos esto
incluso de la creación de un curso
masivo en línea en los que por el que
han pasado miles y miles de personas de
de todo el mundo entrenándose en
aspectos básicos sobre inteligencia
artificial para la administración de
justicia en el contexto de los estados
de derecho. De hecho, son cursos
gratuitos, eh están disponibles en
diferentes idiomas. Si entran a la
UNESCO pueden buscar en qué momento se
pueden enrolar en estos cursos.
Y también viene un trabajo previo de la
UNESCO con jueces y operadores
judiciales de todo el mundo en la
fortale fortalecimiento de la rama
judicial eh en las diferentes países y
continentes. Y en la Universidad de los
Andes tuvimos el gusto de trabajar con
la UNESCO para hacer una primera
encuesta global sobre uso de
inteligencia artificial por operadores
judiciales para tener una idea de cómo
lo jueces y servidores judiciales, sino
también abogadas y abogadas estaban
usando herramientas de inteligencia
artificial, cómo lo estaban utilizando,
cuáles eran las barreras, cuáles eran
las percepciones que tenían sobre los
riesgos y demás asociados al uso de este
tipo de herramientas en la justicia. Y e
eso nos dio ideas sobre pues realmente
en dónde teníamos que trabajar para
construir unas directrices para darle un
buen uso a estas herramientas. Les voy a
dar un ejemplo, un ejemplo muy sencillo.
En la encuesta salió que uno de los usos
más comunes que los operadores
judiciales le dan a los chatbots de
inteligencia artificiales es buscar
información y muchas veces buscar, por
ejemplo, jurisprudencia o
normas. Y ese es un uso que realmente no
es muy bueno. Eh, ¿en qué sentido? en
que por lo menos los chatbots
comerciales cuando ustedes les piden
información sobre jurisprudencia o sobre
normas hay una alta probabilidad de que
la respuesta sea incorrecta. De hecho,
eh hay un caso en Brasil eh tristemente
célebre de un juez que copió y pegó
respuestas de chat piti sobre
jurisprudencia brasilera y resulta que
toda la jurisprudencia era inexistente,
era una fabulación, era un invento,
entre comillas, porque no es que el
chatbota, quisiera engañar al juez, el
juez simplemente no hizo la tarea de
verificar que la respuesta de Chargpt
realmente estuviera soportada en la
realidad. y el juez copió y pegó en su
sentencia eh toda esta jurisprudencia,
inexistencia, gravísimo, ¿verdad? Muy
grave. que nosotros no queremos que eso
pase. Entonces, una de las una de las
tantas recomendaciones que aparece en
estas directives de la UNEDCU es, bueno,
si usted va a usar inteligencia
artificial generativa, tiene un deber
siempre de verificar que la respuesta
que encontró sea contrastada con otras
fuentes que sean fiables. Usted no puede
dar por sentado que si le responde sobre
x jurisprudencia o x norma esté bien.
También ha habido muchos casos en donde
no responde con jurisprudencia
inexistencia inexistente, pero alguien
de Colombia le pregunta por
jurisprudencia de la Corte Suprema
Colombiana y el chatbot mezcla
jurisprudencia de otros países, de
México, de Perú, de Argentina y le
termina entregando información que
parece muy razonable y que y que
realmente viene de jurisprudencia de
normas de otros países. Yo he visto ese
mismo
ejemplo
en innumerables jurisdicciones, o sea,
he visto ejemplos en España, en Bolivia,
en Brasil, como les decía antes, he
visto ejemplos en Estados
Unidos, nadie está libre de eso porque
pues eh en particular eh los las
sistemas de inteligencia artificial
generativa eh tienen esa característica,
particularmente los modelos comerciales
eh que todos pueden acceder eh
gratuitamente. Entonces, eh fíjense que
pues era muy importante haber partido de
tratar de entender cómo la gente estaba
usando los sistemas para luego poder dar
recomendaciones. Entonces, todo este
bagaje de la UNESCO eh nos llevó primero
a plantear unos principios muy básicos
que eh son tanto para las organizaciones
que que se encargan de la gobernanza de
la rama judicial como de las de los
servidores judiciales mismos. Acá hay un
punto muy importante y es que eh los
retos asociados al al uso responsable,
ético y protector de los derechos
fundamentales no son solo para la
persona, no son solo para el juez, no
son solo para el servidor judicial, son
para la organización misma. La
organización misma tiene que hacer cosas
que los individuos no pueden hacer.
ejemplo, poner a disposición de los
jueces eh y y servidores judiciales
herramientas, pues es algo que solo
puede hacer la organización, ¿verdad? No
lo va a hacer eh nadie más. Y por eso
nosotros dijimos, pues necesitamos unos
principios para las organizaciones y
luego también necesitamos unos
principios para los usuarios, para las
personas. Entonces, para las
organizaciones decíamos, miren, si
ustedes van a incorporar herramientas de
inteligencia artificial, asegúrense de
que esas herramientas sean protectoras
de los derechos fundamentales, porque
ustedes tienen una función pública y
tienen un deber acentuado de respeto,
protección y promoción de los derechos
fundamentales en diferentes asuntos.
Ustedes eh ahí están viendo eh cuatro eh
dimensiones, equidad, no discriminación,
deo proceso, protección de datos
personales, que son derechos
fundamentales que están en juego en
prácticamente cualquier proceso
judicial. Todos están en juego. Eh, y
les voy a dar un ejemplo. Si se
organización rama judicial, si usted va
a adoptar una herramienta, usted tiene
que asegurarse de que esa herramienta eh
no ponga en riesgo la confidencialidad
de la información, que no ponga en
riesgo que si una persona introduce
información del proceso que es
confidencial, pues que quede eh abierta
a que cualquiera la pueda lo eh eh
acceder sin autorización.
Y eso eso evidentemente puede pasar
cuando si ustedes usan un chatbot
gratuito. Si ustedes usan un chatbot
gratuito y revisan los términos y
condiciones, esos chatbots, ustedes van
a encontrar que esos chatbots dicen que
cualquier información que ustedes
introduzcan en la instrucción para el
chatbot va a ser reutilizada por la
empresa para reentrenar el modelo.
Entonces, el día de mañana va a haber
terceros que van a poder acceder a la
información. Si ustedes introducen
información confidencial o personal,
pues están poniendo en riesgo eh uno de
los niveles más importantes en el
proceso. Entonces, claro, eso como
acaban de darse de cuenta, hay un deber
del usuario de eh no incluir información
personal o confidencial cuando escribe
una instrucción en el chatbot, pero al
mismo tiempo hay un deber de la rama
judicial que si le va a dar determinadas
herramientas a sus funcionarios, pues
que tengan unos niveles de protección.
Otro principio, que haya una
proporcionalidad entre los fines y los
medios eh usados. Aquí hay una eh
decisión que tiene que tomar cada
jurisdicción. Les voy a dar un ejemplo
eh que tiene que ver un poquito menos
con justicia y un poquito más con la
etapa previa, digamos, de investigación
y digamos de de policía y es el uso de
cámaras para hacer videovigilancia con
reconocimiento facial en tiempo real.
Hay lugares del mundo eh como China,
Rusia, incluso el Reino Unido de Estados
Unidos, en donde está masificado el uso
de este tipo de videovigilancia con
reconocimiento facial. Eh, y eso pues
implica el uso de sistemas de
inteligencia artificial. Y hay otros
lugares como en la Unión Europea donde
se prohibió, donde la ley de
inteligencia artificial de la Unión
Europea dice, "No, nosotros no queremos
un estado que sea capaz de en lugares
públicos y en tiempo real vigilar todo
el tiempo quién es quién y con quién
está y en dónde está caminando y y y que
tenga esa nivel de vigilancia. Son
decisiones democráticas, son decisiones
de qué tipo de estado y qué tipo de
relación ciudadano estado quieren tener.
Entonces, nosotros hacemos una reflexión
de hagan una ponderación de
proporcionalidad de los medios que están
usando con los fines a los que quieren
llegar con el uso de de las
herramientas. Bueno, ustedes pueden ver
que hay eh toda una lista de principios.
Yo no tengo la casi hora que necesitaría
para explicarlos uno por uno, eh, pero
como pueden ver, eh, la exposición que
hizo la doctora Remolina está muy en
línea, precisamente con muchos de estas
necesidades que nosotros identificamos
en relación con la organización y
también teníamos unos eh principios ya
persados en en en las personas y
comenzamos con la misma idea de siempre
piensa en términos de cómo proteger los
derechos personales, los derechos
fundamentales de las personas cuando
usar estas herramientas. Segundo, algo
que reclarcaba la doctora Remolina, si
usted va a hacer uso de una herramienta,
hágalo informadamente. Es decir, no use
una herramienta para algo que tenga
impacto en los demás si usted no conoce
la herramienta, si usted no sabe cómo
funciona, si usted no sabe cuáles son
las implicaciones, así como usted no le
pediría a una persona que no sepa
manejar una tractomula que la maneje y
lleve algo de un lugar a otro, ¿verdad?
No, ustedes no harían eso porque eso
sería muy peligroso. Bueno, lo mismo es
aquí. Aprendan a usar la máquina antes
de de usarla en entornos reales, en
entornos donde hay implicaciones para
terceros. el uso transparente. Yo por
aquí veía un comentario que decía, "No,
ese ese artículo 10 del acuerdo que
establece que los las personas que usen
esto para tomar eh decisiones o para
decisiones sustantivas eh deben ser
transparentes el que el uso y por aquí
en el chat nos decían en el chat de de
eh de YouTube decían, "No, entonces la
gente no lo va a usar, no va a usar las
herramientas o va a usarlas y va a decir
mentiras." Entonces, pues eso es muy eh
es un poquito preocupante
porque la los ciudadanos tenemos derecho
a saber cuando se usen sistemas de
decisión automatizada que puedan
implicar afectaciones para nuestras
vidas. Entonces, por ejemplo, si ustedes
usar una herramienta que para desgracia
de ustedes y de los terceros tiene
sesgos y la herramienta está sesgada
porque la base de datos con la cual fue
entrenada está incompleta, está
desbalanceada y por lo tanto cuando
ustedes la le solicitan eh realizar una
función, la función va a ser sesgada
hacia algún lado, eh pues ustedes pueden
incurrir un problema de discriminar
sistemáticamente a personas por cuenta
de eso. ¿Será que ustedes no van a no
van a querer informarle a las personas
cómo fue que llegaron a tomar una
decisión usando estas herramientas? No.
La verdad es que los ciudadanos tenemos
un derecho que se llama el derecho de
acceso a información pública y además
tenemos derecho al debido proceso. ¿Y
cómo nos vamos a defender si no sabemos
que ustedes usen una herramienta que los
llevó a tomar determinada decisión?
Entonces, pues si debe haber un uso
transparente y si el uso de las
herramientas legítimo es adecuado, ¿cuál
es el problema? No hay ningún problema,
¿eh? No, que me toca poner un pie de
página. Bueno, pongamos un pie de
página, no pasa nada. Yo ya he visto que
hay muchos que a partir de la sentencia
T323 del 2024, antes de que hubiera
salido el acuerdo, ya estaban haciendo
ese ejercicio un pie de página. Utilicé
este chatbot para eh hacer que el
lenguaje fuera más accesible. Magnífico.
Eso ayuda con el acceso a la justicia,
que la gente pueda leer y entender
mejor. Buenísimo. Entonces, la
transparencia sí es muy importante. La
supervivión humana, que también la
recalcó la doctora Diana Ramulena, jamás
que el sistema de inteligencia
artificial tenga la última palabra sin
que nosotros podamos valorar el
resultado, si el resultado realmente se
ajusta a lo que queremos, porque estas
máquinas no son infalibles. Las personas
que desarrollan estos sistemas,
particularmente los modelos de
aprendizaje automático, les van a contar
que su día a día es refinar la
herramienta en su error, porque tiene un
error, siempre tiene un un porcentaje de
error y todos los días se dedican a
tratar de bajar ese porcentaje de error,
pero las herramientas nunca va a llegar
al 100% de infalibilidad y por eso
siempre va a haber supervisión humana. Y
por último, hay que hacerse responsable.
Hay que hacerse responsable de uno cómo
uso la herramienta, ¿verdad? No, el día
de mañana uno puede decir, "Ah, no, es
que fue chat GPT el que sacó esa
respuesta y pues el culpable chat GPT."
No, el culpable no es GPT. Chat GPT es
una cosa, el culpable es el usuario en
ese caso, que de pronto no verificó que
las respuestas realmente fueran
correctas, acertadas, precisas. Eh, y en
ese sentido el usuario pues se tendrá
que ser responsable de de cómo usa los
sistemas. Entonces, a mí yo creo que se
me está acabando el tiempo, pero yo
quiero pues recalcar que pues que sí es
un hito muy importante para la justicia
colombiana haber eh alcanzado este
acuerdo sobre el buen uso de estas
herramientas. Como lo dice la actora Ra
Molina, es un documento vivo. Y lo mismo
ocurre con las directrices de la UNESCO,
lo mismo, exactamente lo mismo ocurre
con las directrices de la UNESCO, porque
a medida que va avanzando la tecnología,
también va a ser necesario hacer algunos
ajustes eh en las reglas y puede que
algunas cosas se vuelvan más estrictas o
algunas cosas se vuelvan más flexibles
dado de la base de la tecnología. Eh, y
eh realmente pues Colombia eh lidera
este punto al eh y es pionero y y es
ejemplo para muchos otros países de la
región. En este momento eh me consta
porque estamos trabajando a través de la
UNESCO con ellos. Hay otros países como
Paraguay, como Uruguay que están
empezando precisamente a recorrer este
camino. Y su primera pregunta es, ¿cómo
lo hizo Colombia? ¿Cómo lo hizo
Colombia? porque eh las directrices de
la UNESCO eh pues son muy completas y
tratan de ser muy detalladas, pero esas
directrices no buscan reemplazar que
cada jurisdicción haga su tarea de eh
tener unas directrices propias que
estén, digamos, completamente que que
reflejen su contexto, que reflejen sus
realidades, digamos, institucionales,
culturales, de capacidad tecnológica, de
talento humano. Y como decía la doctora
Remolina, pues el caso colombiano es muy
interesante porque hubo una
participación de de digamos de muchas
partes, no solo de la rama judicial y de
hecho no solo del Estado colombiano,
sino hubo digamos eh mesas de trabajo
multiactor, hubo talleres eh y realmente
creo que es un ejemplo muy positivo para
mostrar, es un motivo para, creo yo,
para estar orgullosos. Una última, una
última cuña y es información. Si ustedes
tienen curiosidad, usted qui saber,
oiga, ¿cómo encuentro información sobre
cómo se usan los sistemas de
inteligencia artificial en
administración de justicia alrededor del
mundo? Entonces, hay dos bases de datos
que quiero contarles rápidamente. Una es
esta de la Unión Europea, que eh es de
la Unión Europea, pero realmente mapea
más de 100 sistemas usados en diferentes
países del mundo. Pero resulta que en la
Universidad de los Andes el 18 de marzo
lanzamos una base de datos
latinoamericana, una base de datos en
donde está información sobre todos los
sistemas de inteligencia artificial que
usa se usa en el sector público de
América Latina y del Caribe. Aquí está
eh el link de la página web
sistemaspúblicos. Ustedes entran en
repositorios, hay un repositorio que es
particularmente sobre sistemas. Aquí
está. Ustedes entran y ustedes pueden
filtrar por diferentes variables. Aquí,
por ejemplo, yo les estoy mostrando una
foto en donde yo filtré por eh que el
sistema estuviera en la rama judicial y
me salen 50 eh 52 sistemas de
inteligencia artificial adoptados por
diferentes países de la rama judicial.
El país que más sistemas tiene es
Brasil. Brasil realmente es es pionero
en esto. Eh, pero pues creo que es
interesante para que ustedes lo mire,
para que ustedes también empiecen a
imaginarse el día de mañana la Ramón
Judicial Colombiana que podría
desarrollar internamente. Todos son
todos estos sistemas son eh
desarrollados internamente por la por la
respectiva organización de la rama
judicial de lo digamos el equivalente
del Consejo Superior de la Judicatura.
Eh, y eh de pronto le puedo pedir al al
equipo del Consejo Superior si les
pueden compartir e el link que por ahí
lo lo tienen ustedes eh para que la
gente pueda por su cuenta en algún
momento entrar y curiosear estos más de
50 sistemas de inteligencia artificial
eh que cumplen con todo tipo de tareas
en Argentina, Brasil, Chile, Colombia,
México, Uruguay e y que esperamos
también en Colombia se diversifique
mucho más el uso eh gracias precisamente
a los planes que tienen consol superior
de la catatura y con eso termino. Les
agradezco mucho, mucho, mucho por este
espacio. Juan David, pues realmente
muchas gracias por eh tan importante
presentación. Nos ha ilustrado muchísimo
el enlace que usted acaba de presentar
en la presentación, valga la
redundancia, lo acabamos de repostear en
los chats tanto de YouTube como en el de
la escuela. Eh, acá es importante eh
informarle a los servidores judiciales
de la rama judicial que este link lo
podrán ver a través de sus dispositivos
personales porque los institucionales,
como ustedes saben, por normas de
seguridad no podemos acceder a todos los
portales. Entonces, por favor,
guárdenlo, ustedes van a poder hacer uso
de este link a través de eh eh
dispositivos personales. Bueno, de esta
manera doy paso a nuestra siguiente
conferencista, quien es Agneri Saniel,
que nos presentará un análisis de la
evolución de Colombia en materia de
inteligencia artificial judicial y su
relación con los antecedentes
internacionales, destacando el liderazgo
colombiano en América Latina y la
diferenciación de su modelo basado en
derechos frente a lo europeo basado en
riesgo. Adelante, doctora Agneris.
Muchísimas gracias por la invitación. Es
para mí un honor estar aquí con ustedes,
compartir eh panel con personas tan
conocedoras de de este tema. Eh, también
buenas tardes, buenos días, buenas
noches, eh donde quiera que que nos
estén escuchando. Mi nombre, como ya
bien me presentaron, es Agneris Senieri
y vamos a hablar de lo que Colombia
tiene que ofrecer para el resto del
mundo. Muchas veces hemos escuchado
alrededor de estos debates el impacto
que tiene la Unión
Europea en consecuencia a su regulación
en materia de inteligencia artificial y
muchas otras que no son materia para
esta charla. Pero estos enfoques
regulatorios sirven muchas veces como
inspiración y sin embargo están muy
alejados de las realidades y de los
contextos específicos de cada uno de los
países, concretamente de América Latina
y más específico de Colombia. La Unión
Europea no es la única que tiene un
enfoque regulatorio. También existen
países como China cuyos enfoques
regulatorios son excesivamente
intrusivos. con la privacidad de las
personas e imponen una carga de
obligaciones a las empresas que se
encargan de proveer este tipo de
servicios para el gobierno chino.
Entonces, muchas veces, incluso cuando
estamos constantemente escuchando de
nuevas herramientas que utilizan modelos
de inteligencia artificial, por ejemplo,
el caso de
Deepstick, en paralelo escuchamos
preocupaciones sobre la seguridad de
estos sistemas y lo que implica
utilizarlos debido a eh
esta falta de protección con los datos
personales y la excesiva intromisión por
parte del gobierno. Por otra parte,
también tenemos el enfoque regulatorio
de Estados Unidos. Este enfoque
regulatorio muchas veces consiste en una
libertad casi que absoluta para que los
sistemas y las empresas que desarrollan
estos sistemas cuenten con un amplio
margen de acción que les permita esto
que constantemente estamos escuchando,
innovación. De hecho, no es casualidad
que también escuchemos constantemente a
grandes empresas de tecnología diciendo
que el exceso de regulación es
contraproducente para la innovación.
Desafortunadamente, innovación muchas
veces es innovación para las empresas
que están en Silicon Valley y no tanto
para las propias empresas o los propios
proyectos que se desarrollen a nivel
nacional en otras latitudes del mundo.
Un cuarto enfoque regulatorio son muchas
veces los principios no vinculantes que
surgen a través de organismos
internacionales como lo son la UNESCO.
En este caso, la UNESCO ha resaltado un
esfuerzo constante para promover
principios, lineamientos que permitan
abordar estas discusiones en materia de
tecnologías emergentes y derecho.
Concretamente las directrices de la
UNESCO para el uso de Sistemas de
Inteligencia artificial en juzgados y
tribunales es materia de discusión el
día de hoy que que es sumamente
interesante y más allá de eso también
existen otros esfuerzos por parte de la
UNESCO en muchos otros temas.
A grandes rasgos, este es el panorama
internacional al que las personas nos
vemos constantemente expuestas en medio
de estos debates, que si la Unión
Europea, que si China, que si Estados
Unidos, que si una nueva eh regulación,
lineamientos de la de la OCD, de la
UNESCO. Entonces, están pasando muchas
cosas al mismo tiempo y es difícil que
podamos centrar nuestra atención en una
discusión y desafortunadamente en
América Latina nos vemos presionados de
estos enfoques regulatorios. Hay muchos
países que eh por alguna razón creen que
los debates que se llevan a cabo en la
Unión Europea pueden llegar a ser los
más adecuados para replicar en sus
países. Y hay otros países como el caso
de México en los cuales la proximidad
con Estados Unidos hace sumamente
desafiante poder avanzar en estas
discusiones regulatorias de una forma
seria, por llamarlo de alguna manera.
Como lo comentábamos hace un
instante, el problema que hay alrededor
de China es la cuestión de de seguridad
y como las empresas que desarrollan este
tipo de
tecnologías y también algunas otras
están sujetas a obligaciones de
responder frente al Estado a las
intromisiones de los datos personales o
de los datos que están siendo tratados,
pero también hay cuestiones de seguridad
en sí mismas que los vuelven
herramientas que a lo mejor no son las
mejores de utilizar. Eh, está esta nota
de Wired cual hablan de cómo fue fácil
meter un prompt o meter un texto para
poder generar o para poder tener
información que puede ser especialmente
dañina o maliciosa. por ejemplo,
instrucciones para conocer cómo se
fabrica o se imprime un arma a través de
impresoras 3D, lo cual puede ser
sumamente peligroso, pero también es muy
peligroso el hecho de que sea tan fácil
burlar este tipo de sistemas.
Por otra parte, lo que comentábamos de
Estados Unidos, Estados Unidos tiene
muchísimo este enfoque de no regular
para permitir el crecimiento, para
permitir la implementación de las
tecnologías de sus empresas. Y
recientemente el presidente, el
expresidente de Estados Unidos, eh
Biden, había sacado una orden ejecutiva
para el desarrollo y uso seguro y
confiable de la inteligencia artificial
en Estados Unidos. que si bien no era
una regulación en sí misma, eran estos
pequeños pasos para crear un consenso
sobre cómo tiene que usarse de forma
segura este tipo de herramientas y por
el contrario, en cuanto toma eh eh
protesta el presid el actual presidente
Donald Trump,
bueno, remueve esta esta orden ejecutiva
y dice, "No más barreras para las
empresas de tecnología." ¿Qué es lo que
está pasando con esto? Muchas veces
creemos que este tipo de tecnologías son
más neutras, más
independientes, no crean juicios de
valor y que por consecuencia pueden
llegar a garantizar un mejor uso cuando
estamos hablando del
uso en los órganos de justicia. Sin
embargo, ya se mencionaba con
anterioridad, el uso de los datos de
entrenamiento es clave para este tipo de
herramientas y para este tipo de
sistemas. Y el hecho de que
constantemente se esté haciendo un lobby
de que este tipo de información no se
puede proporcionar,
también eh rayan o limítrofe de no ser
necesariamente ciertos. Y es aquí cuando
nos tenemos que dar cuenta que la
construcción de puentes entre el derecho
y la tecnología son de suma importancia
al momento de crear regulaciones,
lineamientos y principios. Por
ejemplo, existen
propuestas para conocer los datos que
son utilizados para el entrenamiento de
este tipo de sistemas. Uno de estas
propuestas que viene mucho desde lo
técnico, pero que ayuda también mucho en
las discusiones regulatorias es como a
lo que se le conoce como datas sheets.
Los datas sheets permiten conocer
generalidades sobre los datos de
entrenamiento y a partir de ahí poder
identificar si existen algunos sesgos.
Ya lo decía Juan David y lo retomo como
ejemplo. Muchas veces las herramientas
tecnológicas de identificación
facial tienen sesgos muy importantes, ya
que no están entrenadas ni están
diseñadas para tener un
margen de fiabilidad importante al
momento de ser implementadas para
coadyubar en la investigación y la
prevención de delitos. Por el contrario,
existen unas altas tasas de error en las
cuales, eh, un ejemplo nuevamente vamos
con Brasil, detienen a una persona en
medio de un partido de fútbol en el que
está toda la gente y resulta que fue un
falso positivo. una persona que nada más
había ido a observar un partido termina
siendo detenida por la implementación de
este tipo de herramientas en la
administración de justicia, lo cual
puede traer severas consecuencias no
solo para las implicaciones en su
libertad personal, sino
también consecuencias a largo plazo como
en el daño a su reputación, a su imagen
y derechos adyacentes.
Entonces, tener conciencia de que los
datos de entrenamiento son
indispensables para poder asegurar una
correcta implementación también nos
permite tener más conciencia y empezar a
tener un juicio crítico sobre cómo
utilizamos estas herramientas. utilizar
estas herramientas que por lo general
son entrenadas y diseñadas con datos que
provienen de, en este caso, por ejemplo,
personas que viven en Estados Unidos o
personas que están en Europa o personas
que están en Asia, nos distancian mucho
de la realidad latinoamericana y
Latinoamérica es sumamente rica en
cuanto a el nivel de mestizaje en el que
eh cada uno de nuestros países tiene.
Tenemos a los pueblos y comunidades
originarias. En cada uno de nuestros
países hay unas altas tas de mestizaje y
cada país tiene su propio contexto. El
contexto mexicano es sumamente rico en
la cantidad de pueblos indígenas y
comunidades originarias y poder tratar
de implementar estos sistemas es
sumamente grave y peligroso dependiendo
también de la tarea para lo que lo
queremos. Y también el no confirmar, el
no usar eh nuestro criterio para hacer
una doble verificación es de extrema
importancia. Esto nos lleva a la Unión
Europea. La Unión Europea, como se
mencionaba durante la introducción, es
un modelo que está basado en riesgos.
Entonces estamos, la Unión Europea lo
que hace es dejar de lado estas
legislaciones, estas regulaciones que se
enfocan en proteger y salvaguardar el
bien jurídico de las personas, los
derechos de las personas y lo que hace
es una evaluación de los riesgos de
implementar este tipo de tecnologías.
identifica cuatro tipos de riesgos que
van desde alto
riesgo y que están prohibidos en
implementación de la Unión Europea este
tipo de tecnologías a de bajo riesgo o
sin riesgo. Por
ejemplo, seguramente es un ejemplo que
han estado escuchando,
pero eh el filtro de nuestra bandeja de
entrada en los correos, el
spam, eso es inteligencia artificial. El
poder identificar qué correos sí leemos
y qué correos se van spam es la
implementación de sistemas de
inteligencia artificial de un modo muy
básico. Y esto la Unión Europea los
reconoce como sistemas de bajo riesgo.
Mientras que los sistemas prohibidos,
por ejemplo, como ya lo mencionaba Juan
David, son los de reconocimiento facial.
¿Dónde está en esta implementación de
riesgos el uso de estos sistemas en la
rama del poder judicial?
Eso va a depender muchísimo de las
tareas para las cuales estén diseñados
este tipo de
sistemas, pero el énfasis o la gran
crítica de la Unión Europea es que estos
modelos de riesgos no son modelos
basados en derechos, no están hablando
de garantizar el acceso a la justicia,
no están hablando de combatir la
discriminación, no están hablando de
proteger la libertad de expresión.
Entonces, no es que esté completamente
mal el modelo regulatorio de la Unión
Europea, sino que la gran crítica es
dejar de lado este
enfoque de derechos.
Y es ahí donde Colombia toma el
liderazgo. Y es algo de lo que yo me
siento
particularmente feliz, es que
Colombia en América Latina siempre ha
cargado con esta bandera de tener
movimientos y enfoques
transformadores advocando por los
derechos humanos y viendo cómo
interactuar o cómo favorecer el
ejercicio de estos derechos. Colombia es
parte del sistema interamericano de
derechos humanos y por lo tanto nuestro
sistema de derechos a nivel regional
puede ser muy diferente del sistema
europeo o muy distante también de
sistemas como el de Estados Unidos.
Entonces, la colaboración que hace
Colombia en conjunto con la UNESCO no es
de eh tomar control o tener fe ciega de
qué es lo que está haciendo la UNESCO e
implementarlo con un copiar y pegar. Por
el contrario, ha sido dialogar, ha sido
abrir estos canales de discusión, estos
canales de colaboración en los que estos
principios que van de lo general se
bajan a la realidad y al contexto
colombiano y se distancian de esta
tendencia, por ejemplo, de replicar qué
es lo que está haciendo la Unión Europea
o qué es lo que no está haciendo Estados
Unidos y dejando muy atrás lo que hacen
otros estados como China.
Entre estos eh esfuerzos conjuntos que
ha hecho la UNESCO y Colombia, pues
podemos irnos un poco más atrás y
observar el kit de herramientas globales
sobre inteligencia artificial y estado
de derecho para el poder judicial, donde
la UNESCO hace todo un mapeo muy
interesante de cómo estos sistemas
interactúan con el poder judicial, qué
derechos pueden verse más más o menos
afectados y por qué, y tiene varios
ejercicios prácticos. Este kit de
herramientas es bastante extenso,
exhaustivo, es un documento que voy a
dejar ahí la la presentación para que
puedan googlear y puedan echarle un ojo,
pero es un documento que puede servir
también para base y darnos una idea de
cómo estas herramientas están siendo
utilizadas en América Latina.
Y otro de los esfuerzos que ha estado
haciendo la UNESCO es establecer una red
global de personas expertas en
inteligencia artificial y estado de
derecho, identificando las personas que
estamos discutiendo estos temas, creando
una colaboración, una comunidad de
discusión y no solo de discusión, sino
también de apoyo para poder ahundar en
estos debates y cada persona también con
su expertiz regional eh de cada uno de
los países a los que pertenece.
Entre estos principios no vinculantes
también están las directrices de la
UNESCO para el uso de sistemas de
inteligencia artificial en juzgados y
tribunales. Estas directrices, como ya
han estado escuchando a lo largo de esta
conversación, han sido de suma
relevancia para Colombia y su
interacción en consecuencia de la tutela
323, que ha sido una base para mover
estas discusiones dentro del poder
judicial en Colombia y poder avanzar y
adaptar lo que ya existe al contexto
particular.
Otra de las cuestiones que se han estado
haciendo por parte de la UNESCO en
colaboración con muchos otros países,
uno de ellos Colombia, es la formación
sobre inteligencia artificial y estado
de derecho, donde cuentan con cursos y
capacitaciones en línea. Pero también
noviembre del 2023 se tuvo la
oportunidad de tener esta capacitación
de forma presencial en la Corte
Interamericana de Derechos Humanos, lo
cual ha sido muy emblemático y también
un mensaje muy poderoso de cómo aceptar
o cómo adaptar estas directrices, estos
principios de derecho suave o lo que
conocemos como soft law a las realidades
de cada uno de los países de América
Latina.
Entonces, a a manera de
resumen, podemos entender que Colombia
tiene una lucha, un el poder judicial de
Colombia siempre se ha mostrado muy
capaz y muy consciente de la importancia
que tienen los derechos humanos. forma
parte del sistema interamericano de
derechos humanos y también ha sido un
país
bastante con bastante movimiento en lo
que ha sido la materia de construcción
de los criterios jurídicos dentro del
sistema interamericano de derechos
humanos.
Este enfoque basado en derechos se ha
visto reflejado a través de la apertura,
el diálogo, las discusiones con
múltiples actores. Colombia tampoco es
un país que se cierre a ver qué es lo
que está sucediendo en otras
jurisdicciones, qué es lo que tienen que
decir otras regiones en materia de todos
estas discusiones emergentes. Entonces,
eso ha sido muy importante para
construir un diálogo
productivo, a diferencia de otras
regiones, de otros estados en los cuales
o no existe este diálogo, no existe este
principio basado en derechos y son
muchas veces utilizados algunos
ejercicios eh de debate para justificar
decisiones que ya están tomadas.
Lo que se ha visto en Colombia y sobre
todo a través del poder
judicial es que existe un verdadero
interés en
construir, en tener la perspectiva de
diferentes personas expertas en estos
temas y poder llegar a un resultado
concreto. Eso también sucedió en la
tutela 323, en la cual se recibieron
comentarios y se buscaron a personas
expertas no solo de Colombia, sino
también de
jurisdicciones muy similares, como el
caso de México, para poder tener una
mirada regional e internacional sobre la
discusión que se estaba teniendo en ese
momento. La tutela trajo como
consecuencia la adopción paradigmática
de las directrices para el uso
responsable y seguro de inteligencia
artificial generativa en el poder
judicial, dejando a Colombia como un
referente a nivel regional e
internacional de cómo se tienen que
llevar a cabo las discusiones y cómo
tienen que ser este tipo de eh enfoques
deliberativos en los cuales las personas
pueden aportar a partir de tu
expertiz. ¿Qué sigue? Bueno, Colombia no
tiene per sé todavía un un proyecto o un
liderazgo que se vea reflejado en
materia general. Por ejemplo, la Unión
Europea tiene su legislación, que
resulta ser una legislación horizontal y
que diferentes eh autoridades tienen que
autoridades tienen que seguirlo.
Entonces, la legislación de la Unión
Europea incide en materia de salud,
incide en materia de trabajo, incide de
forma horizontal en muchas
áreas profesionales y muchas áreas del
derecho. Y lo que sigue es retomar estos
debates, retomar esta apertura, retomar
este diálogo, pero siempre recordando
cuál es el ejetoral de Colombia.
Colombia ha implementado de forma
adecuada este enfoque de derechos a su
contexto y su realidad y no tienen que
despegarse de esa esencia que les hace
tan característicos y que ha puesto a
Colombia como líder en la región para la
discusión de estos temas.
Hasta aquí eh yo yo les dejaría esta
conversación, esta reflexión y siempre
invitándoles a que sigan estas
capacitaciones, sigan estos diálogos
porque son importantísimos para crear
estos puentes entre las tecnologías
emergentes y el derecho y cómo
implementar siempre esta estructura de
derechos humanos en la tecnología.
Muchísimas gracias,
doctora Agneris. De verdad, mil gracias
por habernos acompañado, por habernos
mostrado este escenario internacional y
para cerrar esta charla les presento a
Santiago Pardo Rodríguez, quien se
enfocará en el uso claro, comprensible y
transparente de la inteligencia
artificial. Doctor Santiago, muy buenos
días. Bienvenido a este espacio que
hemos construido con el Consejo Superior
de la Judicatura a través de la unidad
de transformación digital y con el apoyo
de la UNESCO a través de la Escuela
Judicial Rodrigo Lara Bonilla. Quiero
darle la bienvenida y darle la palabra
con esta presentación.
Doctor, activo. Ya, ya lo activé,
gracias. Perdón. Buenos días a todos y a
todas. Eh, un placer estar acá. Eh,
discúlpenme la voz un poco agricada, eh
el abrazo algorítmico me pegó. Eh,
muchas gracias en particular a la
magistrada Diana Remolina, no solo por
esta invitación, sino por ser una líder
constante y e en estos temas y por
realmente ser una líder transformadora
dentro del sistema judicial. eh
colombiano y también a ti eh Melissa y a
todo el equipo del Consejo Superior de
la Judicatura por su eh apoyo técnico.
Bueno, yo tengo yo me siento acá como al
final de un estereo picnic donde todo el
mundo ya ve a todos los grandes grupos.
Entonces ya vieron a Diana, ya vieron a
Juan David y ya vieron a Agneris.
Entonces ya la gente está, digamos,
completamente satisfecha de los grandes
grupos y de las grandes bandas que
vieron. Entonces, espero estar a la
altura del cierre de eh este evento tan
importante. Yo me tomaré 20 minutos para
hablarmente de un principio que creo que
representa una nueva oportunidad de
valor y una nueva frontera de debate
alrededor del uso de la inteligencia
artificial y donde yo estoy
absolutamente convencido que la rama
judicial bajo liderazgo de la magistrada
remolina tendrá mucho que decir y
también tendrá mucho que mostrar y se
convertirá también en un referente como
muy bien acer eh lo explicó en su eh
fabulosa exposición. Tomaré prestado
también algunos conceptos del profesor
Juan David alrededor de la transparencia
y de la usabilidad y también, por
supuesto, haré referencia
particularmente al artículo 3, el eh
numeral 14 y el numeral 15 del artículo
3 del acuerdo 12 243 que habla de los
principios de transparencia y
explicabilidad.
Yo me concentraré en
hablarmente de el derecho a
comprender. ¿Y qué se refiere el derecho
a comprender en este debate? Creo que se
aterriza en el principio de
transparencia algorítmica o en el valor
de la transparencia algorítmica en el
estado colombiano. Eh, la siguiente, por
favor. Tendré una presentación muy breve
donde abordaré cuatro asuntos
transversales. Una primera que se
refiere a que es la transparencia
algorítmica. Una segunda, haré
referencia, así como Agderis resaltó una
sentencia muy importante, la T343 del
2024, yo también haré referencia a una
sentencia muy muy nueva, muy novedosa,
recién salida del horno de la Corte
Constitucional, que es la T067 del 2025,
que habla específicamente de la
transparencia algorítmica en el sector
público. Luego trataré de hacer o
presentaré algunas reflexiones generales
sobre por qué importa la transparencia
algorítmica y cuáles son los derechos
que están en juego. Y finalmente unas
recomendaciones a modo de apertura de
esta eh conversación de cómo se puede
implementar y cuáles son los elementos
claves. un poco con la absoluta certeza
y confianza que tengo en la rama
judicial y en el liderazgo de la de la
magistrada Remolina para poder
implementar y para poder ser una líder,
para que la rama sea líder en en estas
discusiones. Y al final haré un pequeña
una pequeña conclusión a modo de retos y
oportunidades. Eh, ¿qué es la
transparencia algorítmica? Básicamente,
la transparencia algorítmica es un eh
principio que va más allá de la
explicabilidad y la transparencia en
términos generales. Y de nuevo acá hago
referencia al artículo 3 del acuerdo
12243, que es, por supuesto, y comparto
las virtudes que han señalado mis
antecesores en en este en este foro.
Creo que es un elemento y un instrumento
de política pública valiosísimo y que es
un referente no solo en Colombia, sino a
nivel regional e internacional. El
principio de explicabilidad y el
principio de transparencia están muy
bien definidos en este artículo 3. La
explicabilidad, como lo señalaba el
profesor Juan David, básicamente es que
se le explique a las personas cómo la
herramienta de sistema automatizado
llegó a una decisión. La transparencia
parte de un principio más general de la
administración pública y es que las
personas puedan acceder a la información
y o acceder a la forma en que se llegó a
una decisión.
Sin embargo, la transparencia
algorítmica va más allá y tiene que ver
con el acceso público al diseño,
funcionamiento y la lógica de los
algoritmos utilizados por el Estado. Y
tiene que ver o es una condición
habilitante de la posibilidad que
tenemos los ciudadanos y las ciudadanas
de auditar estos sistemas y de evaluar
los impactos que estos sistemas tienen,
en particular sobre los derechos
fundamentales. Como les dije, se
relaciona con el principio de
transparencia y explicabilidad, pero va
mucho más allá. Exige no solo una
apertura proactiva, sino una
documentación técnica y condiciones de
auditabilidad de los sistemas. Por
ejemplo, la posibilidad que tenemos las
y los ciudadanos de acceder a los
códigos fuentes de los sistemas
automatizados que se utilizan dentro del
sector público o dentro de la rama
judicial. Acá voy a hacer un breve
paréntesis. Acá hay otras discusiones
que hacen parte de la implementación del
principio de transparencia algorítmica y
es cómo esto también se compagina con
las reglas de propiedad intelectual y
derechos de autor. La transparencia
algorítmica afecta o no la posibilidad
de desarrollos tecnológicos en la rama
judicial, porque afecta la posibilidad
de preservar a través de los derechos de
autor y propiedad del intelectual la
reserva de las eh de los algoritmos. Yo
creo que son preguntas razonables,
preguntas valiosas, pero que deben ser
eh resueltas de manera negativa. Acá me
a qué me refiero. La propiedad
intelectual y los derechos de autor no
pueden ser un obstáculo para la
transparencia algorítmica. Se tienen que
ponderar, sí, pero no puede ser un
obstáculo. Y me voy a referir un poquito
más adelante en este punto cuando hable
de la 067. Pero mi punto es que, por
supuesto, la discusión de transparencia
algorítmica tiene que tener en cuenta
estas preguntas.
eh la transparencia algorítmica, además
y y acá digamos eh le agradezco eh mucho
a la a la magistrada Remolina también
tener en cuenta a la Defensoría del
Pueblo y reitero como siempre,
magistrada Remolina, nuestro total apoyo
y nuestro total acompañamiento a
labor maravillosa que hace el Consejo
Superior de la Judicatura y poder
construir conjuntamente un enfoque de
derechos humanos en estos asuntos y
también pues como como usted lo sabe,
querida magistrada, Pero también lo
comparto con las personas que nos están
viendo. Pues la señora defensora del
pueblo tiene un compromiso muy
particular eh con la rama judicial,
porque además ella viene de la rama
judicial y quiere eh quiere quiere mucho
a la rama judicial. Yo también vengo de
la rama judicial. Entonces, ahí hay un
eh cariño eh particular eh un cariño
algorítmico podríamos decir. Eh
eh y por supuesto la transparencia
algorítmica implica que exista
previamente una gobernanza tecnológica
con participación social y enfoque de
derechos humanos. Es decir, que hay que
construir todo una
gobernanza que valore, promueva y
proteja la transparencia algorítmica.
Entonces, no se trata solo de que, por
ejemplo, los ciudadanos puedan pedir el
código fuente de los algoritmos o de los
sistemas públicos automatizados que se
utilizan, sino que también exista toda
una gobernanza alrededor de los datos,
una gobernanza alrededor de los
algoritmos que promueva esta principio
de transparencia algorítmica. Eh, la
siguiente, por
favor. Muchas gracias. Y esto me lleva a
la sentencia T067 del 2025. Es un caso
emblemático en Colombia.
Muy muy brevemente voy a resumir los
hechos. Eh, básicamente para para las
personas que se conectan fuera de
Colombia, sobre todo les explico,
durante la pandemia, el estado
colombiano no fue el único, de hecho
varios estados en el mundo lo utilizaron
y Colombia fue uno más. Desplegó una
plataforma que en nuestro caso que se
llamó Coronap. Corona básicamente era
una plataforma de registro
público masiva que buscaba, estoy
haciendo un resumen muy grande, pero que
buscaba básicamente básicamente dos
cosas. Primero, permitir que se hubiera
se pudiera hacer un eh registro
epidemiológico y un seguimiento
epidemiológico de los contactos eh
positivos de COVID y segundo permitir un
registro que le permitiera al Estado
colombiano o bueno, que le permitiera,
no, que el Estado colombiano impuso este
registro como condición para acceder a
los primeros esquemas de vacunación.
un profesor de la Universidad de
Externado, eh gran amigo también de la
casa que se llamaba Juan Carlos Supegui,
que actualmente es superintendente
delegado para la protección de datos
personales, interpuso una acción de
tutela contra la agencia el Instituto
Nacional de Salud, la Agencia Nacional
Digital, solicitando el algoritmo
diciendo, "Acá se está usando Corona
App.
Primero, un registro masivo de datos
sensibles, información médica y segundo,
el acceso a un derecho fundamental o
perdón a un servicio fundamental
asociado un derecho fundamental como es
la vacunación que está asociado, por
supuesto, al gozo efectivo del derecho a
la salud. estas instituciones. Y bueno,
y Juan Carlos alegó, como lo mencionó
antes el profesor Juan David, eh que
también esto es una valor muy importante
o es un criterio muy importante en esta
discusión y es que el principio de
transparencia algorítmica, ya me
adelanto un poquito, hace parte del
derecho de acceso a la información
pública, que es un derecho reconocido y
regulado en Colombia a través de una ley
estatutaria, la ley 1712 del 2014.
Juan Carlos alega una violación al
derecho de acceso a la información
pública. Estas entidades dicen, "No, qué
pena, yo no le puedo dar esta
información porque hace parte de la
reserva propia de la propiedad
intelectual de quien desarrolló la
aplicación." Y además yo no le puedo
entregar el código fuente porque este es
un código fuente que se somete a
diferentes iteraciones, a diferentes
modificaciones y nunca voy a terminar de
acabar ese código fuente. Por lo tanto,
no va a haber una eh versión final y y
final a la que yo le pueda, digamos, dar
acceso. La Corte
Constitucional, con un buen criterio en
mi opinión dijo que esa reserva no se
estaba justificando de manera adecuada
porque no se probó el daño concreto de
derivado de publicar esta información. Y
además la Corte Constitucional dijo de
manera clara que el principio de
transparencia algorítmica era parte del
núcleo esencial del derecho de acceso a
la información pública. Es decir, la
transparencia algorítmica en Colombia
hace parte de un derecho fundamental y
puede ser judicializado,
constitucionalizado y protegido. y
entonces ordenó no solo publicar el
código fuente y darle acceso a estas
personas al código fuente, sino que en
su ordinal cuarto le dijo a la o en la
orden, o en la orden o en la orden
resolutiva número cuatro le dio la orden
a la Agencia Nacional Digital, a la
Procuraduría y a la Defensoría del
Pueblo para emitir en 6 meses
lineamientos generales de transparencia
algorítmica en el sector público. La
Corte destacó, entre otras cosas, unas
buenas prácticas simplemente mostrando
cuáles podrían ser criterios para
construir estos lineamientos, en
particular la Directive on automated
decision making del gobierno de Canadá.
con mucho gusto al final de la
presentación puedo compartir el vínculo
para acceder a esta decisión, pero el
punto es que acá hay una oportunidad
valiosísima donde yo estoy seguro que la
rama judicial va a jugar un rol de
liderazgo. Acá pues también les cuento
eh la hace hace tres semanas instalamos
la mesa entre estas entidades, la
Defensoría del Pueblo tiene la
secretaría técnica y por supuesto,
estimada magistrada Remolina, estaremos
invitándolas porque ya acá estoy acá
comprometiendo a la rama judicial, pero
básicamente eh acá es una discusión muy
importante donde de nuevo la rama
judicial dentro de su autonomía
funcional creo que puede expedir unas
guías o actualizar el acuerdo para eh eh
crear unas guías específicas de
transparencia algorítmica, pero sin duda
creo que la rama judicial es un actor
fundamental para contribuir a esta
discusión sobre transparencia
algorítmica que viene a partir general
eh del sector público que viene ahora eh
a partir de esta
sentencia. Ya para ir terminando, ¿por
qué importa la transparencia
algorítmica? todo digamos este cuento.
Ustedes me van a decir, "Sí, perfecto,
maravilloso, pero ¿por qué realmente
importa?"
La transparencia algorítmica en opinión
y a juicio de la
defensoría, protege o es un instrumento
específico y claro para proteger la
privacidad, la igualdad, el debido
proceso y el principio de no
discriminación que tanto Agneris como
Juan David explicaron muy bien. No
entraré en detalles porque ellos eh
claramente lo hicieron mucho mejor de lo
que yo podría hacer en en en definir
estos principios, pero previene que
decisiones automatizadas oages opacas y
sensadas afecten laidadz de las
personas. Permite que la ciudadanía
conozca cómo se usa su información y
cómo se toman decisiones sobre ella. Y
es, creo, en mi opinión de la
Defensoría, una herramienta clave para
reconstruir la confianza institucional
en la era digital. Acá Agneris lo
mencionó al principio cuando habló de
los diferentes estudios de casos, pues
también acá hay una reacción o hay una
también estas discusiones sobre
regulación se dan en contextos donde las
instituciones de la democracia liberal
se someten a o están sometidas a grandes
niveles de deslegitimidad y grandes
niveles de desconfianza pública. Y yo
nosotros creemos desde la defensoría que
en estas discusiones de derechos en
ambientes digitales y de sistemas
automatizados y cada vez un uso más
masivo de la inteligencia artificial, la
transparencia algorítmica es una
herramienta para reconstruir o intentar
reconstruir esa confianza institucional.
Acá también cito, a mí me encanta citar
un libro de la profesora Wendy Wong with
the data, eh, de publicado por MIT, eh
donde básicamente ella habla de cómo
realmente los datos son parte de quienes
somos. Uno uno tiende a pensar que sus
datos son realmente algo totalmente
diferente y diferenciable de la
existencia y de la identidad de la
persona. Cuando realmente la profesora
Wong explica que no, los datos son parte
fundamental de nuestra identidad, es
casi como el color de nuestros ojos, la
forma en la que hablamos, la forma en
que nos que interactuamos es casi un
rasgo de nuestra personalidad en una en
una en un ambiente digital masivo como
el que vivimos ahora. Y por eso la
opacidad algorítmica erosiona esa
autonomía y esa dignidad propia, porque
los datos ahora son en y digamos acá
apelo a la tesis de la profesora Wong,
son parte digamos de esta identidad
específica de cada uno de nosotros y de
nosotros y por lo tanto como pueden ver
en la transparencia algorítmica están en
juego, de nuevo principios como la
privacidad, la igualdad del debido
proceso y la nueva discriminación y
también la dignidad. de la autonomía eh
eh
individual. Eh, la siguiente, por
favor, ¿cómo se implementa? Acá son unas
ideas generales que han surgido a partir
de estas discusiones preliminares y
donde de nuevo yo insisto, estoy
absolutamente convencido que la rama
judicial jugará un rol de liderazgo muy
importante. Hay varias estrategias para
empezar a
pensar, perdón la redundancia, pero
empezar a pensar cómo se implementa la
transparencia algorítmica. Esto es una
discusión que se está construyendo y
como les digo, también tiene que
ponderarse de una manera eh muy clara
con otros derechos.
publicación proactiva del diseño,
entrenamiento de operación de algoritmos
públicos. Por ejemplo, el Estado
colombiano debería, cuando implementa un
sistema automatizado, publicar de manera
clara y y entendible y con un diseño
centrado en las personas, el diseño, los
entrenamientos y la operación de los
algoritmos públicos. La respuesta, en
nuestra opinión es que sí. Obviamente
hay algunas limitaciones, test de daño
que se tienen que hacer, pero la
respuesta general es que sí. Acá aplica
un principio de transparencia activa
general, evaluaciones de impacto en
derechos humanos antes del despliegue de
sistemas automatizados. Esto no es una
idea mía, es una idea de Carolina Otero
de la Fundación Carisma, que por ejemplo
en una maravillosa columna que les
recomiendo, que publicó el 15 de marzo
en el espectador haciendo un análisis
general sobre el COMPES
414, eh, que es el COMPEES de
inteligencia artificial que publicó el
Departamento Nacional de de Planeación
para las personas que no viven en
Colombia o que no sean eh ciudadanos o
ciudadanas colombianas, el COMPES es
como un instrumento muy importante de
política pública
que promulga el Consejo de Política
Pública Económica, el Consejo de
Política Económica y Social, que es una
instancia de política pública y de
articulación de política pública muy
importante y publicó un documento COMPES
de inteligencia artificial.
Eh, y Carolina explicaba que eh al Comes
le faltaba un insumo importante o un
elemento importante y era evaluaciones
de impacto previas antes del despliegue
automatizado para de alguna manera
reducir riesgos y daños. Reglas claras
sobre auditoría ciudadana, rendición de
cuentas y acceso a código fuente, cómo,
cuándo y dónde se van a acceder a sus
códigos fuentes, cuáles van a ser los
escenarios de rendición de cuentas. Por
ejemplo, esta semana tuve el privilegio
de acompañar a la magistrada Remolina y
a los demás magistrados y magistradas
del Consejo Superior de la Judicatura en
el evento público de rendición de
cuentas. Uno podría pensar, ese es un
escenario interesante donde, por
ejemplo, la rama judicial podría
explicar de manera general cuáles son
los las reglas y los estándares de
auditoría algorítmica de sus sistemas
automatizados. Una participación
multiactor, ciudadanía, academia,
industria y órganos de control. Esto
acá, por ejemplo, en Colombia se resume
en mi opinión en la mesa multiaptor de
inteligencia artificial que promueve la
Universidad de los Andes y la
Universidad de Externado que acaba de
tener su última sesión, la octava
precisamente en la defensoría del
pueblo. La mesa multiaptor creo que es
un escenario para pensar en la
transparencia algorítmica y por supuesto
articulación con normas existentes,
protección de datos personales, acceso a
la información y principios
constitucionales y por supuesto el
acuerdo
12243. Creo que es un vehículo y un
instrumento muy valioso, muy importante,
sobre el cual se me quedan eh un minuto
y medio ya para terminar. Eh, estimada
Melisa, si podemos eh compartir la
siguiente eh diapositiva, a modo de
conclusión, algunos retos y
oportunidades frente a la transparencia
algorítmica en estas discusiones de
regulación de inteligencia artificial.
¿Cómo se balancea la seguridad digital
con la la apertura informativa sin poner
en riesgos derechos, por ejemplo,
derechos eh de autor, propiedad
intelectual?
Hay hay que digamos hay un reto
importante de superar la idea de que la
transparencia, como explicó muy bien
Agneris y Juan David, no solo aplica el
resultado del algoritmo, qué arroja el
algoritmo y qué decisión toma el
algoritmo, sino cómo se diseña ese
algoritmo, digamos, yo yo lo araría una
transparencia transversal y de todo el
espectro de desarrollo del algoritmo, no
solo su producto final, sino todo el
espectro de desarrollo.
Comparto con
entusiasmo. podría decirlo más alto,
pero la voz eh que creo que no los
quiero alterar con mi voz eh ronca de
gripa, pero eh me me emocioné muchísimo
cuando insistió insistió de manera clara
en una eh construcción dentro de
estándares interlatinoamericanos o una
construcción de estándares latino
latinoamericanos haciendo referencia,
por ejemplo, a Colombia y al sistema
interamericano. Hay que adaptar
estándares internacionales y ajustarlos
a estas realidades sociotécnicas del sur
global. promover una alfabetización
algorítmica en la ciudadanía y en el
sector público. Y acá, por ejemplo,
junto a la rama judicial y la defensoría
del pueblo, estamos construyendo ya
acciones concretas para promover una
agenda de
alfabetización informacional y
comunicacional que le permita a las
personas, al ciudadano en común, tener
herramientas de curaduría algorítmica
muy básicas que les permitan entender eh
cuáles son los impactos y cuáles son las
eh los derechos que tienen para entender
el diseño de estos algoritmos. No se
trata de discusiones técnicas de código,
sino cómo podemos construir un lenguaje
de alfabetización informacional y
comunicacional que le dé estas
herramientas de curadoría algorítmica a
los ciudadanos. Y por último, pues
considero y de nuevo insisto, que existe
una oportunidad para que Colombia lidere
la regulación esta esta discusión con
una regulación basada en derechos y no
solo en ética voluntaria. Y acá de nuevo
resalto el rol importantísimo de la rama
judicial y particularmente la
implementación del acuerdo 12 243.
Creemos desde la Defensoría del Pueblo
con mucho entusiasmo que es un escenario
absolutamente eh valiosísimo y
extraordinario para poder implementar
una agenda de transparencia algorítmica
que proteja los derechos fundamentales
de los ciudadanos y las ciudadanas en
estas discusiones de inteligencia
artificial. Eh, y ya con esto terminó.
Muchas gracias de nuevo por la
invitación y eh les agradezco por este
espacio.
Santiago, pues muchas gracias por
habernos dado este esta presentación,
por haber participado de esta charla que
ha llegado a su final y que hemos
denominado uso responsable, seguro y
ético de la inteligencia artificial en
la administración de justicia que hace
parte del ciclo de formación organizado
por el Consejo Superior de la Judicatura
en coordinación con la Unidad de
Transformación Digital e Informática de
la DEAC y en colaboración con la UNESCO
a través de la Escuela Judicial Rodrigo
Lara Bonilla en sus pantallas. En este
momento ustedes podrán ver el código QR
al en el cual podrán ustedes escanear e
inscribirse en las siguientes dos
charlas que vamos a tener. Es importante
recordarles que estas charlas las vamos
a tener dentro de 8 días en en el
próximo viernes y después de regresar de
Semana Santa. Tienen que inscribirse a
través de este código de QR que estamos
presentando en sus pantallas y estas en
estas sesiones abordaremos temas
relevantes como la práctica y casos de
uso de la inteligencia artificial en la
gestión judicial, como bien lo anunció
la doctora Remolina, que son casos
importantes que ustedes podrán ver cómo
se materializa el uso ético y seguro de
esas herramientas que podrán contribuir
a mejorar el servicio de justicia en el
país y con un enfoque de innovación.
Asimismo, la implementación de proyectos
de inteligencia artificial con un
enfoque de innovación que hemos venido
desarrollando al interior de la rama
judicial. Entonces, son dos charlas que
ustedes no podrán perderse. Los
invitamos, inscríbanse. Ustedes tienen
acá el código QR. También les
presentamos las fechas. Tenemos viernes
11 de abril y viernes 25 de abril para
que ustedes se agenden desde este
momento y sigan inscribiéndose y
participando de manera proactiva en
estas charlas. Estamos seguros que pues
les ha gustado estos estos
conferencistas que hemos traído,
expertos a nivel nacional e
internacional. Agradecemos su presencia
y su participación. Nos vemos el próximo
viernes. Feliz día.