Esta es una versión traducida y adaptada del artículo France Kicks Data Scientists Out of Its Courts publicado por Michael Livermore y Dan Rockmore en Slate el 21 de junio de 2019.

Gobiernos de todo el mundo están desarrollando respuestas para los cambios sociales, políticos y económicos impulsados ​​por la era del big data y la inteligencia artificial.

China está adoptando tecnologías de reconocimiento facial de manera generalizada. Los europeos implementaron un “derecho al olvido” y el GDPR (Reglamento General de Protección de Datos) que regula cómo las empresas deben proteger los datos de los ciudadanos de la Unión Europea. La UE también creó un conjunto de principios éticos de transparencia y no discriminación para la investigación y desarrollo en inteligencia artificial.

Ahora, Francia sancionó una ley que prohíbe el uso de legal analytics, es decir, la aplicación de estadísticas y machine learning para predecir el comportamiento judicial.

En Estados Unidos, estas técnicas ya son habituales para optimizar estrategias de litigación. En Francia, los abogados que las utilicen podrían enfrentar hasta cinco años de cárcel.

La nueva legislación puede entenderse como una extensión de las preocupaciones europeas sobre la privacidad. En este caso, de los jueces.

Quienes están a favor de la ley sostienen que esta no debería tener un impacto significativo sobre la práctica legal. Las herramientas de legal analytics pueden utilizarse, siempre y cuando no se realice un análisis al nivel del juez individual.

Quienes se oponen a la ley sostienen que todo análisis serio de comportamiento judicial requiere considerar las diferencias entre jueces individuales.

Por eso, dicen, esta nueva ley podría ser un serio obstáculo al desarrollo de la industria francesa de legal analytics. Los franceses tendrán menos información sobre el funcionamiento de su sistema judicial y menos herramientas para ayudar a los que no tienen acceso a la justicia.

Según ellos, esta ley contrasta con la actitud del gobierno de China, que recientemente abrió millones de documentos legales al dominio público para que sean utilizados para entrenar algoritmos de inteligencia artificial.

Algunos creen que, en el fondo, esta ley es una respuesta a los temores de que un mayor acceso a datos judiciales podría afectar negativamente a la demanda de abogados.

Pero, más allá de cuál sea la motivación de la ley, hay razones ciertas para preocuparse por el uso del big data en la justicia.

Los datos utilizados para entrenar algoritmos surgen de humanos. Y estos pueden estar contaminados con sesgos racistas o sexistas, que luego se transmiten al algoritmo. La máquina aprenderá a hacer lo que un humano haría en una situación similar. Y esto podría derivar en un resultado discriminatorio.

Por ejemplo, se ha descubierto que las herramientas de análisis de datos que se utilizan en los procedimientos de fianza suelen asignar puntajes de riesgo más elevados a sospechosos negros. Esto aumenta la probabilidad de que se les niegue la fianza y que pasen más tiempo en la cárcel mientras esperan el juicio.

Históricamente, el acceso a los servicios legales dependió de los recursos económicos de una persona. Como se sabe, el dinero compra mejores abogados.

Algunos creen que los analytics podrían agravar este fenómeno. Los ricos podrían comprar el software más avanzado. Los demás estarían condenados a utilizar abogados humanos, con una capacidad de memoria y procesamiento limitados.

También podría ocurrir que los sectores humildes tengan que depender de herramientas de software de baja calidad, mientras que los de mayores recursos podrán contratar abogados calificados y software de mayor calidad. Todo esto podría resultar en una mayor desigualdad en el acceso a la justicia.

Más allá de los riesgos, prohibir por completo el uso de legal analytics parece ser un enfoque equivocado, que arroja al bebé junto con el agua sucia de la bañera.

Primero, la prohibición misma podría ser ilegal, ya que es un ataque a la libertad de expresión, un derecho protegido tanto por la Constitución de Francia como el Convenio Europeo de Derechos Humanos.

Pero además, porque cierra las puertas a todos los beneficios que pueden derivarse de la ciencia de datos en el campo de la justicia.

Las herramientas de inteligencia artificial pueden ampliar el acceso a la justicia y a la asesoría legal a un público de bajos recursos.

El machine learning tiene el potencial de ayudar a racionalizar la toma de decisiones en los gobiernos, especialmente cuando se trata de resolver un gran volumen de casos similares.

Prohibir el análisis de las sentencias judiciales es un obstáculo para la innovación tecnológica en el mundo legal y para la transparencia en la administración pública.

Con frecuencia, los jueces prefieren que su comportamiento no sea sometido a un examen externo. Es que diversas investigaciones han encontrado arbitrariedades en decisiones judiciales, por ejemplo, en los procesos de inmigración a Estados Unidos.

Pero el público y los líderes políticos deben tener acceso a esta información. La digitalización de documentos legales es necesaria para aquellos que investigan el funcionamiento de los tribunales.

Prohibir el análisis estadístico de las decisiones judiciales no es una solución. Pero esto no significa que no pueda hacerse nada para anticipar y abordar los riesgos éticos planteados por la tecnología en el sistema legal.

Lo que necesitamos son datos legales más accesibles y transparentes, y políticas públicas con incentivos correctos.

Los gobiernos deberían abrir sus datos para que empresas e investigadores estudien el sistema legal y desarrollen nuevas tecnologías para facilitar el acceso a la justicia.

Al mismo tiempo, los tomadores de decisiones deben ser conscientes de los riesgos y utilizar altos estándares para evaluar a las tecnologías antes de su implementación.

Otra prioridad debería ser la financiación de investigaciones que buscan descubrir y resolver los sesgos discriminatorios de la aplicación de tecnología en las decisiones judiciales.

En definitiva, el intento de Francia de prohibir el análisis de datos en las cortes no detendrá el uso de legal analytics. Pero podría obstaculizar los progresos locales. En lugar de prohibir, sus líderes políticos deberían crear canales de información abiertos y transparentes, desde los que se pueda atender a los riesgos y beneficios de cualquier tecnología nueva que se incorpore al sistema legal.

El acceso a la justicia sigue siendo uno de los compromisos más importantes que una sociedad tiene con sus ciudadanos. Las nuevas tecnologías pueden ayudarnos a cumplir esa promesa. Pero sólo si vigilamos a las máquinas.

Esta es una versión traducida y adaptada del artículo France Kicks Data Scientists Out of Its Courts publicado por Michael Livermore y Dan Rockmore en Slate el 21 de junio de 2019.

Gobiernos de todo el mundo están desarrollando respuestas para los cambios sociales, políticos y económicos impulsados ​​por la era del big data y la inteligencia artificial.

China está adoptando tecnologías de reconocimiento facial de manera generalizada. Los europeos implementaron un “derecho al olvido” y el GDPR (Reglamento General de Protección de Datos) que regula cómo las empresas deben proteger los datos de los ciudadanos de la Unión Europea. La UE también creó un conjunto de principios éticos de transparencia y no discriminación para la investigación y desarrollo en inteligencia artificial.

Ahora, Francia sancionó una ley que prohíbe el uso de legal analytics, es decir, la aplicación de estadísticas y machine learning para predecir el comportamiento judicial.

En Estados Unidos, estas técnicas ya son habituales para optimizar estrategias de litigación. En Francia, los abogados que las utilicen podrían enfrentar hasta cinco años de cárcel.

La nueva legislación puede entenderse como una extensión de las preocupaciones europeas sobre la privacidad. En este caso, de los jueces.

Quienes están a favor de la ley sostienen que esta no debería tener un impacto significativo sobre la práctica legal. Las herramientas de legal analytics pueden utilizarse, siempre y cuando no se realice un análisis al nivel del juez individual.

Quienes se oponen a la ley sostienen que todo análisis serio de comportamiento judicial requiere considerar las diferencias entre jueces individuales.

Por eso, dicen, esta nueva ley podría ser un serio obstáculo al desarrollo de la industria francesa de legal analytics. Los franceses tendrán menos información sobre el funcionamiento de su sistema judicial y menos herramientas para ayudar a los que no tienen acceso a la justicia.

Según ellos, esta ley contrasta con la actitud del gobierno de China, que recientemente abrió millones de documentos legales al dominio público para que sean utilizados para entrenar algoritmos de inteligencia artificial.

Algunos creen que, en el fondo, esta ley es una respuesta a los temores de que un mayor acceso a datos judiciales podría afectar negativamente a la demanda de abogados.

Pero, más allá de cuál sea la motivación de la ley, hay razones ciertas para preocuparse por el uso del big data en la justicia.

Los datos utilizados para entrenar algoritmos surgen de humanos. Y estos pueden estar contaminados con sesgos racistas o sexistas, que luego se transmiten al algoritmo. La máquina aprenderá a hacer lo que un humano haría en una situación similar. Y esto podría derivar en un resultado discriminatorio.

Por ejemplo, se ha descubierto que las herramientas de análisis de datos que se utilizan en los procedimientos de fianza suelen asignar puntajes de riesgo más elevados a sospechosos negros. Esto aumenta la probabilidad de que se les niegue la fianza y que pasen más tiempo en la cárcel mientras esperan el juicio.

Históricamente, el acceso a los servicios legales dependió de los recursos económicos de una persona. Como se sabe, el dinero compra mejores abogados.

Algunos creen que los analytics podrían agravar este fenómeno. Los ricos podrían comprar el software más avanzado. Los demás estarían condenados a utilizar abogados humanos, con una capacidad de memoria y procesamiento limitados.

También podría ocurrir que los sectores humildes tengan que depender de herramientas de software de baja calidad, mientras que los de mayores recursos podrán contratar abogados calificados y software de mayor calidad. Todo esto podría resultar en una mayor desigualdad en el acceso a la justicia.

Más allá de los riesgos, prohibir por completo el uso de legal analytics parece ser un enfoque equivocado, que arroja al bebé junto con el agua sucia de la bañera.

Primero, la prohibición misma podría ser ilegal, ya que es un ataque a la libertad de expresión, un derecho protegido tanto por la Constitución de Francia como el Convenio Europeo de Derechos Humanos.

Pero además, porque cierra las puertas a todos los beneficios que pueden derivarse de la ciencia de datos en el campo de la justicia.

Las herramientas de inteligencia artificial pueden ampliar el acceso a la justicia y a la asesoría legal a un público de bajos recursos.

El machine learning tiene el potencial de ayudar a racionalizar la toma de decisiones en los gobiernos, especialmente cuando se trata de resolver un gran volumen de casos similares.

Prohibir el análisis de las sentencias judiciales es un obstáculo para la innovación tecnológica en el mundo legal y para la transparencia en la administración pública.

Con frecuencia, los jueces prefieren que su comportamiento no sea sometido a un examen externo. Es que diversas investigaciones han encontrado arbitrariedades en decisiones judiciales, por ejemplo, en los procesos de inmigración a Estados Unidos.

Pero el público y los líderes políticos deben tener acceso a esta información. La digitalización de documentos legales es necesaria para aquellos que investigan el funcionamiento de los tribunales.

Prohibir el análisis estadístico de las decisiones judiciales no es una solución. Pero esto no significa que no pueda hacerse nada para anticipar y abordar los riesgos éticos planteados por la tecnología en el sistema legal.

Lo que necesitamos son datos legales más accesibles y transparentes, y políticas públicas con incentivos correctos.

Los gobiernos deberían abrir sus datos para que empresas e investigadores estudien el sistema legal y desarrollen nuevas tecnologías para facilitar el acceso a la justicia.

Al mismo tiempo, los tomadores de decisiones deben ser conscientes de los riesgos y utilizar altos estándares para evaluar a las tecnologías antes de su implementación.

Otra prioridad debería ser la financiación de investigaciones que buscan descubrir y resolver los sesgos discriminatorios de la aplicación de tecnología en las decisiones judiciales.

En definitiva, el intento de Francia de prohibir el análisis de datos en las cortes no detendrá el uso de legal analytics. Pero podría obstaculizar los progresos locales. En lugar de prohibir, sus líderes políticos deberían crear canales de información abiertos y transparentes, desde los que se pueda atender a los riesgos y beneficios de cualquier tecnología nueva que se incorpore al sistema legal.

El acceso a la justicia sigue siendo uno de los compromisos más importantes que una sociedad tiene con sus ciudadanos. Las nuevas tecnologías pueden ayudarnos a cumplir esa promesa. Pero sólo si vigilamos a las máquinas.