Evaluación de la intervención humana en las decisiones automatizadas
En el marco de tratamientos con posibles decisiones automatizadas es preciso realizar una evaluación del grado de participación humana, lo que implica evaluar tanto el sistema utilizado como el tratamiento y su contexto. Para ello, se recomienda valorar la participación de una persona en el proceso de decisión examinando diferentes aspectos, como su autoridad, competencia, capacidad, diligencia o independencia.
Foto de charlesdeluvio en Unsplash
El artículo 22 del RGPD establece que las personas tienen derecho a no ser objeto de una decisión basada únicamente en el tratamiento automatizado, incluida la elaboración de perfiles, que produzca efectos jurídicos en ellas o las afecte significativamente de modo similar, con algunas situaciones excepcionales.
Con relación al concepto «Decisión basada únicamente en el tratamiento automatizado», este se encuentra desarrollado en el apartado IV.A de las Directrices WP 251 sobre decisiones individuales automatizadas y elaboración de perfiles a los efectos del Reglamento 2016/679, revisadas por última vez y adoptadas el 6 de febrero de 2018:
El artículo 22, apartado 1, se refiere a las decisiones «basadas únicamente» en el tratamiento automatizado. Esto quiere decir que no hay participación humana en el proceso de decisión.
El responsable del tratamiento no puede obviar las disposiciones del artículo 22 inventándose una participación humana. Por ejemplo, si alguien aplica de forma rutinaria perfiles generados automáticamente a personas sin que ello tenga influencia real alguna en el resultado, esto seguiría siendo una decisión basada únicamente en el tratamiento automatizado.
Para ser considerada como participación humana, el responsable del tratamiento debe garantizar que cualquier supervisión de la decisión sea significativa, en vez de ser únicamente un gesto simbólico. Debe llevarse a cabo por parte de una persona autorizada y competente para modificar la decisión. Como parte del análisis, debe tener en cuenta todos los datos pertinentes.
Como parte de la EIPD, el responsable del tratamiento debe identificar y registrar el grado de participación humana en el proceso de toma de decisiones y en qué punto se produce esta.
Muchas decisiones automatizadas en realidad involucran cierto grado de intervención humana, sin embargo, para considerarse como tal, tiene que ser activa y no solo un gesto simbólico, es decir, tiene que tener un grado determinado de relevancia y capacidad.
En las Directrices WP251 se muestra un ejemplo que no está basado únicamente en tratamiento automatizado:
Ejemplo: Un proceso automatizado produce lo que es, en realidad, una recomendación relativa al interesado. Si un ser humano revisa y tiene en cuenta otros factores para tomar la decisión final, dicha decisión no estará «basada únicamente» en el tratamiento automatizado.
En la documentación producida por la ICO se muestra un ejemplo de lo contrario:
El salario de un trabajador de una fábrica está vinculado a su productividad, que se controla automáticamente. La decisión sobre cuánta paga recibe el trabajador por cada turno que trabaja se toma automáticamente haciendo referencia a los datos recopilados sobre su productividad.
La STJUE de 7 diciembre 2023, asunto C-634/21, “SCHUFA”, establece que también es decisión automatizada en sentido art.22 del RGPD, cuando es la generación automática de un valor a partir de datos personales es transmitido por el responsable del tratamiento a un tercero, también responsable del tratamiento, y este tercero, de un modo determinante, basa una decisión sobre la persona en dicho valor.
En el marco de los tratamientos con posibles decisiones automatizadas se deberá realizar una evaluación del grado de participación humana. La evaluación de si la supervisión humana es posible y efectiva implica evaluar tanto el sistema utilizado como el tratamiento y su contexto. Para realizar esa evaluación de forma sistemática se recomienda valorar objetivamente la participación de una persona en el proceso de decisión de la siguiente forma:
- Competencia y autoridad.
Es decir, que tiene la autoridad o la tarea asignada que le permite alterar el resultado de la decisión automatizada.
Un ejemplo es el de un recluso que solicita el tercer grado o la libertad condicional. Para tomar una decisión sobre esta solicitud se elabora un informe sobre el interno que, por ejemplo, incluye una predicción algorítmica del riesgo de reincidencia. Un funcionario de prisiones no tiene la competencia para modificar esta predicción ni la decisión que se toma con base a ella, sólo la obligación de que esta decisión (tomada por un juez) se ejecute. - Preparación y formación.
Es decir, que tiene la capacidad y las aptitudes para evaluar la decisión y los factores que determinan esa decisión con relación al contexto del tratamiento y el sistema automatizado empleado, en sus capacidades y limitaciones.
Por ejemplo, ante un diagnóstico sanitario automatizado será necesaria la intervención de un profesional sanitario de la especialidad relativa al diagnóstico para poder disputar la decisión con conocimiento de causa.
En otros casos, además de una formación de base, la persona deberá tener el entrenamiento necesario para conocer las peculiaridades de decisiones concretas en los contextos reales de operación. - Independencia y diligencia en el ejercicio de su competencia.
Hay que evaluar si existen presiones desde la organización o desde fuera de la organización que condicionen la disputa de la decisión por parte de la persona.
Por ejemplo, puede darse el caso de que la inversión en el sistema automatizado desaconseje cuestionarlo. Otro ejemplo es que se limite el número de decisiones en disputa o bien el hecho de disputarlas acarree algún tipo de perjuicio para la persona competente u otros.
También la propia persona competente, o las que la supervisan, pueden estar condicionadas por el sesgo de automatización, que las lleve a no cuestionarse (o a hacerlo en muy raras ocasiones) las decisiones tomadas de manera automatizada.
Esto requiere la revisión continua del proceso de decisión, incluso que la supervisión se lleve a cabo por más de una persona en algunos casos. En dicha revisión hay que incluir garantías sobre la diligencia de la persona en la ejecución de sus obligaciones. - Medios para poder ejercer su competencia y cualificación.
En cuanto a los medios necesarios para evaluar el grado de intervención, se debería valorar que la persona tiene disponibles las siguientes capacidades:- Que procedimentalmente pueda ejercer su competencia.
Esto supone que el procedimiento que enmarca la decisión contemple su capacidad de intervenir en el momento o punto adecuado en tiempo y forma, antes de aplicarla al individuo. Además, si el procedimiento está digitalizado, que los sistemas incorporen mecanismos que lo permitan en cualquier circunstancia.
Por ejemplo, puede darse el caso de que los efectos jurídicos, o que afecten significativamente al interesado, se produzcan en un lapso insuficiente para que una persona pueda ejercer su competencia, como es el caso de tomar un transporte (un vuelo, por ejemplo), asistir a un evento, acceder a un servicio como un gimnasio, etc. - Que disponga de la información necesaria en tiempo y forma para poder ejercer su cualificación.
Debe poder conocer las consecuencias, riesgos de las decisiones en general, y las que se están tomando para los casos específicos.
Debe poder conocer todos los aspectos que condicionan la decisión automatizada. Estos incluyen los datos del individuo concreto, pero también podrían incluir los procedimientos para la recogida de datos de entrada, los datos implícitos en el modelo que genera la decisión, los datos contextuales que no se han tenido en cuenta en la decisión automatizada, además de las capacidades y límites del sistema de decisión. También aquellos datos que la persona, en su cualificación, estime que son necesarios contemplar para el caso concreto y que no se han considerado en la decisión automatizada. - Que disponga de los recursos para poder ejercer su cualificación.
Por ejemplo, es necesario disponer de las aplicaciones que le permitan analizar la información en el formato que se esté utilizando para la decisión automatizada, o que se convierta dicho formato a las necesidades de la persona. También aquellas que necesite para tratar la información de la forma óptima o el equipo que le apoye. - Que disponga del tiempo necesario para poder ejercer su cualificación para cada una de las decisiones que sean de su competencia.
Una persona puede ser competente, cualificada y tener cumplidas sus necesidades de los recursos previos. Sin embargo, si se enfrenta a un régimen de trabajo que le exige realizar la supervisión de decisiones sobre 100 informes de 100 páginas cada uno, cada día, esto le obliga a leer y analizar 21 páginas por minuto, lo que no sería viable. Y ello, sin contar que puede tener tareas adicionales que su puesto le exige atender lo que haría de facto inviable la supervisión humana.
- Que procedimentalmente pueda ejercer su competencia.
Este post está relacionado con otros materiales publicados desde la División de Innovación y Tecnología de la AEPD, como son:
