presentan-un-amparo-contra-el-uso-del-reconocimiento-facial-en-la-ciudad-de-buenos-airesTecnología 

Presentan un amparo contra el uso del reconocimiento facial en la Ciudad de Buenos Aires

En octubre del año pasado, la legislatura porteña aprobó nuevas regulaciones sobre el sistema de cámaras de vigilancia en la Ciudad de Buenos Aires, incluyendo el reconocimiento facial. Sin embargo, hay organizaciones que se oponen a su uso: en todo el mundo, esta tecnología genera problemas, sospechas e, incluso, malas implementaciones que afectan los derechos de los ciudadanos.

Por esto, desde el Observatorio de Derecho Informático Argentino (O.D.I.A.), una asociación civil sin fines de lucro, hicieron dos pedidos de acceso a la información pública para entender cómo se aplica el sistema, pero cuentan que recibieron “una respuesta parcial”. Por esto, presentaron una acción de amparo “para detener el Sistema de Reconocimiento Facial de Prófugos de la Ciudad de Buenos Aires”, que fue rechazada y luego apelada.

“Quienes formamos parte de O.D.I.A. entendemos que es necesario un espacio de debate acerca de los vínculos entre las personas y lo digital y creemos que la ciudadanía no termina donde comienza una pantalla”, plantea la organización”.

El sistema de reconocimiento facial es muy problemático. Si bien se trata de una tecnología que tiene múltiples usos, es de una revolución tecnológica que ha generado problemas incluso en Argentina: en Bahía Blanca, en 2019, por poner solo un ejemplo, detuvieron durante una semana a un ciudadano por un error.

Centro de monitoreo de camaras de suguridad en el subte de la linea D, uno de los puntos de la ciudad con cámaras. Foto Archivo Clarín (Lucía Merle)

En la Ciudad, actualmente se utiliza el Sistema de Reconocimiento Facial de Prófugos (SRFP): “Es un software de reconocimiento de caras en las imágenes de las videocámaras del sistema de videovigilancia de la Ciudad de Buenos Aires para localizar prófugos y personas en rebeldía. Cuando se encuentra a una persona con pedido de captura en la vía pública se le envía una notificación al personal policial para que la busque y sea detenida”, explica a Clarín Gonzalo De Vita, miembro del Observatorio de Derecho Informático Argentino.

Desde la organización abrieron un amicus curiae para poder participar de este pedido de información al gobierno porteño.

Acá, en detalle, los problemas que detectan, los potenciales riesgos y las presentaciones judiciales que hicieron para que se frene su uso.

─¿Qué problemas detectan en el sistema?

─Los problemas que detectamos son de órdenes éticos, legales y técnicos.En primer lugar, bajo el eje ético, los sistemas de reconocimiento facial en todo el mundo, hechos por empresas de primer nivel como Amazon, Google, Microsoft, han sido reconocidos como sesgados bajo auditorías, produciendo un mayor número de errores hacia poblaciones minoritarias. En el caso de la Ciudad de Buenos Aires no podemos saber si esto ocurre ya que no se nos dio acceso al mismo. Si el sistema detecta a una persona incorrectamente, la misma debe ser demorada aún cuando el error sea evidente.

─¿Y desde lo técnico, qué detectaron?

─A nivel técnico, pasando de largo los problemas relacionados con uso de tecnologías obscuras y obsoletas, los sistemas informáticos requieren de garantías de eficiencia, en particular los de inteligencia artificial necesitan una validación de sesgo. Cualquier sistema de este tipo tendría que tener una precisión mínima del 95%, pero con una rápida regla de 3 logramos estimarla en 53.87%. Sospechamos que podría ser aún menor en poblaciones racializadas y/o minorías.

─¿Cómo funciona este reconocimiento facial?

El sistema funciona con inteligencia artificial para encontrar y reconocer personas en imágenes y contrastarlas contra rostros presentes en otra imagen. Estos sistemas tienen una fase de entrenamiento asistido donde se le presenta caras en distintas condiciones de iluminación, ángulo, etc. y el sistema “adivina” si la persona corresponde a una foto que ya vio. Como explica Cathy O’Neil en su libro Armas de Destrucción Matemática, la calidad de estos sistemas dependen ampliamente de la calidad de su entrenamiento: una de nuestras preguntas fue acerca de los datos de entrenamiento, pero la Ciudad de Buenos Aires declaró no conocerlo ya que estuvo a cargo de una empresa privada.

─¿Y cómo se aplica?

─Para la puesta en práctica se usa la base de datos de búsqueda es la de la Consulta Nacional de Rebeldías y Capturas (CoNaRC) con las imágenes del Registro Público de Personas (ReNaPer) y las cámaras de videovigilancia en la vía pública de la ciudad de Buenos Aires.

Un sistema que no está del todo claro

Amazon tiene el sistema de reconocimiento facial más efectivo del mundo. Foto Reuters

No sólo en Argentina diversas organizaciones se oponen a este sistema. A mediados del año pasado, por ejemplo, hubo un caso en Estados Unidos que despertó fuertes polémicas: un afroamericano había sido detenido por un error en un programa de reconocimiento facial, y esto reavivó la preocupación sobre los riesgos de sesgo en la inteligencia artificial, en medio de una ola de protestas contra el racismo y la violencia policial.

Incluso Amazon, que tiene el mejor sistema de reconocimiento facial del mundo (y lo terceriza para otras empresas y Estados), extendió este año la prohibición de que se lo use con fines policiales.

En general, las asociaciones suelen indagar en cómo se construyen e implementan estos sistemas, que no suelen ser del todo claros.

─¿Cuán seguro es este sistema?

─La seguridad es clave en un sistema de esta índole, porque los datos biométricos no son modificables y cualquier vulneración haría que otros sistemas que se basan en reconocimiento facial, como por ejemplo las identificaciones de las entidades bancarias, estén comprometidas. Sin una auditoría extensiva de la implementación y con respuestas muy escurridizas del GCBA solo podemos adivinar el estado de seguridad del sistema sin embargo algunos detalles técnicos, como el sistema de encriptado que utilizar, que fueran informados por el propio GCBA indican que el SRFP porteño se encuentra utilizando tecnología declarada obsoleta hace años, esto participa a construir nuestra sospecha y la demanda de una auditoría exhaustiva.

─¿En base a qué sistema operativo funciona?

─En tal sentido, el proveedor jamás ha presentado a la opinión pública las medidas de seguridad introducidas al sistema ni tampoco los sets de datos empleados por el mismo para su entrenamiento, por lo tanto no podemos saber cómo funciona.

─”La mera existencia de este sistema afecta nuestros derechos”, aseguran desde O.D.I.A. ¿Por qué?

─El derecho a la privacidad es una garantía constitucional. Estar constantemente monitoreado e identificado niega esta posibilidad. El artículo 18 de la Constitución Nacional, indica que se debe seguir el “debido proceso” y que todos somos inocentes sin un juicio previo, este sistema juzga a todas las personas que simplemente transitan por la vía pública, obviando el juicio previo y que sólo debe ser juzgado por “Juez Natural”. Este sistema no es un Juez y mucho menos es Natural.

Otro derecho existente es el de reunión. Al ser un sistema ubicuo en constante funcionamiento cualquier persona se debe sentir observada y con ello su comportamiento afectado. Por ejemplo: un abogado con un cliente, una relación privilegiada en el derecho, y sostenida en el famoso caso Halabi. Se debe garantizar la privacidad en todo momento.

Foto Lucía Merle

─Hay un debate en torno a “derechos vulnerados” y “prevención de riesgo, también. ¿Cómo es esto?

─Claro, una de las problemáticas planteadas respecto a este tipo de sistemas es el grado de proporcionalidad entre la invasión a la privacidad que estos producen y los riesgos que se pretende paliar. En la mayoría de los casos un elemento que queda por fuera de las discusiones es aquel que viene dado en pensar qué sucedería si esta tecnología fuera utilizada para otros fines. En este punto, las medidas de seguridad y uso adecuado de esta tecnología resultan fundamentales para poder ponderar adecuadamente los riesgos implícitos en su uso. Lamentablemente, tales aspectos del SRFP no han sido puestos en conocimiento de la ciudadanía. Al día de la fecha, la Ciudad cuenta con un sistema automatizado operando en sus calles del que existen pocas o nulas garantías respecto a su seguridad interna y externa.

─¿Qué es el amicus curiae que abrieron y de qué se trata el amparo?

─El juez resolvió otorgarles a “todas aquellas personas que pudiera tener un interés en el resultado del litigio la posibilidad de integrar el proceso tanto como actores o demandados”. Para eso publicó el llamado en medios oficiales como el Boletín Oficial. Desde el Observatorio de Derecho Informático Argentino, colaboramos con la difusión y el pedido de participación a la sociedad en general y a tomar conocimiento de la gravedad que esto significa. El amparo en sí presenta los problemas mencionados anteriormente y solicitamos la desconexión del sistema.

SL

TEMAS QUE APARECEN EN ESTA NOTA

Articulos relacionados