La ciudad de Nueva York se mueve para establecer una fuerza de tarea de monitoreo de algoritmos

La ciudad de Nueva York pronto podrá obtener un grupo de trabajo dedicado a monitorear la imparcialidad de los algoritmos utilizados por las agencias municipales. Formado por expertos en sistemas automatizados y representantes de grupos afectados por esos sistemas, sería responsable de examinar de cerca los algoritmos en uso por la ciudad y hacer recomendaciones sobre cómo mejorar la responsabilidad y evitar prejuicios.

El proyecto de ley , que no tiene un nombre elegante, ha sido aprobado por el ayuntamiento y está en el escritorio del alcalde para su firma. La división de Nueva York de la ACLU ha defendido a favor .

Digamos, por ejemplo, un “sistema de decisión automatizado” (como la ley los llama) determina en cierta medida quién es elegible para la fianza. Puede ser que los sesgos inherentes a los datos de entrenamiento que produjeron este sistema tiendan a resultar en que un grupo sea favorecido injustamente por audiencias de libertad bajo fianza sobre otro.

Se requerirá que el equipo de trabajo cree un informe que establezca procedimientos para tratar situaciones como las anteriores. Específicamente, el informe hará recomendaciones con respecto a lo siguiente:

• ¿Cómo pueden las personas saber si ellos o sus circunstancias se evalúan algorítmicamente y cómo deberían estar informados sobre ese proceso?
• ¿Un sistema determinado afecta desproporcionadamente a ciertos grupos, como los ancianos, los inmigrantes, los discapacitados, las minorías, etc.?
• De ser así, ¿qué debería hacerse en nombre de un grupo afectado?
• ¿Cómo funciona un sistema dado, tanto en términos de sus detalles técnicos como de cómo lo aplica la ciudad?
• ¿Cómo deberían documentarse y archivarse estos sistemas y sus datos de capacitación?

El equipo de trabajo necesitaría formarse dentro de los tres meses de la firma del proyecto de ley, y lo más importante es que debe incluir “personas con experiencia en las áreas de imparcialidad, responsabilidad y transparencia relacionadas con sistemas de decisión automatizados y personas afiliadas a corporaciones benéficas que representan personas en el ciudad afectada por los sistemas de decisión automatizados de la agencia “.

Así que esto no sería solo un grupo de expertos en aprendizaje automático y un par de abogados. También se necesitan trabajadores sociales y defensores de los derechos humanos, algo que ciertamente he defendido en el pasado.

El informe en sí (que sería público) no vencería durante 18 meses, pero este no es el tipo de cosas que desea apurar. La evaluación de estos sistemas es una tarea de uso intensivo de datos y la creación de sistemas municipales paralelos para garantizar que las personas no se salgan de las grietas es muy importante desde el punto de vista cívico.

Haga clic aquí para más información