Суд в Нидерландах постановил, что алгоритмическая система оценки рисков, используемая голландским государством для того, чтобы попытаться предсказать вероятность того, что заявители по социальному обеспечению получат льготы или уклонение от уплаты налогов, нарушит закон о правах человека.
Законодательство правительства Нидерландов по системной индикации риска (SyRI) использует не раскрываемую алгоритмическую модель риска для профилирования граждан и ориентировано исключительно на районы с населением, в основном с низким уровнем дохода и проживающим в меньшинстве. Правозащитники называют его «государством надзора за благосостоянием».
Ряд организаций гражданского общества в Нидерландах и два гражданина подали иск против SyRI – пытаясь заблокировать его использование. Суд сегодня приказал немедленно прекратить использование системы.
господствующий провозглашается правозащитником, выступающим в защиту прав человека, как основополагающее решение суда, основанное на европейском праве прав человека, в частности, на праве на частную жизнь, закрепленном в статье 8 Европейской конвенции о правах человека (ЕКПЧ), а не на специальное положение в структуре защиты данных ЕС (GDPR), которое относится к автоматизированной обработке.
Статья 22 GDPR включает в себя право физических лиц не подвергаться исключительно автоматизированному индивидуальному принятию решений, когда они могут привести к значительным юридическим последствиям. Но может быть некоторая неясность относительно того, применимо ли это, если где-то в цикле есть человек, например, для пересмотра решения по возражению.
В этом случае суд обошел такие вопросы, установив, что СиРИ непосредственно вмешивается в права, изложенные в ЕСПЧ.
В частности, суд установил, что законодательство о СИРИ не соответствует балансирующему критерию в статье 8 ЕКПЧ, который требует, чтобы любой социальный интерес был взвешен против нарушения частной жизни людей – при этом требуется справедливый и разумный баланс.
В своем нынешнем виде автоматизированная система оценки рисков не прошла этот тест, по мнению суда.
Эксперты по правовым вопросам предполагают, что это решение устанавливает некоторые четкие ограничения в отношении того, как государственный сектор в Великобритании может использовать инструменты ИИ, а суд возражает, в частности, по поводу отсутствия прозрачности в отношении того, как функционирует система алгоритмической оценки рисков.
В пресс-релиз о решении (переведено на английский язык с помощью Google Translate) суд пишет, что использование SyRI является «недостаточно ясным и контролируемым». Хотя, согласно Хьюман Райтс ВотчВ ходе слушаний правительство Нидерландов отказалось раскрыть «значимую информацию» о том, как SyRI использует персональные данные, чтобы сделать выводы о возможном мошенничестве.
Суд однозначно отнесся к тому, что государство пытается обойти контроль за риском для прав человека, указав на алгоритмический «черный ящик» и пожав плечами.
Специальный докладчик ООН по вопросам крайней нищеты и прав человека Филипп Алстон, который вмешался в дело, предоставив суду анализ прав человека – приветствовал это решение, охарактеризовав его как «явную победу для всех тех, кто обоснованно обеспокоен серьезной угрозой, которую цифровые системы социального обеспечения представляют для прав человека».
«Это решение создает сильный правовой прецедент для других судов. Это один из первых случаев, когда суд где-либо прекращал использование цифровых технологий и обильной цифровой информации органами социального обеспечения по правам человека », – добавил он в прессе. заявление,
Вернуться в 2018 Олстон предупредил, что стремление правительства Великобритании применять цифровые технологии и инструменты данных для социальной реорганизации предоставления государственных услуг в таких масштабах может привести к огромным последствиям для прав человека наиболее уязвимых слоев населения.
Таким образом, решение голландского суда может иметь некоторые краткосрочные последствия для политики Великобритании в этой области.
Суждение не закрывает дверь для использования государствами автоматизированных систем профилирования полностью – но ясно дает понять, что в Европе право прав человека должно быть центральным в разработке и внедрении инструментов риска для прав человека.
Это также происходит в ключевой момент, когда политики ЕС работая над рамками для регулирования искусственного интеллекта – с обязательством Комиссии разработать правила, обеспечивающие применение технологий искусственного интеллекта с соблюдением этических норм и с ориентацией на человека.
Еще неизвестно, будет ли Комиссия настаивать на общеевропейских ограничениях на конкретные виды использования ИИ в государственном секторе, такие как оценки социального обеспечения. недавно опубликованный проект белой книги по регулированию искусственного интеллекта предполагает, что он склоняется к оценке рисков и клочкам правил, основанных на риске.