Почему ИИ, осуждающий преступников, — это опасно?

Недавно американского высокого судью Джона Робертса спросили, может ли он представить день, когда «умные машины, управляемые искусственным интеллектом, будут помогать в поиске улик или даже в принятии судебных решений». Он ответил: «Этот день уже настал, и он существенно помогает судебным органам в производстве дел»...

Возможно, Робертс имел в виду недавний случай Эрика Лумиса, которого приговорили к шести годам заключения по рекомендации секретного проприетарного программного обеспечения частной компании. Лумис, который уже имел криминальную историю и был приговорен за то, что бежал из полиции на угнанной машине, теперь утверждает, что его право на процедуру было нарушено, поскольку ни он, ни его представители не смогли рассмотреть или опротестовать алгоритм рекомендации.

Отчет был подготовлен программой Compas, которая продается Notrpointe судам. Программа воплощает новую тенденцию в исследованиях ИИ: помогает судьям принять «лучшее» (или по крайней мере более ориентированное на данные) решение в суде.

Хотя конкретные подробности дела Лумиса остаются закрытыми, в нем наверняка содержатся диаграммы и числа, определяющие жизнь, поведение и вероятность рецидива Лумиса. Среди них возраст, раса, гендерная идентичность, привычки, история браузера и какие-нибудь измерения черепа. Точнее никто не знает.

Известно, что прокурор по делу сказал судье, что Лумис продемонстрировал «высокий риск рецидивизма, насилия, досудебного разбирательства». Это стандартно, когда дело касается вынесения приговора. Судья согласился и сказал Лумису, что «по оценке Compas он был определен как лицо, представляющее высокий риск для общества».

Верховный суд штата Висконсин осудил Лумиса, добавив, что отчет Compas привнес ценную информацию в его решение, но отметил, что без него он вынес такой же приговор. Проверить это наверняка, разумеется, не получится. Какими могут быть когнитивные предубеждения, когда в деле участвует всемогущая «умная» система вроде Compas, которая советует судьям, как им поступать?

Нет ничего «незаконного» в том, что сделал суд Висконсина — это просто пример. Другие суды могут и будут делать то же самое. К сожалению, мы не знаем, в какой степени используются ИИ и другие алгоритмы при вынесении приговора. Есть мнение, что некоторые суды «тестируют» системы вроде Compas в закрытых исследованиях, но не могут заявлять о своем партнерстве. Есть также мнение, что несколько стартапов ИИ разрабатывают подобные умные системы.

Однако использование ИИ в законодательстве не начинается и не заканчивается вынесением приговора, оно начинается с расследования. В Великобритании уже разработана система VALCRI, которая выполняет трудоемкие аналитические работы за считанные секунды — пробирается сквозь тонны данных вроде текстов, лабораторных отчетов и полицейских документов, чтобы выделить вещи, которые могут потребовать дальнейшего расследования.

Полиция Уэст-Мидландс в Великобритании будет тестировать VALCRI в течение следующих трех лет, используя анонимные данные, содержащие больше 6,5 миллиона записей. Похожее испытание проводится полицией Антверпена в Бельгии. Однако в прошлом проекты ИИ и глубокого обучения, включающие массивные наборы данных, были проблемными.

Технологии обеспечили множество полезных приспособлений залам суда, от копировальных аппаратов до извлечения ДНК из отпечатков пальцев и сложных методов наблюдения. Но это не означает, что любая технология — это улучшение.

Хотя использование ИИ в расследованиях и приговорах может потенциально сэкономить время и деньги, оно породит острые проблемы. В докладе по Compas от ProPublica было четко сказано, что черных программа ошибочно считает более склонными к рецидивизму ответчиками, чем белых. Даже самые сложные системы ИИ могут унаследовать расовые и гендерные предубеждения тех, кто их создает.

Более того, какой смысл перекладывать принятие решений (по крайней мере частично) по вопросам, которые уникальны для людей, на алгоритм? В США существует определенная трудность, когда суд присяжных судит своих сверстников. Стандарты в законах никогда не были эталонными, потому эти суды присяжных считаются наиболее демократичными и эффективными системами осуждения. Мы совершаем ошибки, но со временем накапливаем знания о том, как их не совершать, уточняя систему.

Compas и подобные ей системы представляют «черный ящик» в правовой системе. Таковых быть не должно. Правовые системы зависят от непрерывности, прозрачности информации и способности к рассмотрению. Общество не хочет появления системы, которая поощряет гонку с созданием стартапов ИИ, которые делают быстрые, дешевые и эксклюзивные решения. Наспех сделанный ИИ будет ужасным.

Обновленная версия Compas с открытым исходным кодом была бы улучшением. Но сперва придется поднять стандарты системы правосудия, прежде чем мы начнем снимать ответственность в пользу алгоритмов.

Источник: hi-news.ru

Александр Григорьев ЦСО "Крокус"