Почему управление важно именно сейчас
Каждая организация в странах Залива, использующая ИИ, — будь то банк, рассматривающий заявки на финансирование, больница, сортирующая пациентов, или ритейлер, рекомендующий товары, — принимает решения о людях с помощью машины. Большинство этих решений полезны. Некоторые будут ошибочными, а отдельные — несправедливыми, непрозрачными или вредными. Управление — это просто дисциплина, обеспечивающая, что организация знает, что делают её системы, может это объяснить и может это исправить.
Сейчас это важнее по трём причинам. Системы ИИ используются для решений с серьёзными последствиями, а не только для рекомендаций. Регуляторы региона перешли от рекомендаций к законам, особенно в области персональных данных. А общественное доверие, однажды утраченное, дорого восстанавливать. При правильном подходе управление — не тормоз для инноваций; это то, что позволяет организации двигаться быстро, не ломая того, что важно.
Пять принципов простым языком
Рамки ответственного ИИ по всему миру сходятся на небольшом наборе идей, и версии стран Залива не исключение.
Справедливость означает, что система не должна обращаться с людьми по-разному на основании характеристик, не имеющих отношения к решению, таких как гражданство или пол, если на то нет законной причины. Прозрачность означает, что люди, затронутые решением, должны иметь возможность узнать, что в нём участвовал ИИ, и в содержательных терминах понять, почему результат оказался таким. Конфиденциальность означает, что данные о людях собираются для заявленной цели, хранятся надёжно и не используются для чего-то другого без согласия или правового основания. Подотчётность означает, что за каждую систему отвечает конкретный человек или подразделение; «так решил алгоритм» никогда не является ответом. Человеческий контроль означает, что в решениях с реальными последствиями человек может проверить, оспорить и отменить решение системы и имеет для этого время и информацию.
Ни один из этих принципов не чужд ценностям региона. Справедливость, честность в делах, бережное отношение к доверенному и личная ответственность глубоко укоренены в исламской этике и в социальных нормах стран Залива. Ответственный ИИ придаёт им техническую форму.
Региональный курс
ОАЭ стали одним из первых правительств в мире, которое отнеслось к ИИ как к национальному приоритету, назначив профильного министра по искусственному интеллекту и опубликовав национальную стратегию ИИ с долгосрочным горизонтом. И Дубай, и федеральное правительство выпустили принципы и руководства по этике ИИ, которые организации могут использовать как ориентир, а в стране действует федеральный закон о защите персональных данных.
Саудовская Аравия учредила национальное управление по данным и искусственному интеллекту, которое опубликовало принципы этики ИИ и возглавляет национальную стратегию в области данных и ИИ, согласованную с «Видением 2030». Закон Королевства о защите персональных данных устанавливает правила сбора и обработки персональных данных, которые обязана соблюдать любая организация, внедряющая ИИ.
Детали этих документов меняются, и организациям следует обращаться к действующим официальным текстам и своим юридическим консультантам. Однако направление ясно и последовательно: обе страны хотят широкого внедрения ИИ, и обе ожидают, что оно будет ответственным.
Где на практике что-то идёт не так
Предвзятость редко приходит как сознательный выбор. Она проникает через обучающие данные, отражающие прошлые решения, клиентов или практику найма. Модель, обученная на том, кого одобряли раньше, научится одобрять похожих людей. Лекарство — изучить данные до того, как появится модель, проверить результаты по группам, когда она появится, и продолжать проверки после внедрения, потому что поведение дрейфует по мере изменения данных.
Контроль часто отказывает незаметно. Человек-проверяющий, который видит триста рекомендаций ИИ в день и имеет по тридцать секунд на каждую, не осуществляет контроль; он ставит подпись. Настоящий контроль требует посильной нагрузки, полномочий и возможности видеть логику системы.
Поставщики — третье слабое место. Покупка ИИ-продукта не передаёт ответственность за его результаты. Организациям следует спрашивать поставщиков, как обучались модели, какое тестирование проводилось и какие данные покидают страну.
Практический чек-лист управления
- Ведите реестр всех используемых систем ИИ с указанием владельца и затрагиваемых решений.
- Ранжируйте системы по риску: чат-бот, отвечающий на вопросы о часах работы, — не то же самое, что система, отбирающая соискателей.
- Для систем повышенного риска документируйте источники данных, проверяйте различия в результатах по группам и фиксируйте итоги.
- Определите, кто может отменить решение системы, и обеспечьте этому человеку время и информацию для этого.
- Сообщайте людям, когда ИИ участвует в решениях о них, и предоставляйте им путь для обжалования.
- Пересматривайте каждую систему не реже раза в год и всякий раз, когда меняются данные или назначение.
С чего начать
Начните с реестра; большинство организаций удивляются тому, что находят. Назначьте небольшую межфункциональную группу из представителей технологий, юридической службы, операционной деятельности и кого-то, представляющего затрагиваемых людей, с мандатом ранжировать системы и установить правила для высшего уровня риска. Напишите правила на нескольких страницах, а не на ста. Затем примените их к одной системе высокого риска от начала до конца, извлеките уроки и расширяйте. Хорошее управление — это не столько документы, сколько привычки, а привычки формируются по одной системе за раз.
