Мы редко сомневаемся в базовых решениях, которые принимаем в повседневной жизни. Но при этом нам трудно понять, как формируются наши предпочтения, эмоции и желания в текущий момент. То же самое происходит и с ИИ: разработчикам все труднее объяснить, почему созданные ими алгоритмы работают определенным образом и дают такие те результаты. О рисках этой тенденции и том, как от них избавиться, — в пересказе текста Vice.
Ученым все труднее объяснить, как работает ИИ. Почему это опасно?
Глубинные нейронные сети (deep neural networks, DNN) — многоуровневые системы обработки, обученные имитировать работу нашего мозга на созданных человеком данных. Зачастую кажется, что они отражают не только человеческий интеллект, но и его непостижимость.
Большинство систем представляют собой модели типа «черный ящик», которые рассматриваются только с точки зрения их входных и выходных данных. Пока алгоритм дает нужные результаты, ученые не пытаются расшифровать его.
Например, если ввести в модель данные о каждом отдельном вкусе мороженого и демографические данные об экономических, социальных факторах и образе жизни миллионов людей, она, вероятно, могла бы угадать ваш любимый вкус мороженого или адрес любимого магазина, даже если не была запрограммирована на это.
Заставь искусственный интеллект самообучаться и совершенствоваться – выбирай онлайн-курсы в каталоге курсов по машинному обучению.
Как известно, такие системы ИИ не лишены проблем, потому что данные, на которых они обучаются, часто по своей сути предвзяты и имитируют расовые и гендерные предубеждения, существующие в обществе.
Пример — ситуация, когда технология распознавания лиц неверно идентифицирует темнокожих пользователей. Исправить такие системы трудно отчасти потому, что разработчики не всегда могут полностью объяснить, как они работают.
Поскольку системы ИИ становятся сложнее, а людям все труднее их понимать, эксперты и исследователи призывают разработчиков сделать шаг назад и больше внимания уделять не скорости систем, а тому, как и почему система дает определенные результаты.
«Если все, что у нас есть, — это «черный ящик», невозможно понять причины сбоев и повысить безопасность системы», — пишет Роман Ямпольский, профессор компьютерных наук в Университете Луисвилля, в своей статье под названием «Необъяснимость и непостижимость искусственного интеллекта».
«Кроме того, если мы привыкнем принимать ответы ИИ без объяснения причин… мы не сможем сказать, когда он начнет давать неправильные или манипулятивные ответы» — добавляет Ямпольский.
Модели типа «черный ящик» могут быть чрезвычайно мощными. И поэтому многие ученые и компании готовы жертвовать объяснимостью ради результата. Системы ИИ используются для автономных автомобилей, чат-ботов по обслуживанию клиентов и диагностики заболеваний, и они способны выполнять некоторые задачи лучше, чем люди.
Машина, способная запоминать триллион таких элементов, как цифры, буквы и слова, справляется с обработкой информацией гораздо лучше, чем люди, которые в среднем запоминают семь элементов в своей кратковременной памяти. К моделям глубокого обучения относятся и генеративные состязательные сети (GAN), которые чаще всего используются для обучения генеративных моделей ИИ вроде MidJourney AI, которая создает изображения на основе текста.
Читайте по теме:
Подборка: 10 самых популярных ИИ-генераторов изображений
Фотобанк Shutterstock начнет продавать сгенерированные нейросетью изображения
По сути GAN заставляют модели ИИ соревноваться в выполнении определенной задачи. «Раунды» повторяются, пока модель не будет очень хорошо справляться с этой задачей. Проблема в том, что в результате появляются модели, работу которых разработчики просто не могут объяснить.
«Я думаю, что во многих случаях люди обращаются к моделям типа «черный ящик» как к ответу на нехватку ресурсов. Было бы очень удобно иметь автоматизированную систему, которая могла бы выдавать те результаты, которые они ищут, из тех входных данных, которые у них есть», — рассуждает Эмили М. Бендер, профессор лингвистики Вашингтонского университета.
По ее словам, такую систему можно обучить выдавать выходные данные нужного типа, но гораздо сложнее оценить, являются ли они правильными. И есть множество случаев, когда невозможно создать надежную систему, потому что во входных данных недостаточно информации.
Когда мы доверяем системе просто потому, что она дает нам подходящие ответы, мы не задаем главные вопросы. Надежны ли эти ответы или ИИ просто говорит нам то, что мы хотим услышать? Кому в конечном счете приносят пользу результаты? И кто понесет ответственность, если они вызовут вред?
«Если руководители бизнеса и дата-сайентисты не понимают, почему и как ИИ рассчитывает результаты, это создает потенциальный риск для бизнеса. Отсутствие объяснимости ограничивает потенциальную ценность ИИ, препятствуя развитию и доверию к инструментам, которые внедряют компании», — отмечает Бина Амманат, исполнительный директор Института ИИ Deloitte.
Джефф Клюн, адъюнкт-профессор компьютерных наук в Университете Британской Колумбии, объясняет, что это создает два вида рисков:
- решения, основанные на предвзятых убеждениях (расистских или сексистских);
- неверные решения, которые не изменить, потому что аргументация непонятна.
Системы ИИ уже пронизаны предвзятыми убеждениями и постоянно воспроизводят их в выходных данных, а разработчики не понимают, как это происходит.
В исследовании 2018 года под названием «Гендерные оттенки» исследователи Джой Буоламвини и Тимнит Гебру обнаружили, что популярные системы распознавания лиц наиболее точно определяли мужчин со светлой кожей и совершали больше всего ошибок, распознавая женщин с более темной кожей.
- Системы распознавания лиц используются для всего, от жилья до полиции, и укореняют существующие предрассудки, определяя, например, кто с большей вероятностью получит дом или будет идентифицирован как преступник.
- Прогнозирующие системы ИИ также могут угадать расу человека на основе рентгеновских снимков и компьютерной томографии, но ученые понятия не имеют, почему и как это происходит.
- Темнокожие пациенты и женщины с меньшей вероятностью получат точный диагноз от автоматизированных систем, которые анализируют медицинские изображения, и пока неясно, почему.
Это всего лишь несколько примеров того, как использование готовых результатов без понимания искажений системы создает негативные социальные последствия.
В то же время некоторые эксперты утверждают, что переход к открытым и интерпретируемым моделям ИИ — при обеспечении большей наглядности этих процессов — приведет к тому, что системы станут менее эффективными.
«Сейчас есть много задач, в которых подходы «черного ящика» намного лучше, чем интерпретируемые модели, — говорит Клюн. — Обычно существует компромисс между возможностями и интерпретируемостью. Люди работают над устранением этого разрыва, но я подозреваю, что он сохранится в обозримом будущем и потенциально будет существовать всегда».
Хотя уже существует подмножество ИИ, известное как объяснимый ИИ (Explainable AI, XAI), его методы зачастую ограничивают процессы и уменьшают их точность. Поэтому разработчики ИИ не заинтересованы в этой модели.
Фото в тексте: Unsplash
В последние годы некоторые представители отрасли начали развивать другой подход — «модели белого ящика», которые работают прозрачнее и дают более объясняемые результаты.
Исследователи считают, что первый шаг — предоставить пользователям большую роль на разработку, чтобы создавать системы, более адекватные их потребностям.
«Многие из предлагаемых объяснений на самом деле таковыми не являются. Они носят упрощенный характер, они написаны с учетом интересов разработчиков и того, что разработчики считают важным объяснить, а не того, что нужно пользователю», — говорит Ос Кейс, кандидат наук на факультете дизайна и инженерии, ориентированных на человека, Университета Вашингтона.
Более сложная проблема заключается в том, что многие системы искусственного интеллекта разработаны с учетом концепции универсализма — идеи о том, что «система хороша, если она работает везде и для всех в любое время», — объясняет Кейс.
«Но проблема в том, что реальность устроена не так, разным людям понадобятся разные объяснения разных вещей», — добавляет он.
В результате получается система, которая имеет смысл лишь для одной группы людей, которая задействованы в системе.
Исследователи уже несколько лет призывают создавать локализованные системы ИИ вместо универсальных. Так, в статье 2021 года, написанной в соавторстве с Бендером и Гебру, которые были уволены из Google за публикацию этого исследования, утверждается, что модели обучения ИИ на больших данных трудно проверить на наличие встроенных предубеждений.
Читайте по теме:
Экс-сотрудница Google создала независимую лабораторию для исследования ИИ
ИИ уже меняет креативные профессии. Что об этом думают художники?
Авторы писали, что большие данные также не отражают население, имеющее меньший доступ к интернету, и «избыточно представляют молодых пользователей и выходцев из развитых стран».
«Если мы настраиваем ИИ на основе больших данных, они всегда будут предвзятыми в пользу тех, у кого есть ресурсы для запуска тысячи серверов, или к тем, кто может, скажем, получить миллиард изображений и обучить их», — говорит Кейс.
Решение — не пытаться симулировать беспристрастность, а учитывать предвзятость в процессе разработки.
«Подход, который я в настоящее время считаю наилучшим, заключается в том, чтобы система научилась делать то, что мы от нее хотим, — говорит Клюн. — Это означает, что ИИ пробует делать то, о чем мы его просим (например, генерировать фотографии CEO), и если он делает не то (скажем, создает изображения только белых мужчин), мы даем ему отрицательную обратную связь, и он учится и пробует снова.
Мы повторяем до тех пор, пока он не приведет к чему-то, что мы одобряем (например, возвращаем набор фотографий, которые представляют нужное нам разнообразие).
Это называется «обучение с подкреплением через обратную связь с человеком». Но пока система далека от совершенства, и для улучшения требуется гораздо больше исследований и инноваций.
Поскольку мы продолжаем обсуждать, где и как следует использовать ИИ, нужно многое изучить, прежде чем мы разрешим алгоритмам нанимать людей или решать, кому давать кредиты.
«Я думаю, что исключительно важно начать с того, что иметь в виду под ИИ, — рассуждает Бендер. — Это инструменты, которые могут служить определенным целям. Как и в случае с любыми другими инструментами, мы должны задуматься: насколько хорошо они работают? Насколько они подходят для выполнения поставленной задачи? Для кого они предназначены? И, наконец: Как их использование может усилить или усугубить чье-то положение?».
Источник: rb.ru
