Способы снижения рисков AI решений

Продолжаем цикл обзорных статей опроса McKinsey The state of AI in 2021, который был опубликован декабре 2021 года. В предыдущей части Передовые практики внедрения AI решений (datanomics.ru) были проанализированы результаты и составлен перечень некоторых передовых подходов к созданию, развертыванию и оценке ИИ решений. В этой статье выделим основные способы снижения рисков проектов искусственного интеллекта.

Актуальные риски ИИ

Респонденты и из стран с развитой, и с развивающейся экономикой поставили на первое месте риск кибербезопасности (57% и 47% соответственно).

Но в отличии от респондентов из стран с развитой экономикой, которые на втором месте выделили риск соответствия нормативным требованиям (50%), респонденты из стран с развивающейся экономикой больше беспокоятся о риске, связанном с личной/индивидуальной конфиденциальностью (45%).

В четверку топ рисков у респондентов в обеих группах вошел риск интерпретируемости.

Под интерпретируемостью понимается возможность объяснить, как модели ИИ приходят к своим ответам. Заказчики от бизнеса не хотят получать в распоряжение «черные ящики», ответы которых невозможно проверить, т. к. ответственность продолжает оставаться на стороне людей, а не машин. Компании с высокоэффективным внедрением решений ИИ в составе своих бизнес-процессов имеют методы и процедуры, обеспечивающие интерпретируемость моделей.

Подробнее о том, какие элементы MLOps используют высокоэффективные компании читайте в статье  Передовые практики внедрения AI решений (datanomics.ru)

Способы снижения рисков ИИ

McKinsey для опроса выделило 3 основных направления, в которых компании ведут работу по методам снижения рисков ИИ.

1.    Данные для обучения и тестирования моделей ИИ

Приоритетные методы снижения риска в работе с обучающими и тестовыми выборками:

• Сканирование выборок на предмет недопредставленности данных (47% респондентов компаний с высокоэффективным внедрением решений ИИ).

Качество моделей зависит от качества данных и их корректного ввода. Процедуры защиты данных, используемых для построения и тестирования моделей, от ошибок и пропусков позволяет избегать искажений и повышать точность моделирования ИИ решений.

• Проверка данных дата-инженерами на предмет искажения и предвзятости (47% респондентов компаний с высокоэффективным внедрением решений ИИ).

Наличие процедур поддержки качества ввода данных не отменяет проверку и чистку данных специалистами, строящими ИИ модели.

• Увеличение защищенных данных от некорректного ввода по мере необходимости (36% респондентов компаний с высокоэффективным внедрением решений ИИ).

По мере накопления данных или увеличения аналитических разрезов в данных необходимо расширять проверку корректности их ввода для поддержания качества моделирования.

2.    Оценка точности и смещений модели

Модели ИИ – это не статичное решение, которое построив однажды, можно эксплуатировать на протяжении нескольких лет, ничего не меняя. С увеличением количества данных, аналитических признаков, влияющих на объект моделирования, необходимо проводить и обновление моделей для поддержания их качества работы.

Компании с высокоэффективным внедрением решений ИИ используют следующие практики для поддержания актуальности существующих моделей ИИ:

• Переобучение моделей при обнаружении проблем
• Регулярное отслеживание отклонений данных и/или концепции модели
• При развертывании решений в промышленную эксплуатацию существует этап проверки работы модели человеком, чтобы оценить ее предвзятости
• Обучение пользователей приемам отслеживания проблем в работе моделей ИИ
• Наличие критериев по частоте обновления моделей

3.    Документирование

Документирование — это обязательная составляющая любого ИТ-решения. При работе с моделями ИИ необходимо принимать во внимание следующие пункты:

• Документировать производительность модели на постоянной основе
• Документировать архитектуру модели
• Сохранять обучающий датасет и документировать процесс обучения
• Документировать потоки данных
• Документировать проблемы или принятые компромиссы в работе модели.

Заключение

Результаты опроса демонстрируют, что интеллектуальные системы, не могут пока существовать без участия человека. Кроме того, развитие ИИ развивает новые процессы и практики, например, MLOps, создает профессии, которых раньше не было. Агентство IDC оценивает, что затраты на развитие решений в области ИИ вырастут в 2022 на 19,65%, или до $433 млрд, а в 2023-м, если тенденция продолжится, превысят $500 млрд.

Использование лучших практик внедрения и принятие во внимание рисков ИИ позволит тратить эффективно и иметь предсказуемые расходы на внедрение интеллектуальных решений.

Дополнительно

Передовые практики внедрения AI решений (datanomics.ru)

Снижение рисков инновационных проектов или как помочь проекту взлететь (datanomics.ru)

Data Governance. 5 основных задач управления данными (datanomics.ru)