AWS объявляет о выпуске SageMaker Clarify, который поможет снизить предвзятость в моделях машинного обучения

Поскольку компании все больше полагаются на модели машинного обучения для ведения своего бизнеса, необходимо включить меры по борьбе с предвзятостью, чтобы эти модели не делали ложных или вводящих в заблуждение предположений. Сегодня на AWS re: Invent компания AWS представила Amazon SageMaker Clarify, чтобы уменьшить предвзятость в моделях машинного обучения.

«Мы запускаем Amazon SageMaker Уточнение. И это позволяет вам иметь представление о ваших данных и моделях на протяжении всего жизненного цикла машинного обучения », – сказал Братин Саха, Amazon Об этом TechCrunch сообщил вице-президент и генеральный менеджер по машинному обучению.

Он говорит, что он предназначен для анализа данных на предмет предвзятости до того, как вы начнете подготовку данных, чтобы вы могли обнаружить подобные проблемы еще до того, как начнете строить свою модель.

«Как только у меня будет набор тренировочных данных, я могу [look at things like if I have] равное количество различных классов, например, у меня одинаковое количество мужчин и женщин или у меня одинаковое количество классов других типов, и у нас есть набор из нескольких показателей, которые вы можете использовать для статистического анализа, чтобы вы могли получить реальное представление в упрощенный баланс набора данных », – пояснил Саха.

После построения модели вы можете снова запустить SageMaker Clarify, чтобы найти аналогичные факторы, которые могли проникнуть в вашу модель по мере ее создания. «Итак, вы начинаете с анализа статистической погрешности ваших данных, а затем, после обучения, вы можете снова провести анализ модели», – сказал он.

Существует несколько типов предвзятости, которые могут входить в модель из-за опыта специалистов по обработке данных, создающих модель, характера данных и того, как они интерпретируют эти данные с помощью созданной ими модели. Хотя в целом это может быть проблематично, это также может привести к распространению расовых стереотипов на алгоритмы. Например, системы распознавания лиц оказались достаточно точными при распознавании белых лиц, но гораздо хуже, когда дело доходит до распознавания цветных людей.



Выявить подобные предубеждения с помощью программного обеспечения может быть сложно, поскольку это часто связано с составом команды и другими факторами, выходящими за пределы компетенции инструмента анализа программного обеспечения, но Саха говорит, что они пытаются сделать этот программный подход как можно более всеобъемлющим.

«Если вы посмотрите на SageMaker Clarify, он дает вам анализ смещения данных, он дает вам анализ смещения модели, он дает вам объяснимость модели, он дает вам плохую объяснимость вывода, он дает вам глобальную объяснимость», – сказал Саха.

Саха говорит, что Amazon знает о проблеме предвзятости, и именно поэтому он создал этот инструмент, чтобы помочь, но он понимает, что сам по себе этот инструмент не устранит всех проблем с предвзятостью, которые могут возникнуть в моделях машинного обучения, и они также предлагают другие способы помочь .

«Мы также разными способами работаем с нашими клиентами. Итак, у нас есть документация, передовой опыт, и мы указываем нашим клиентам, как создать архитектуру своих систем и работать с системой, чтобы они получали желаемые результаты », – сказал он.

SageMaker Clarify доступен с сегодняшнего дня во многих регионах.