Умните алгоритми могат да дискриминират „неволно“
Компаниите ще би трябвало да преценят дали логаритмите, които зареждат техните принадлежности, не основават изкривявания или дискриминация
Сложните аналитични технологии, употребявани от банките и застрахователите за взимане на бизнес решения, могат несъзнателно да дискриминира някои консуматори (източник: CC0 Public Domain)
Големите данни и основаните на тях разбори в разнообразни браншове могат да дискриминират избрани консуматори. Темата стана гореща още веднъж, откакто американски финансисти предизвестиха, че сходни изкривявания са доста евентуални в банковия и застрахователния бранш, а най-голямата обществена мрежа бе атакувана поради логаритмите, които употребява за проявление на избрани реклами на избрани консуматори.
Финансови „ огромни данни “
Сложните аналитични технологии, употребявани от банките и застрахователите за взимане на бизнес решения, могат несъзнателно да дискриминира някои консуматори. За това предизвести новият началник на регулатора по на финансовите услуги в Ню Йорк Линда Лейсуел, представен от Ройтерс.
„ Големите данни – това е риск и опция “, сподели Лейсуел, настоящ суперинтендант на Нюйоркския държавен департамент по финансови услуги (NYDFS) на конгрес на застрахователните юристи. „ Трябва да сме сигурни, че методът, по който [технологията] се ползва, не вреди на крайния консуматор на продукта “, сподели Лейсуел.
Коментарът на Лейсуел бе изработен в миг, когато от ден на ден застрахователни компании и банки разчитат на умни технологии и автоматизация, с цел да си оказват помощ при вземането на решения, вариращи от установяване на допустимостта за обезпечаване до наградите до платежоспособност. Паралелно с това нараства и безпокойството измежду регулаторите по отношение на комплицираните математически формули, които се употребяват за взимане на тези решения.
„ Имаме доста работа в софтуерната промишленост и това ще бъде фокус за нас “, сподели Лейсуел. Застрахователните компании ще би трябвало да оценят въздействието на употребяваните логаритми и да отговорят дали резултатите им не основават условия за дискриминация.
„ Не ми се има вяра, че индивидът, който основава сходен логаритъм, съзнателно ще се пробва да дискриминира някого и да изключи дадена група, само че какво е въздействието на [създадения от него] логаритъм? ” – реторично запита Лейсуел.
Темата е продължение на стартират по-рано спор по отношение на логаритмите, които финансовите институции употребяват за оценка на потребителите си. Дискусията започва още при започване на годината, когато регулаторът беше под ръководството на Мария Въло, предходник на Лейсуел. Под управлението на Въло организацията издаде управление, което разрешава на застрахователите в Ню Йорк да употребяват данни от обществени медии и други нетипични източници, когато правят оценка наградите за своите консуматори. Въло обаче също акцентира тогава, че боравенето с сходни източници и анализът на данни не трябва да „ дискриминират избрани клиенти ”.
Обяви за работа и реклами
Манипулации са вероятни и в обществените медии и това още веднъж може да докара до дискриминация, разкри изследване, обвързвано с рекламите във Фейсбук. Ново академично проучване сподели, че логаритмите на Фейсбук могат да канализират някои разгласи за работа по метод, който е дискриминационен – даже когато рекламодателите не ползват каквито и да е стандарти и дават отговор рекламата им да бъде еднообразно забележима за всички евентуално заинтригувани.
Група от откриватели от Североизточния университет в Съединени американски щати, Университета в Южна Калифорния и групата за отбрана на гражданските права Upturn е пуснала реклами, които търсят хора за работни места в дърводобивната индустрия и за учители в предучилищни заведения. Обявите трябвало да бъдат добре уравновесени по пол. Въпреки това Фейсбук е рекламирала първото повече измежду мъже, а обявата за учители – повече измежду дами.
Фейсбук предлага огромни благоприятни условия на рекламодателите да избират кой да вижда техните реклами, като подсигурява, че рекламите на пелени се изпращат най-много на младите родители, а поканите за финансиране на политическите претенденти се виждат най-вече от техни поддръжници. Но даже откакто рекламодателите изберат всички хора поравно да виждат известията, Фейсбук неумишлено избира кой в действителност да гледа анонсите, основавайки се частично на „ знанието “ на логаритмите си – които предсказват кой консуматор на какво е податлив да кликне.
Закон за „ безпристрастност “ на логаритмите
Всичко това се случва в миг, в който американски законодатели показаха законопроект, който ще изисква от огромните компании да одитират системите за машинно самообразование и изкуствен интелект, с цел да подсигуряват тяхната „ безпристрастност “.
Предложеният „ закон за алгоритмичната отчетност “ ще изисква въвеждането на правила за оценка на „ високо чувствителни “ автоматизирани системи. Компаниите ще би трябвало да преценят дали логаритмите, които зареждат техните принадлежности, не основават изкривявания или дискриминация, както и дали не съставляват риск за неприкосновеността на персоналния живот или сигурността за потребителите.
В изказване по отношение на основаването на проектозакона един от съавторите му, сенатор Рон Вайден, споделя, че „ компютрите все по-често вземат участие във вземането на най-важните решения, засягащи живота на хората – дали човек може да си купи жилище, дали може да си откри работа – или даже да отиде в пандиза ”. По думите му, прекомерно постоянно тези логаритми зависят от пристрастни догатки или данни, които в действителност могат да засилят дискриминирането против избрани групи хора.
В анонса за новия законопроект се загатва и казусът с рекламите на Фейсбук. В аргументацията става дума и за подобен проблем с Amazon, чиито разгласи за работа в някои случаи се демонстрират извънредно на мъже и се дискриминират дамите.
Сложните аналитични технологии, употребявани от банките и застрахователите за взимане на бизнес решения, могат несъзнателно да дискриминира някои консуматори (източник: CC0 Public Domain)
Големите данни и основаните на тях разбори в разнообразни браншове могат да дискриминират избрани консуматори. Темата стана гореща още веднъж, откакто американски финансисти предизвестиха, че сходни изкривявания са доста евентуални в банковия и застрахователния бранш, а най-голямата обществена мрежа бе атакувана поради логаритмите, които употребява за проявление на избрани реклами на избрани консуматори.
Финансови „ огромни данни “
Сложните аналитични технологии, употребявани от банките и застрахователите за взимане на бизнес решения, могат несъзнателно да дискриминира някои консуматори. За това предизвести новият началник на регулатора по на финансовите услуги в Ню Йорк Линда Лейсуел, представен от Ройтерс.
„ Големите данни – това е риск и опция “, сподели Лейсуел, настоящ суперинтендант на Нюйоркския държавен департамент по финансови услуги (NYDFS) на конгрес на застрахователните юристи. „ Трябва да сме сигурни, че методът, по който [технологията] се ползва, не вреди на крайния консуматор на продукта “, сподели Лейсуел.
Коментарът на Лейсуел бе изработен в миг, когато от ден на ден застрахователни компании и банки разчитат на умни технологии и автоматизация, с цел да си оказват помощ при вземането на решения, вариращи от установяване на допустимостта за обезпечаване до наградите до платежоспособност. Паралелно с това нараства и безпокойството измежду регулаторите по отношение на комплицираните математически формули, които се употребяват за взимане на тези решения.
„ Имаме доста работа в софтуерната промишленост и това ще бъде фокус за нас “, сподели Лейсуел. Застрахователните компании ще би трябвало да оценят въздействието на употребяваните логаритми и да отговорят дали резултатите им не основават условия за дискриминация.
„ Не ми се има вяра, че индивидът, който основава сходен логаритъм, съзнателно ще се пробва да дискриминира някого и да изключи дадена група, само че какво е въздействието на [създадения от него] логаритъм? ” – реторично запита Лейсуел.
Темата е продължение на стартират по-рано спор по отношение на логаритмите, които финансовите институции употребяват за оценка на потребителите си. Дискусията започва още при започване на годината, когато регулаторът беше под ръководството на Мария Въло, предходник на Лейсуел. Под управлението на Въло организацията издаде управление, което разрешава на застрахователите в Ню Йорк да употребяват данни от обществени медии и други нетипични източници, когато правят оценка наградите за своите консуматори. Въло обаче също акцентира тогава, че боравенето с сходни източници и анализът на данни не трябва да „ дискриминират избрани клиенти ”.
Обяви за работа и реклами
Манипулации са вероятни и в обществените медии и това още веднъж може да докара до дискриминация, разкри изследване, обвързвано с рекламите във Фейсбук. Ново академично проучване сподели, че логаритмите на Фейсбук могат да канализират някои разгласи за работа по метод, който е дискриминационен – даже когато рекламодателите не ползват каквито и да е стандарти и дават отговор рекламата им да бъде еднообразно забележима за всички евентуално заинтригувани.
Група от откриватели от Североизточния университет в Съединени американски щати, Университета в Южна Калифорния и групата за отбрана на гражданските права Upturn е пуснала реклами, които търсят хора за работни места в дърводобивната индустрия и за учители в предучилищни заведения. Обявите трябвало да бъдат добре уравновесени по пол. Въпреки това Фейсбук е рекламирала първото повече измежду мъже, а обявата за учители – повече измежду дами.
Фейсбук предлага огромни благоприятни условия на рекламодателите да избират кой да вижда техните реклами, като подсигурява, че рекламите на пелени се изпращат най-много на младите родители, а поканите за финансиране на политическите претенденти се виждат най-вече от техни поддръжници. Но даже откакто рекламодателите изберат всички хора поравно да виждат известията, Фейсбук неумишлено избира кой в действителност да гледа анонсите, основавайки се частично на „ знанието “ на логаритмите си – които предсказват кой консуматор на какво е податлив да кликне.
Закон за „ безпристрастност “ на логаритмите
Всичко това се случва в миг, в който американски законодатели показаха законопроект, който ще изисква от огромните компании да одитират системите за машинно самообразование и изкуствен интелект, с цел да подсигуряват тяхната „ безпристрастност “.
Предложеният „ закон за алгоритмичната отчетност “ ще изисква въвеждането на правила за оценка на „ високо чувствителни “ автоматизирани системи. Компаниите ще би трябвало да преценят дали логаритмите, които зареждат техните принадлежности, не основават изкривявания или дискриминация, както и дали не съставляват риск за неприкосновеността на персоналния живот или сигурността за потребителите.
В изказване по отношение на основаването на проектозакона един от съавторите му, сенатор Рон Вайден, споделя, че „ компютрите все по-често вземат участие във вземането на най-важните решения, засягащи живота на хората – дали човек може да си купи жилище, дали може да си откри работа – или даже да отиде в пандиза ”. По думите му, прекомерно постоянно тези логаритми зависят от пристрастни догатки или данни, които в действителност могат да засилят дискриминирането против избрани групи хора.
В анонса за новия законопроект се загатва и казусът с рекламите на Фейсбук. В аргументацията става дума и за подобен проблем с Amazon, чиито разгласи за работа в някои случаи се демонстрират извънредно на мъже и се дискриминират дамите.
Източник: technews.bg
КОМЕНТАРИ