Все частіше ключові рішення в житті людей приймаються на основі величезного обсягу інформації, пише The Atlantic. Починаючи від визначення рівня кредитоспроможності і закінчуючи прийомом на роботу. При чому, все частіше вид інформації, яка враховується при прийнятті рішень, навіть не розкривають. Іноді до уваги беруться не тільки дані про конкретну людину, але і про її оточення: друзів, сім'ю, знайомих. Експерти побоюються, що це може привести до дискримінації.

Наприклад, німецька компанія Kreditech просить заявників на кредит надати інформацію з їх соцмереж. Компанія аналізує друзів заявників: якщо хтось із його друзів брав кредит і успішно його виплатив, це враховується як «позитивний індикатор». Про це головний фінансовий директор компанії розповів Financial Times.

В Індії та Росії працює компанія FICO у співпраці зі стартапами на кштал Lenddo - збирає та аналізує дані, які надходять зі смартфонів.  Наприклад, відслідковує геолокацію та на основі отриманих даних про пересування користувача перевіряє, чи дійсно він живе там, де вказав у своїй заявці на кредит. Також компанія аналізує соціальні зв'язки потенційного отримувача кредиту, враховуючи чи є серед його друзів сумлінні позичальники або шахраї.

«Але чим складніші та непрозоріші ці алгоритми, тим більше способів відсторонити певні категорії людей від пошуку роботи або програм кредитування. І тим складніше зрозуміти, чому так відбувається», - зазначає The Atlantic. Більше того, системи, які враховують дії сім'ї і друзів як потенційні фактори ризику, ідентифікують ні в чому не винних людей як потенційну загрозу, базуючись лише на асоціації. Людині можуть відмовити в певних свободах виключно виходячи з соціальної групи, до якої вона належить.  

«Наприклад, хтось живе в спільноті з низьким рівнем доходів. Відповідно, ця людина може мати друзів та родичів з аналогічними рівнями доходів. Більш імовірно, що ці люди матимуть гіршу кредитну історію, ніж "білі комірці" з середнього класу Якщо алгоритм братиме ці зв'язки до уваги, він відкидатиме подібних людей тільки на підставі його або її соціального середовища», - пише видання.  В США закон про рівні кредитні можливості не дозволяє кредиторам дискримінувати людей за ознакою раси, кольору шкіри, релігії, національного походження, статі, сімейного стану, віку. Але алгоритми з урахування соціального оточення людини можуть замінити собою усі ці вимоги.

Три дослідники питань конфіденційності в 2014 році опублікували статтю про потенційну загрозу дискримінації у разі залучення алгоритму, який досліджує соціальні зв'язки людей. «Люди все частіше стикаються з технологічно опосередкованою дискримінацією на основі їх позиції в мережах. У найбільш наочних прикладах мережевої дискримінації легко виділити ключові ознаки: раса та соціальний клас. В результаті, ми бачимо як виникають диспропорції, які впливають на і без того маргіналізовані групи населення», - йдеться в статті.

Як писав MediaSapiens, видання Seattle Times провело експеримент, який показав дискримінацію за ознакою статі при пошуку по сайту LinkedIn. Вводячи в рядок пошуку жіноче ім'я,  сайт автоматично підтягував можливі результати, пропонуючи натомість чоловіче ім'я. При введенні у пошук чоловічих імен, жіночі варіанти цих імен алгоритм LinkedIn не пропонував. Компанія заявила, що оновила свій алгоритм, аби в майбутньому уникнути подібних результатів пошуку по сайту.