Ekspertka Amnesty International Meredith Broussard: „Rasizm, seksizm i rywalizacja to problemy systemowe” | sztuczna inteligencja (AI)

MEredith Broussard Jest dziennikarzem danych i naukowcem, którego badania koncentrują się na uprzedzeniach w sztucznej inteligencji (AI). Była na czele podnoszenia świadomości i alarmowania o nienadzorowanej sztucznej inteligencji. jej poprzednia książka Bez sztucznej inteligencji (2018) ukuli termin „technoszowinizm” na określenie ślepej wiary w wyższość rozwiązań technicznych w rozwiązywaniu naszych problemów. Wystąpił w filmie dokumentalnym Netflix zakodowana stronniczość (2020), który bada, w jaki sposób algorytmy kodują i propagują dyskryminację. jej nowa książka więcej Poprzez: Konfrontacja z rasą, płcią i uprzedzeniami w zakresie umiejętności w technologii. Brossard jest profesorem nadzwyczajnym w Arthur Carter Institute of Journalism na New York University.

Przesłanie, że uprzedzenia mogą być osadzone w naszych systemach technologicznych, nie jest tak naprawdę nowe. Dlaczego potrzebujemy tej książki?
Ta książka ma pomóc ludziom zrozumieć rzeczywiste szkody społeczne, jakie może wyrządzić technologia. Mieliśmy eksplozję świetnego dziennikarstwa i nauki na temat błędu algorytmicznego i szkód, jakie ponieśli ludzie. Staram się budzić te doniesienia i refleksje. Chcę również, aby ludzie wiedzieli, że mamy teraz sposoby pomiaru błędu w systemach algorytmicznych. Nie są to całkowicie nieznane czarne skrzynki: audyty istnieją i można je przeprowadzać.

Dlaczego problem to „więcej niż błąd”? Jeśli algorytmy mogą być rasistowskie i seksistowskie, ponieważ są szkolone w korzystaniu z tendencyjnych zestawów danych, które nie są reprezentatywne dla wszystkich ludzi, czy odpowiedzią nie są po prostu bardziej reprezentatywne dane?
Awaria odnosi się do czegoś tymczasowego, co można łatwo naprawić. Argumentowałbym, że rasizm, seksizm i bezsilność to problemy systemowe, które są wbudowane w nasze systemy technologiczne, ponieważ są ukryte w społeczeństwie. Byłoby miło, gdyby poprawka zawierała więcej danych. Ale więcej danych nie naprawi naszych systemów technologicznych, jeśli podstawowym problemem jest społeczeństwo. Weź algorytmy zatwierdzania kredytów hipotecznych, które Zostało znalezione Jest o 40-80% bardziej prawdopodobne, że odmówi się pożyczkobiorcom kolorowych niż ich białym odpowiednikom. Powodem jest to, że algorytmy były trenowane na podstawie danych o tym, kto w przeszłości zaciągał kredyty hipoteczne, aw Stanach Zjednoczonych istnieje długa historia dyskryminacji w udzielaniu pożyczek. Nie możemy naprawić algorytmów, podając im lepsze dane, ponieważ nie ma lepszych danych.

Argumentujecie, że powinniśmy być bardziej selektywni w kwestii technologii, które wpuszczamy do naszego życia i społeczeństwa. Czy powinniśmy kiedykolwiek odrzucić jakąkolwiek technologię opartą na sztucznej inteligencji, która koduje uprzedzenia?
Sztuczna inteligencja jest obecnie obecna we wszystkich naszych technologiach. Ale możemy wymagać, aby nasze technologie działały dobrze — dla wszystkich — i możemy dokonywać świadomych wyborów dotyczących tego, czy z nich korzystamy.

Jestem pasjonatem wyróżniania się Prawo Unii Europejskiej dotyczące sztucznej inteligencji który dzieli zastosowania na wysokie i niskie ryzyko w zależności od kontekstu. Rozpoznawanie twarzy niskiego ryzyka może używać go do odblokowywania telefonu: stawka jest niska — miej hasło, jeśli nie działa. Jednak rozpoznawanie twarzy w policji może być bardzo ryzykownym zastosowaniem, które należy uregulować lub – jeszcze lepiej – w ogóle nie upubliczniać, ponieważ prowadzi do fałszywych aresztowań i jest mało skuteczne. To nie koniec świata, jeśli nie używasz komputera do czegoś. Nie można zakładać, że system technologiczny jest dobry, ponieważ istnieje.

Istnieje entuzjazm dla wykorzystania sztucznej inteligencji do diagnozowania chorób. Ale uprzedzenia rasowe są również wyodrębniane, w tym z niereprezentatywnych zbiorów danych (na przykład systemów sztucznej inteligencji raka skóry). Prawdopodobnie działa najlepiej na jaśniejszej skórze, ponieważ głównie to jest w danych treningowych). Czy powinniśmy spróbować Aby ustalić „akceptowalne progi” stronniczości w algorytmach medycznych, Jak niektórzy sugerowali?
Nie sądzę, żeby świat był gotowy na taką rozmowę. Nadal jesteśmy na poziomie potrzeby podnoszenia świadomości na temat rasizmu w medycynie. Musimy cofnąć się o krok i naprawić kilka rzeczy w społeczeństwie, zanim zaczniemy zamrażać je w algorytmach. Rasistowska rezolucja, która została skodyfikowana w prawie, staje się trudna do zauważenia lub wykorzenienia.

Zdiagnozowano u Ciebie raka piersi i pomyślnie wyleczono. Po postawieniu diagnozy eksperymentowałeś z przeprowadzaniem mammografii przez sztuczną inteligencję typu open source w celu wykrycia raka i odkryłeś, że rzeczywiście złapała ona raka piersi. Zadziałało! Tak wspaniałe wieści?
Wspaniale było zobaczyć, jak AI rysuje czerwone pole wokół obszaru kontrolnego, w którym znajdował się mój guz. Ale z tego doświadczenia nauczyłem się, że diagnostyczna sztuczna inteligencja jest o wiele prostszym narzędziem, niż mogłem sobie wyobrazić, i że istnieją złożone kompromisy. Na przykład programiści muszą zdecydować o wskaźnikach dokładności: więcej fałszywych trafień czy fałszywych negatywów? Wolą to pierwsze, ponieważ przeoczenie czegoś jest uważane za gorsze, ale oznacza to również, że jeśli masz fałszywie pozytywny wynik, trafia on do potoku diagnostycznego, co może oznaczać tygodnie paniki i inwazyjnych testów. Wiele osób wyobraża sobie elegancką przyszłość sztucznej inteligencji, w której maszyny zastąpią lekarzy. Nie brzmi to dla mnie zachęcająco.

Masz nadzieję, że uda nam się ulepszyć nasze algorytmy?
Jestem optymistą co do potencjału audytu algorytmicznego – procesu patrzenia na dane wejściowe i wyjściowe oraz kod algorytmu w celu oceny ich pod kątem stronniczości. skończyłem trochę pracy na to. Celem jest skupienie się na algorytmach używanych w określonych kontekstach i uwzględnienie obaw wszystkich interesariuszy, w tym członków dotkniętej społeczności.

Chatboty AI są głównym nurtem. Ale technologia jest również pełna uprzedzeń. Do ChatGPT OpenAI dodano zapory ogniowe Łatwo się poruszać. Gdzie popełniliśmy błąd?
Chociaż jest jeszcze wiele do zrobienia, doceniam poręcze. W przeszłości tak nie było, więc jest postęp. Ale musimy też przestać się dziwić, gdy sztuczna inteligencja schrzani się w bardzo przewidywalny sposób. Problemy, które widzimy w ChatGPT, były przewidywane i o których pisano przez badaczy etyki AI, w tym Timnit Gebru [who was forced out of Google in late 2020]. Musimy zdać sobie sprawę, że ta technologia nie jest magią. Jest składana przez ludzi, ma problemy i się rozpada.

Współzałożyciel OpenAI, Sam Altman Niedawno awansowany na AI Doctors Jako sposób na rozwiązanie kryzysu zdrowotnego. Wydaje się sugerować dwupoziomowy system opieki zdrowotnej — jeden dla bogatych, w którym cieszą się konsultacjami z ludzkimi lekarzami, i jeden dla nas, w którym widzimy sztuczną inteligencję. Czy tak właśnie jest i czy się martwisz?
Sztuczna inteligencja w medycynie nie działa zbyt dobrze, więc jeśli bardzo zamożna osoba mówi: „Hej, możesz sprawić, by sztuczna inteligencja zajmowała się twoją opieką zdrowotną, a my zatrzymamy lekarzy dla siebie”, wydaje mi się to raczej problemem niż coś, co prowadzi nas do lepszego świata. Ponadto te algorytmy są dostępne dla wszystkich, więc możemy również rozwiązywać problemy.