Što je fer?
Čini se jednostavno pitanje, ali jedno je bez jednostavnih odgovora. To se posebno odnosi na tajni svijet umjetne inteligencije (AI), gdje pojam pametnih, bez emocija strojeva koji donose odluke na čudesan način bez pristranosti brzo bledi.
Možda je većina javnosti takvu percepciju došla istragom ProPublica iz 2016. godine u kojoj je zaključeno da su podaci koji pokreću AI sustav koji suci koriste da utvrde je li osuđeni zločinac vjerovatno počinio više zločina bili pristrani prema manjinama. Northpointe, tvrtka koja je kreirala algoritam, poznat kao COMPAS, osporila je ProPublicinu interpretaciju rezultata, ali sukob je potaknuo i raspravu i analizu koliko vjerovati čak i najpametnijim strojevima.
"To je zaista vruća tema - kako algoritme možete učiniti fer i pouzdanima", kaže Daniel Neill. "To je važno pitanje."
Neill se sada našao usred te rasprave. Računalni znanstvenik sa Sveučilišta Carnegie Mellon, on i drugi istraživač, Will Gorr, prije nekoliko godina razvili su softverski alat za predviđanje zločina nazvan CrimeScan. Njihov izvorni koncept bio je da je na neki način nasilni zločin poput zarazne bolesti, da ima tendenciju da se razbije u zemljopisnim klasterima. Oni su također vjerovali da manji zločini mogu biti preteći nasilnici, pa su izgradili algoritam koristeći širok raspon podataka „vodećih pokazatelja“, uključujući izvješća o zločinima, poput jednostavnih napada, vandalizma i neredovitog ponašanja, i 911 poziva na takve stvari poput ispaljenih hitaca ili osobe viđene s oružjem. Program također uključuje trendove sezone i dana u tjednu, te kratkoročne i dugoročne stope teških nasilnih kaznenih djela.
Ideja je pratiti iskre prije izbijanja požara. "Gledamo u manje prekršaje", kaže Neill. "Jednostavni napadi mogu se otvrdnuti do otežanih napada. Ili možda imate eskalirajući obrazac nasilja između dvije bande. "
Predviđanje kada i gdje
CrimeScan nije prvi softver dizajniran za ono što je poznato kao prediktivno policiranje. Program nazvan PredPol osmislili su prije osam godina znanstvenici s UCLA-a koji rade s policijskom upravom u Los Angelesu, a cilj im je bio vidjeti kako znanstvena analiza podataka o kriminalu može pomoći uočavanju obrazaca kriminalnog ponašanja. Sada ga koristi više od 60 policijskih uprava širom zemlje, PredPol identificira područja u susjedstvu u kojima je vjerojatnije da će se ozbiljni zločini dogoditi u određenom razdoblju.
Tvrtka tvrdi da je istraživanje utvrdilo da je softver dvostruko precizniji od ljudskih analitičara kada je u pitanju predviđanje mjesta zločina. Međutim, nijedno nezavisno istraživanje nije potvrdilo te rezultate.
I PredPol i CrimeScan ograničavaju svoje projekcije na mjestu gdje bi se zločini mogli dogoditi, a izbjegavaju poduzeti sljedeći korak predviđanja tko bi ih mogao počiniti - kontroverzni pristup koji je grad Chicago izgradio oko „Strateškog popisa tema“ ljudi koji će najvjerojatnije biti uključeni u budućim pucnjavama, bilo kao strijelac ili žrtva.
Američka unija za građanske slobode [ACLU], Centar za pravdu u Brennanu i razne organizacije za građanska prava postavljaju pitanja o riziku da pristranost bude ubačena u softver. Povijesni podaci iz policijskih praksi, tvrde kritičari, mogu stvoriti povratnu petlju kroz koju algoritmi donose odluke koje odražavaju i pojačavaju stavove o tome koji su kvarti "loši", a koji "dobri". Zato AI koji se prvenstveno temelji na podacima o hapšenjima nosi veći rizik pristranosti - više odražava policijske odluke, za razliku od stvarnih prijavljenih zločina. CrimeScan, na primjer, ostaje podalje od pokušaja prognoziranja zločina koje, kako Neill kaže, „otkrijete samo ako ih potražite“.
"Ne mogu reći da smo slobodni od pristranosti", kaže Neill, "ali to je sigurno manje nego ako smo pokušali predvidjeti posjedovanje droge."
Zatim postoji druga strana petlje za povratne informacije. Ako prediktivni alat povisi očekivanja o zločinima u određenoj četvrti, hoće li policija koja tamo patrolira biti agresivnija u uhićenju?
"Postoji stvarna opasnost, uz bilo koju vrstu podataka vođen podacima, zaboraviti da postoje ljudi na obje strane jednadžbe", primjećuje Andrew Ferguson, profesor prava na Sveučilištu u okrugu Columbia i autor knjige knjiga, "Uspon velikih podataka": nadzor, utrka i budućnost provođenja zakona. „Službenici trebaju biti sposobni prevesti te ideje koje sugeriraju da različite četvrti imaju različite rezultate prijetnji. I usredotočenje na brojeve umjesto na ljudsko biće ispred vas mijenja vaš odnos prema njima. "
Unutar crne kutije
Realnost je da umjetna inteligencija sada igra ulogu - iako često u pozadini - u mnogim odlukama koje utječu na svakodnevni život - od pomaganja kompanijama da odaberu koga da angažuju do postavljanja kreditnih bodova do ocjenjivanja nastavnika. Nije iznenađujuće da je pojačan javni nadzor nad načinom stvaranja algoritama strojnog učenja, kakve nenamjerne posljedice uzrokuju i zašto se oni obično ne podvrgavaju velikom pregledu.
Za početak, velik dio softvera je vlasnički, pa je malo transparentnosti u funkciji algoritama. A kako strojno učenje postaje sofisticiranije, čak će i inženjeri koji su stvorili AI sustav postajati sve teže objasniti svoje odluke. To neprozirno odlučivanje, s malo odgovornosti, posljedica je onoga što je postalo poznato pod algoritmima "crne kutije".
"Javnost nikada ne dobiva priliku za reviziju ili raspravu o uporabi takvih sustava", kaže Meredith Whittaker, suosnivačica AI Now Instituta, istraživačke organizacije na njujorškom sveučilištu koja se fokusira na utjecaj AI na društvo. "A podaci i logika koja upravljaju predviđanjima često su nepoznati ni onima koji ih koriste, a kamoli osobama na čije živote utječu."
U izvješću objavljenom prošle jeseni, AI Now je otišao toliko daleko da je preporučio da nijedna javna agencija odgovorna za takva pitanja kao što su kazneno pravosuđe, zdravstvena zaštita, dobrobit i obrazovanje ne bi trebala koristiti sustav AI crne kutije. Prema AI Now, rijetko su pravna i etička pitanja koja se puno razmatraju prilikom izrade softvera.
"Baš kao što vi ne biste vjerovali sucu da izgradi duboku neurološku mrežu, trebali bismo prestati i pretpostavljati da je stupanj inženjerstva dovoljan za donošenje složenih odluka u područjima poput kaznenog pravosuđa", kaže Whittaker.
Druga organizacija, Centar za demokratiju i tehnologiju, stvorio je alat "digitalne odluke" kako bi inženjerima i računalnim znanstvenicima pomogao da stvore algoritme koji daju fer i nepristrane rezultate. Alat postavlja mnoštvo pitanja koja im trebaju pomoći da odvagnu svoje pretpostavke i identificiraju nepredviđene efekte valova.
"Željeli smo ljudima dati konkretno polazište za razmišljanje kroz pitanja poput reprezentacije njihovih podataka, koje će skupine ljudi biti izostavljene i hoće li ishodi njihovih modela imati nenamjerne negativne posljedice", kaže Natasha Duarte, koja nadgleda projekt.
Tko je odgovoran?
Iako je došlo do napretka da se programeri bolje upoznaju s mogućim učincima njihovih algoritama, drugi ističu da javne agencije i tvrtke koje se oslanjaju na AI također trebaju biti odgovorne.
„Tu je naglasak na dizajnerama koji razumiju sustav. No isto je i o ljudima koji upravljaju i implementiraju sustav ", kaže Jason Schultz, profesor prava na njujorškom sveučilištu koji surađuje s AI Now Institutom o pravnim i političkim pitanjima. "To je mjesto gdje guma ispunjava put u odgovornosti. Vladina agencija koja koristi AI ima najviše odgovornosti i oni to moraju razumjeti. Ako ne možete razumjeti tehnologiju, ne biste je mogli koristiti."
U tom cilju, AI Now promovira uporabu "algoritamskih procjena utjecaja", koje bi zahtijevale da javne agencije otkriju sustave koje koriste i omoguće vanjskim istraživačima da ih analiziraju zbog mogućih problema. Kad je riječ o policijskim upravama, neki pravni stručnjaci smatraju da je važno i da oni jasno preciziraju kako koriste tehnologiju i spremni su to podijeliti s lokalnom zajednicom.
"Ako su ti sustavi dizajnirani sa stajališta odgovornosti, poštenja i propisnog postupka, osoba koja implementira sustav mora shvatiti da ima odgovornost", kaže Schultz. „A kad osmislimo kako ćemo ih implementirati, jedno od prvih pitanja glasi„ Gdje to ide u policijskom priručniku? “ Ako ovo nećete imati negdje u policijskom priručniku, idemo na korak, ljudi. "
Andrew Ferguson vidi potrebu za onim što naziva "nadzornim samitom."
"Barem jednom godišnje trebao bi postojati trenutak odgovornosti za policijsku tehnologiju u svim lokalnim nadležnostima, " kaže on. „Šef policije, gradonačelnik ili možda šef gradskog vijeća morali bi objasniti zajednici za što koriste porezne obveznike u smislu nadzora i tehnologije, zašto misle da je to dobro korištenje novca, za što radite na reviziji i zaštiti podataka, koje su posljedice na privatnost. I zajednica bi bila tu da postavlja pitanja. "
Daniel Neill, tvorac CrimeScan-a, kaže da se ne bi usprotivio ideji redovite revizije rezultata AI, iako ima rezerve u vezi s tim prije nego što je algoritam adekvatno testiran na terenu. Trenutno surađuje s policijskim uredom u Pittsburghu na suđenju zločinu, a barem je u početku bio izazov "dobiti pravi intenzitet patrole za predviđene vruće točke".
Rekao je da je to proces učenja kako prilagoditi CrimeScan tako da policajci na razini ulice vjeruju da je to korisno. "Moramo pokazati da ne samo da možemo predvidjeti zločin, nego i da ga zapravo možemo spriječiti", napominje Neill. "Ako samo bacate alat preko zida i nadate se najboljem, nikad ne uspijeva tako dobro."
Također priznaje rizik odlaganja previše algoritmu.
"Alat može pomoći policajcima u donošenju dobrih odluka", kaže on. "Ne vjerujem da strojevi trebaju donositi odluke. Treba ih koristiti za podršku odlucivanju. "
Neill dodaje, "Razumijem da se to u praksi ne događa stalno."
