S kamerom u svakom džepu i softverom za prepoznavanje lica ugrađenim u naše pametne telefone i društvene mreže, ponekad je lako zaboraviti da fotografiranje i prepoznavanje lica u njima nije uvijek bilo tako jednostavno. Bilo da su izgubljeni, oštećeni ili jednostavno neobilježeni, postupak prepoznavanja ljudi na starim fotografijama može biti naporan. Ali, kako je otkrio Kurt Luther, docent informatike na Virginia Techu, iskustvo također može biti prilično dirljivo.
Luther je bio na izložbi "Građanski rat u Pensilvaniji" u Povijesnom centru senatora Johna Heinza u Pittsburghu 2013. godine, kada je naišao na fotografiju svog pra-pra-prabaka ujaka Olivera Croxtona. Opisao je kako je fotografiju, koja je najstarija obiteljska fotografija koju je vidio, opisao kao putovanje kroz vrijeme.
Već je bio povijesni sukob sa zanimanjem za Američki građanski rat, trenutak koji je zaglavio Luthera i on se počeo pitati kako prenijeti isto iskustvo tisućama drugih zaljubljenika u povijest.
"Počeo sam učiti više o fotografiji iz građanskog rata", kaže Luther, "i o tome kako prepoznati [ljude] koristeći različite vizualne tragove, poput uniforme, oznake ili podataka fotografa u studiju. U međuvremenu, radio sam puno istraživanja u području crowdfucinga kao profesor informatike, i pomislio sam da možda postoji način da se te dvije stvari spoje. "
Luther je naišao na fotografiju svog pra-pra-pra-strica Olivera Croxtona. (Ljubaznošću iz kolekcije Ken Turner) Rezultat je besplatni internetski softver pod nazivom Civil War Photo Sleuth koji koristi masovno prepoznavanje lica i prepoznavanje lica kako bi korisnicima pomogao prepoznati nepoznate subjekte na fotografijama ere građanskog rata. Neposredno prije službenog izlaska u 2018., tehnologija je osvojila glavnu nagradu u iznosu od 25 000 američkih dolara u Microsoftovom Cloud AI Research Challenge-u za korištenje Microsoftovog softvera za prepoznavanje lica i Best Demo Award na konferenciji Human Computation and Crowdsourcing 2018. Luther se ovog tjedna predstavlja na konferenciji Udruženja za računalne strojeve Inteligentna korisnička sučelja u Los Angelesu.
Dizajniran uz pomoć doktorskih i dodiplomskih studenata na Virginia Tech-u, uključujući voditelja projekata Vikram Mohanty, i u suradnji s odjelom za povijest Virginia Tech-a, Photo Sleuth koristi višestruki pristup kako bi predložio najtačnije identifikacije.
Prvi presudni korak u procesu bila je izgradnja velike baze podataka već identificiranih fotografija. Do danas, Photo Sleuth ima otprilike 17 000 identificiranih fotografija iz nacionalnih arhiva poput američkog Instituta za vojnu povijest, kao i privatnih zbirki, koje uključuju ne samo vojnike iz građanskog rata, već i civile i ostalo vojno osoblje tog doba.
Luther kaže da su imali sreću imati podršku već oduševljene zajednice povjesničara građanskog rata s pristupom tim fotografijama, jer bez čvrste baze već identificiranih fotografija bilo bi gotovo nemoguće da softver postane koristan.
„Nije kao u polju snova, “ kaže Luther, „Da smo pokrenuli web lokaciju bez slika i samo se nadali da će im korisnici sve dodati, suočili bismo se s problemom hladnog pokreta tamo gdje jednostavno nemate sadržaj. ”
Baza identificiranih fotografija igra ključnu ulogu u pomaganju korisnicima da identificiraju fotografije koje sami prenesu. Korisnici ručno označavaju posebne vizualne osobine, poput boje kaputa, kose na licu ili oznake vojnog ranga, a fotografija prolazi kroz algoritam prepoznavanja lica kako bi analizirali i zabilježili jedinstvene omjere lica, kao što je udaljenost između orijentacija lica poput nosa i očiju. Photo Sleuth uspoređuje vizualne podatke nepoznate fotografije s već identificiranim fotografijama u bazi podataka i korisniku predstavlja ono što misli da su najbolja podudaranja na temelju sličnosti lica i informacija dobivenih iz ostalih metapodataka, poput vojnika koji su, čini se, u ista jedinica na temelju oznaka njihovih uniformi. Dok softver poduzima promišljene korake na putu da ograniči mogućnost lažne identifikacije, Luther kaže da na kraju dana korisnik mora izvršiti konačnu identifikaciju kada bude predstavljen najboljim pretpostavkama softvera.
"Bili smo veoma zabrinuti zbog sprečavanja lažne identifikacije, " kaže Luther, „jer kad govorite o internetu, kad jednom tamo stavite neke pogrešne podatke, vrlo je teško to riješiti ili promijeniti."
Kako bi se uvjerio da njihov softver korisnicima pruža najbolje moguće predložene identifikacije, Luther je izvršio analizu softvera prvog mjeseca predloženih identifikacija koristeći metode opisane u stupcima koje je pridonio časopisu o građanskom ratu " History Images" . Ocjenjivanjem identifikacija iz "definitivno nije podudaranje", "vjerojatno nije podudaranje", "vjerojatno se podudara" i "definitivno podudaranje", analiza je pokazala da je 85 posto predloženih identifikacija bilo vjerovatno ili definitivno podudaranje. Na konferenciji ovog tjedna, Luther kaže da planira istaknuti nalaze najnovijeg tima o fotografiji Photo Sleuth, uključujući otkriće Davea Morina, kolekcionara slika iz New Hampshirea iz Građanskog rata, o portretu neidentificiranog drugog potporučnika Unije, Fotografija Sleuth sugerirala je da je muškarac na portretu William H. Baldwin iz prvog njujorškog inženjera. Morin, koji je potvrdio da je Baldwin porijeklom iz New Hampshirea, kaže da nikada ne bi pronašao dotičnog inženjera Granita bez pomoći Photo Sleuth-a.
Kurt Luther je docent računalnih znanosti Virginia Tech. (Amy Loeffler) Istraživanje također naglašava komplementarne prednosti ljudskih povjesničara i samog softvera. Unatoč njihovim naporima, Luther kaže da softver može otići toliko daleko samo kad identificira ispravne podudarnosti i da se oslanja na korisnike koji će im pomoći da identificiraju tragove koji se nalaze u mrtvim točkama algoritma lica.
"[Algoritam] je obučen za opće prepoznavanje lica [na] uglavnom modernih slika", kaže Luther. "AI ima teško vrijeme kada je lice okrenuto u stranu [u profilu]. Riječ je o neobičnom portretu po današnjim standardima, ali sredinom 19. stoljeća bio je uobičajen. "
Tim je također otkrio da su korisnici puno uspješniji od algoritma samog u identificiranju drugih jedinstvenih proizvođača poput brade i ožiljaka.
Patrick Lewis, povjesničar građanskog rata i izvršni urednik znanstvenih izvora i publikacija u Povijesnom društvu Kentucky koji nije bio dio razvoja Photo Sleuth-a, kaže da će foto Sleuth iz građanskog rata biti sjajno sredstvo za ne samo donošenje tih zaboravljenih priča život, ali da pomognemo dalje izgradnji mreže suradnika povjesničara građanskog rata širom zemlje.
"Volim ući i pogledati nove fotografije označene u Kentuckyju", kaže Lewis. "[I pitajte] tko su ljudi koji se skupljaju? Jesu li njihovi pojedinačni kolekcionari kojih bih trebao biti svjestan i trebam li stupiti u kontakt s njima da vidim imaju li još materijala koji bi mogli biti od interesa za istraživanje? "
Iako se još uvijek nije trebao povezati s bilo kojim pojedinačnim kolekcionarom putem Photo Sleuth-a, Lewis kaže da je Kentucky Historical Society sam radio na stvaranju zapisa o poznatim internetskim arhivima i da će softver poput Photo Sleuth drastično poboljšati njihovu sposobnost za nastavak tog rada.
Dalje, Luther kaže da žele „udvostručiti [ljudske snage] softvera, uključujući dodavanje opcije„ Drugog mišljenja “koja će omogućiti mnogim korisnicima suradnju na konačnoj identifikaciji fotografije kao i radu. o proširenju fizičkog dosega i upravljanja zajednicom kako bi se povećala korisnička baza Photo Sleuth. Softver će također vidjeti neke dizala lica, uključujući novu funkciju koja će korisnicima omogućiti postavljanje i identifikaciju ljudi na grupnoj fotografiji.
"Naš krajnji cilj je identificirati svaku nepoznatu fotografiju iz Građanskog rata", kaže Luther, "i dobiti [Photo Sleuth] veće i bolje, jer 25.000 slika predstavlja samo kap u kantu."
