Prije nekoliko tjedana bio sam u šoping centru kad sam primijetio ženu koja nosi sjajnu torbu s naramenicom u obliku konopa. Budući da sam na tržištu za novu tote, razmišljao sam je pitati gdje je nabavila. Ali prije nego što sam uspio krenuti, ona je nestala iza ugla. Kad sam se vratio kući, probao sam Googling torbu. Ali nisam nikakva fashionista i otkrila sam da nemam vokabular da bih opisala ono što sam vidjela. "Kožna torbica s kaiševima" nije bila u redu. Niti "torbica s užadom", niti "torba s kaišom". Na kraju sam odustala.
Sada, nova tehnologija želi pomoći ljudima da pretražuju stvari koje ne mogu nužno opisati riječima.
James Hays, računalni znanstvenik s Georgia Institute of Technology, stvorio je računalni program sposoban za usklađivanje crtanih slika s fotografijama. To bi na kraju moglo dovesti do programa koji može kombinirati internetske usluge pretraživanja slika, poput Google Images, i pronaći fotografije koje točno odgovaraju crtežima korisnika.
„Cilj je biti u mogućnosti povezati fotografije i skice u bilo kojem smjeru, kao što to može čovjek“, kaže Hays. "Čovjek može vidjeti loše nacrtanu skicu i shvatiti na koju se fotografiju čini da odgovara. Želimo računski imati istu sposobnost. "
Da bi stvorio program, Hays je angažirao gotovo 700 radnika tvrtke Amazon Mechanical Turk, tržnice za mnoštvo ljudi koja upoređuje radnike s ljudima koji trebaju obavljene zadatke. Njegov tim radnicima je pokazao fotografije običnih predmeta i životinja, poput vjeverica, čajnika i banana, omogućujući im da dvije sekunde pogledaju sliku. Radnik bi zatim izvlačio predmet iz sjećanja. Tim je na kraju prikupio više od 75.000 skica od 12.500 objekata. Oni su to nazvali "Sketchy baza podataka".
Program je potom analizirao skice i uskladio ih s fotografijom koju najviše podsjećaju. Tehnologija je identificirala ispravnu fotografiju u 37 posto vremena. Ljudi su, za usporedbu, bili u točnom vremenu oko 54 posto. Iako se 37 posto ne može činiti impresivnim, to je zapravo skok za računala.
"Ljudi su već tako zapanjujuće dobri u pogledu na vid, slike lako prepoznajemo", kaže Hays. "To je zapravo iznenađujuće teško računanje."
Jedan od glavnih izazova u poboljšanju programa jest taj što je većina ljudi prilično loš umjetnik. Kao što su Hays i njegov tim napisali u radu na temu: „Oblici i ljestvice su iskrivljeni. Dijelovi predmeta su karikirani (velike uši na slonu), antropomorfizirani (nasmiješena pauka na ustima) ili pojednostavljeni (udovi u obliku figura). "
Povijesno je istraživanje da se računala prepoznaju kao skice usredotočena na stvari poput distribucije crteža na crtežu, smjera kojim linije idu ili gdje su granice crteža. Ali budući da ljudi crtaju samo ono što je ljudima vidljivo (npr. Oči su uvijek uključene u skice, iako su relativno male), važno je da računalo "nauči" koliko su skice slične i kako one imaju tendenciju biti drugačiji od fotografija. Za to program koristi dvije odvojene mreže, onu koja ocjenjuje skice, a koja procjenjuje fotografije. Stalnom analizom velikog skupa podataka program može kontinuirano „učiti“.
Hays i njegov tim planiraju nastaviti poboljšavati program dodavanjem podataka. Napredak u računalnom učenju trebao bi također pomoći poboljšanju stope podudaranja. Do sada, program ima prilično visoku stopu podudaranja pri uspoređivanju skica s bazama podataka s interneta, uključujući Flickr, iako je to teško kvantificirati, kaže Hays.
Uz traženje slike iz torbice koju tako oštro trebam, program ima i brojne manje neozbiljne potencijalne koristi. Policija je mogla skenirati sumnjive skice i usporediti ih sa bazom podataka o kriminalnim fotografijama. Program bi mogli koristiti ljudi koji govore i pišu na bilo kojem jeziku ili ne mogu uopće pisati.
„Jedan od ciljeva razumijevanja skica je taj da oni pomalo univerzalni jezik, “ kaže Hays. „Nije vezan za određeni pisani jezik i uopće nije povezan s pismenošću. [Program poput ovog mogao bi donijeti] pristup informacijama bez pismenog jezika. "
Program bi se također mogao umjetnički koristiti za stvaranje fotorealističnih scena iz skica. Oduvijek zamišljeni kako žive u dvorcu na Mjesecu? Nacrtajte ga i program bi jednog dana mogao stvoriti fotografiju za vas spajanjem dijelova drugih slika.
Informacije koje su prikupili Hays i njegov tim također bi mogli pomoći u rješavanju nekih pitanja iz neuroznanosti i psihologije, kaže Hays.
„Ovi parovi za skice-fotografije govore nešto o ljudskoj percepciji, o onome što mislimo da je vidljivo, o onim dijelovima slika koji privlače našu pažnju“, kaže Hays. „Na neki način ova baza podataka to prilično dobro kodira. Od toga bi se moglo nešto zadirkivati, ako sami želite nešto reći o ljudima. "
