Prošle godine skupina njemačkih računalnih znanstvenika napravila je valove demonstrirajući novi računalni algoritam koji bi svaku digitalnu fotografiju mogao transformirati u umjetničko djelo oponašajući slikovite stilove majstora poput Vincenta van Gogha, Pabla Picassa i Edvarda Muncha. Iako impresivan podvig, primjena iste tehnike na pokretnim slikama tada je djelovala nevjerojatno. Ali sada, druga skupina istraživača je to shvatila, brzo i neprimjetno proizvodeći pokretna digitalna remek-djela, Carl Engelking piše za Discover .
Povezani sadržaj
- Ovaj animirani film o Van Goghu napravljen je u cijelosti od ulja na platnu
- Ova umjetna neuronska mreža generira apsurdne linije preuzimanja
U video demonstraciji programeri pokazuju umjetničke sposobnosti algoritma pretvarajući scene iz filmova i televizijskih emisija poput Ledenog doba i Miss Marple u animacije slične slikanju sa klikom miša. Ali razvoj algoritma nije bio mali podvig.
Da bi stvorili tako detaljnu transformaciju, računalni znanstvenik Leon Gatys i njegovi kolege sa Sveučilišta u Tübingenu razvili su algoritam dubokog učenja koji pokreće umjetnu neurološku mrežu. Oponašajući načine na koje neuroni u ljudskom mozgu uspostavljaju vezu, ti sustavi strojnog učenja mogu obavljati mnogo složenije zadatke od bilo kojeg starog prijenosnog računala.
Evo kako to funkcionira: kad gledate sliku slike ili gledate film na prijenosnom računalu, svjedočite da vaše računalo dekodira informacije u datoteci i prezentira ih na odgovarajući način. No, kada se te slike obrađuju preko neuronske mreže, računalo je u stanju uzeti mnogo različitih slojeva informacija sadržanih u tim datotekama i razdvojiti ih, odvojeno, pojedinačno.
Na primjer, jedan sloj može sadržavati informacije o osnovnim bojama van Goghove Zvjezdane noći, dok sljedeći dodaje malo više detalja i teksture, i tako dalje, prema MIT Technology Review . Sustav tada može mijenjati svaki sloj pojedinačno prije nego što ih ponovo sastavi kako bi stvorio potpuno novu sliku.
"Mi možemo manipulirati s oba prikaza neovisno kako bismo proizveli nove, perceptivno smislene slike."
Primjenom ovog sustava slojevitog učenja na slikama Picassa i van Gogha, da ih napišemo, istraživači su uspjeli razviti algoritam koji je "učio" računalo da interpretira sve te informacije na način koji razdvaja sadržaj slikarstvo iz svog stila. Kad je shvatio kako van Gogh koristi kist i boju, mogao je primijeniti taj stil poput Photoshop filtra na sliku i učinkovito ga rekreirati u svom ikoničnom stilu, Matt McFarland napisao je za Washington Post . Ali primjena ove tehnike na video predstavljala je potpuno novi niz problema.
"U prošlosti je ručno crtanje slike u određenom umjetničkom stilu zahtijevalo profesionalnog umjetnika i dugo vremena", pišu Manuel Ruder i njegov tim sa Sveučilišta u Freiburgu u svojoj novoj studiji, također objavljenoj na arXiv-u. "To učiniti s jednim slijedom video zapisa bilo je izvan mašte."
Kad su Ruder i njegovi kolege prvi put pokušali primijeniti algoritam na videozapise, računalo je izgnječilo gobbledygook. Na kraju su shvatili da program svaki kadar videozapisa tretira kao zasebnu fotografiju, zbog čega je video pogrešno treperio. Da bi se pozabavili tim problemom, istraživači su postavili ograničenja na algoritam koji je spriječio da računalo previše odstupa između okvira, piše Engelking. To je omogućilo programu da se smiri i primijeni dosljedan stil na čitav videozapis.
Algoritam nije savršen i često ima problema s većim i bržim kretanjem. Međutim, to još uvijek predstavlja važan korak naprijed u načinima na koji računala mogu renderirati i mijenjati videozapise. Iako je u ranoj fazi, budući algoritmi će ovaj efekt moći primijeniti na videozapise snimljene putem aplikacije za pametne telefone ili čak donijeti verzije virtualne stvarnosti vaših omiljenih slika, prenosi MIT Technology Review .
Ideja o stihiji umjetnikova stila na skupu podataka može pregaziti neke ljude, a otvara vrata i svim novim vrstama umjetnosti za koje se nikada ranije nije moglo vjerovati.
