Vědci stvořili program, který umí malovat stylem různých malířů

Čeští vědci mají na poli počítačových vynálezů další úspěch. Tým výzkumníků z Elektrotechnické fakulty Českého vysokého učení technického v Praze totiž vytvořil speciální software s názvem StyLit, který dokáže napodobit styl konkrétního malíře a vytvořit tak úplně nový obraz.

Se svým programem se čeští vědci už přihlásili i na americký patentový úřad a v blízké době plánují také spuštění demoverze programu pro výzkumné a nekomerční účely. „Nástroj je jedinečný hlavně tím, že dokáže věrně pracovat také se světlem,“říká vedoucí celého vědeckého týmu Daniel Sýkora.

Obrazy, které vytvoří program StyLit, vypadají jako od skutečného umělce. Jak program vlastně funguje?

Na počátku celého procesu je trojrozměrný model nějaké jednoduché scény. Například kuličky na stole. Podle něj výtvarník namaluje vlastním stylem obraz. Další trojrozměrný model je složitější a představuje scénu, která má být na výsledném obraze. Algoritmus pak přenese pomocí porovnání obou modelů výtvarníkův styl do toho nového obrazu.

Jak dokáže počítač výtvarníkův styl napodobit?

Existuje několik možností. Umělcův obraz můžeme naskenovat a program si pak tahy štětce nebo tužky sám vyhodnotí. Pokud chce malíř vidět celý proces v běhu, je možné jeho práci přenášet do počítače živě kamerou. Tím pádem pak na monitoru může pozorovat, jak program tvoří spolu s ním.

Jak software postupuje dál?

Podstatné je, že program zná kompletní informaci o původní trojrozměrné scéně. Zná geometrii, pozici bodů v prostoru a může spočítat i to, jak by se v té scéně šířilo světlo. Tím pádem potom na základě analogie dokáže přenášet ten styl přesně na místa, kde by měl být. To znamená, že když scéna obsahuje třeba lesklý odraz, použije výtvarník nějakou specifickou techniku, jak odraz znázorní, a náš program pak na místo, kde by měl být lesklý odraz i na cílové scéně, danou techniku přenese.

Takže nejdůležitější funkci plní trojrozměrný model?

Přesně tak. Tím se náš program liší od konkurenčních a předcházejících technik, které využívají jen obraz, ale ve složitějších případech, kdy je třeba brát v potaz i světlo a stín, selžou. Nedokážou odlišit, že se jedná třeba o odlesk, a proto daný styl přenášejí bezmyšlenkovitě. U diváka to pak nevyvolává pocit, že se jedná o práci reálného umělce.

Kolik podobných programů tedy vlastně existuje?

Reprodukce různých uměleckých stylů je v současnosti horká novinka a programů k tomu určených vzniká více. Existuje například program Deep Art, kde si sami nahrajete vlastní fotku a software vám ji převede do nějakého konkrétního stylu. Hodně oblíbená je také mobilní aplikace Prisma, pomocí které si můžete upravit třeba svůj portrét do stylu různých umělců. Ale všechny tyto techniky nejsou dostatečné na to, aby dokázaly vytvořit složitější scénu. Fungují jen na vybrané styly a vybrané typy obrázků.

Má nějaké limity také StyLit?

Nějaká omezení určitě jsou. Mnohem složitější situace by totiž nastala, když by v požadované scéně, kterou má program vytvořit, měly být odlesky více různých materiálů. Kdyby se třeba dva objekty odrážely v sobě navzájem. V tu chvíli by program neměl příklad toho, jak by světelná scéna měla vypadat, a nedokázal by ji věrně přenést na cílovou scénu. Problém by nastal také tehdy, kdyby cílová scéna měla nějaké jiné parametry osvětlení. Předloha by byla například v normálním světle a cílovou scénu by měla třeba jen velmi slabě osvětlovat svíčka. Pak by naše technika také selhala. To znamená, že vizuální charakter zdroje i cíle musí být podobný.

Jak moc složitý může být koncový model, podle kterého má program vytvořit nový obraz?

Může být v zásadě libovolně složitý. Zatím ale na modelech nemáme žádné složitější materiály, takže máme zatím ještě trochu omezení v tom, jakou scénu můžeme vytvořit.

Jak dlouho jste na vývoji pracovali?

Tento konkrétní projekt nám zabral zhruba rok, ale navázali jsme tím na práci, kterou jsme započali už asi před čtyřmi lety. Je to dlouhodobý proces. Pracovali jsme na tom v týmu čtyř lidí z ČVUT včetně mých doktorandských studentů. Dohled nad celým vývojem měli experti z americké grafické firmy Adobe.

Animované filmy s rukopisem známých umělců pomůže vytvářet program z dílny výzkumníků ČVUT. Ti vytvořili nástroj StyLit, který umí věrně napodobit techniky reálných výtvarníků.

K čemu se takový program dá prakticky využít?

Ideální oblastí je třeba filmová tvorba. Když jdete v současnosti do kina na animák, je většinou takový vyleštěný, a navíc vypadají všechny animované filmy poslední dobou stejně. Chybí tam nějaká originalita a lidem se ten styl už trochu přejídá. Takže je tady poptávka po více autorských dílech, aby ten výsledný film měl podobu, jakou si představuje umělec. Nepředpokládám, že by to byla nějaká masová záležitost, ale část filmů by touto technikou mohla vznikat. Zatím je taková autorská tvorba neskutečně drahá, když výtvarník ručně stylizuje každé políčko filmu. S naším programem to může být o hodně jednodušší. Filmy tak budou mnohem více autorské. Podobně jako tomu bylo v minulosti, kdy vznikaly ručně.

Takže budou vznikat animované filmy, které budou vypadat, jako by je tvořili slavní malíři?

Tak nějak by se to dalo říct. Teď se třeba pracuje na britském filmu S láskou Vincent, který je stylizován do podoby obrazů Vincenta van Gogha. Vzniká ale políčko po políčku ručně, takže je to pracné a drahé. Ale je to taková ukázka toho, jak by filmy mohly v budoucnu vypadat.

Nehrozí, že budou váš nástroj zneužívat třeba plagiátoři?

Každá taková technologie je samozřejmě dvousečnou zbraní. V současné době dokážeme jako autoři pomocí poměrně jednoduchého detekčního algoritmu zjistit, zda došlo k použití našeho programu. Ale vizuálně by mohl mít potíž i odborník na umění.

Jak jste na vývoj tak náročného programu sehnali finanční prostředky?

Částečně ho financovala Technologická agentura České republiky pomocí svých grantů. Další část peněz jsme získali od zmiňované společnosti Adobe, která má na vzniku takového programu vlastní zájem.