Neu­ra­le beeld­be­wer­king

De neu­ra­le beeld­be­wer­king van de toe­komst

C’t Magazine - - Inhoud - And­rea Trin­kwal­der

Neu­ra­le net­wer­ken ma­ken beeld­be­wer­king in­tu­ï­tief. Ze le­ren fo­to­re­a­lis­ti­sche beel­den te pro­du­ce­ren en zijn met sim­pe­le, ook door be­gin­ners te be­die­nen tools ge­schikt voor com­plexe be­wer­kin­gen.

Kunst­ma­ti­ge in­tel­li­gen­tie is bin­nen­ge­dron­gen in het da­ge­lijks le­ven van men­sen. Of dat nu is als de on­ver­moei­ba­re as­sis­ten­te Si­ri of als fo­to­zoek­ma­chi­ne met ken­nis over fo­to's. De mees­te van die sys­te­men kun­nen de we­reld al­leen nog be­schrij­ven en in­ter­pre­te­ren, maar niet ma­ken. Maar dat ver­an­dert op dit mo­ment fun­da­men­teel: met na­me op het ge­bied van beeld­be­wer­king heb­ben we­ten­schap­pers de af­ge­lo­pen tijd op­mer­ke­lij­ke voor­uit­gang ge­boekt. Som­mi­ge tech­nie­ken staan op het punt in­ge­voerd te wor­den, an­de­re zul­len pas over een paar jaar markt­rijp zijn.

De laat­ste de­mon­stra­tie van Ado­be laat bij­voor­beeld de app Pho­to­shop

Touch zien met een au­to­ma­ti­sche por­tret­op­ti­ma­li­seer­der. Die ver­vormt een smartpho­ne­fo­to zo dat een licht te­le­ef­fect ont­staat, maakt het hoofd vrij­staand, ver­vaagt de ach­ter­grond en geeft het ge­heel de look van een pro­fes­si­o­neel ge­op­ti­ma­li­seer­de fo­to. De tech­niek daar­ach­ter komt net uit het AI­la­bo­ra­to­ri­um en zal waar­schijn­lijk snel in een de­fi­ni­tie­ve ver­sie van de app of op de desktop ver­schij­nen.

Nog erg ex­pe­ri­men­teel, maar ex­treem fas­ci­ne­rend, zijn neu­ra­le fo­to­ge­ne­ra­to­ren die hel­pen bij het re­tou­che­ren,ver­vor­men en zelfs uit­brei­den van beeld­de­len. Ze re­du­ce­ren het aan­tal spe­ci­a­le tools dat beeld­be­wer­kings­pro­gram­ma's nor­maal no­dig heb­ben tot een en­kel in­ter­ac­tief pen­seel dat 'merkt' wel­ke cor­rec­ties in de be­tref­fen­de con­text no­dig zijn. De aan­pas­sin­gen op een be­paald punt wer­ken dan au­to­ma­tisch door op an­de­re pun­ten. Hier­door blijft de to­taal­in­druk ge­lijk, bij­voor­beeld de be­lich­ting van een land­schap­scè­ne of de mi­miek in een por­tret. We heb­ben de tech­niek van de na­bije en ver­re toe­komst eens dich­ter­bij be­ke­ken.

Neu­raal hart

Het cen­tra­le deel van el­ke beeld­be­wer­kings­func­tie is een spe­ci­aal ge­con­stru­eerd kunst­ma­tig neu­raal net­werk dat de ma­nier si­mu­leert waar­op men­sen vi­su­e­le sti­mu­li ver­wer­ken: een zo­ge­he­ten Deep Con­vo­lu­ti­o­nal Neu­ral Net­work (Deep CNN). Dat be­staat uit meer­de­re la­gen met neu­ro­nen, die via ge­wo­gen sy­nap­sen met el­kaar ver­ bon­den zijn. Een der­ge­lijk net­werk kan ver­schil­len­de beeld­be­wer­kings­ta­ken op zich ne­men, bij­voor­beeld ob­jec­ten her­ken­nen, de be­lang­rijk­ste de­len van een fo­to mar­ke­ren (seg­men­te­ring) en de ge­scan­de scè­ne be­schrij­ven. Het bij­zon­de­re hier­aan is dat nie­mand die mo­ge­lijk­he­den ex­pli­ciet ge­pro­gram­meerd heeft. Een neu­raal net­werk leert zelf­stan­dig door het be­kij­ken van tal­lo­ze beeld­voor­beel­den wel­ke ken­mer­ken en de­tails hem hel­pen om de ge­stel­de taak te ver­vul­len.

De eer­ste la­gen van een net­werk spe­ci­a­li­se­ren zich er bij­voor­beeld in om een beeld te ont­le­den in on­tel­ba­re ba­sis­ken­mer­ken zo­als ran­den in ver­schil­len­de rich­tin­gen, pa­tro­nen van ver­schil­len­de de­tail­ni­veaus en (kleur)ver­lo­pen van al­le tin­ten. Om le­ven­de we­zens van plan­ten te kun­nen on­der­schei­den, moe­ten die ken­mer­ken op een die­pe­re laag weer tot ka­rak­te­ris­tie­ke on­der­de­len als ogen, neus, mond, blad, tak, stam et ce­te­ra sa­men­ge­voegd wor­den. Zo ont­staat ui­t­ein­de­lijk een sche­ma­ti­sche re­pre­sen­ta­tie die geen on­be­lang­rij­ke in­for­ma­tie meer be­vat. Op die ma­nier kun­nen men­sen on­af­han­ke­lijk van hun haar­ en huids­kleur, leng­te en hou­ding her­kend wor­den.

Deep CNN's kun­nen in­mid­dels ech­ter meer dan al­leen sim­pe­le be­slis­sin­gen ma­ken. Ze kun­nen ook de pa­ra­me­ters van een com­plexe kleur­ en hel­der­heids­trans­for­ma­tie be­re­ke­nen – een me­tho­de die bij de in­di­vi­du­e­le au­to­cor­rec­tie van fo­to's ge­bruikt wordt. Een com­bi­na­tie van net­wer­ken kan ook mas­kers voor het vrij­ma­ ken van ob­jec­ten of in­kleu­rin­gen voor de hoofd­de­len van een fo­to ge­ne­re­ren.

Hoe krijg je een aan­van­ke­lijk ta­lent­loos neu­raal net­werk er­toe zich te spe­ci­a­li­se­ren in ob­jecther­ken­ning of au­to­cor­rec­tie? Daar­voor zor­gen met na­me de trai­nings­fo­to's en de trai­nings­me­tho­de. Om bij­voor­beeld ex­pert in ob­jecther­ken­ning te wor­den, moet een Deep CNN per ca­te­go­rie een paar hon­derd voor­beeld­fo­to's be­kij­ken die van te­vo­ren door men­sen ge­clas­si­fi­ceerd zijn. Voor el­ke fo­to moet het net­werk in­schat­ten met wel­ke kans die tot een van te­vo­ren be­paal­de ca­te­go­rie be­hoort. Om­dat de ech­te ca­te­go­rie be­kend is, kan met een fout­func­tie mak­ke­lijk be­re­kend wor­den hoe sterk de in­schat­ting af­wijkt van de waar­heid. Op ba­sis van die fou­ten wordt de in­vloed van be­paal­de sy­nap­sen ver­groot of ver­min­derd en dan be­gint de he­le pro­ce­du­re met een nieu­we voor­beeld­fo­to weer voor­aan.

In een op kat­ten ge­traind net­werk krij­gen de neu­ra­le con­glo­me­ra­ten die ge­voe­lig re­a­ge­ren op vacht­struc­tu­ren en pa­tro­nen tij­dens de trai­ning steeds meer in­vloed, ter­wijl bij een tul­pen­de­tec­tor de de­len ster­ker wor­den die op fel­le kleu­ren re­a­ge­ren. Als de fou­ten op een be­paald mo­ment niet meer klei­ner wor­den, heeft het net­werk ge­noeg fo­to's ge­zien. Die me­tho­de om een net­werk een zo groot mo­ge­lijk aan­tal ge­clas­si­fi­ceer­de voor­beel­den voor te scho­te­len heet ove­ri­gens su­per­vi­sed le­arning. Hij is pri­ma ge­schikt als er voor el­ke in­put een exac­te uit­komst te de­fi­ni­ë­ren is.

De grij­ze mar­ke­ring (tri­map, mid­den) ver­telt het neu­ra­le net­werk waar zich zo­wel on­der­werp­als ach­ter­grond­pixels be­vin­den. Op grond van ver­schil­len in de struc­tuur en scherp­te be­slist het net­werk wel­ke pixels bij het on­der­werp ho­ren en maakt daar een mas­ker van (rechts).

Newspapers in Dutch

Newspapers from Netherlands

© PressReader. All rights reserved.