Computergestuurde fotografie
Computers tillen fotografie naar een hoger niveau.
Camera’s krijgen een steeds hogere resolutie, worden almaar sneller en maken foto’s mogelijk die tot een paar jaar geleden nog onvoorstelbaar waren. En er is één ontwikkeling die de toekomst van de foto-industrie nog sterker zal gaan bepalen dan nu al het geval is: de computergestuurde fotografie.
Op 10 april 2019 gaat een van de belangrijkste foto’s van dat jaar de wereld rond. Een oranje, donutvormige cirkel midden in het melkwegstelsel M87, op een afstand van 55 miljoen lichtjaren van ons vandaan. Het is een zwart gat. De meer dan 200 astronomen die hierin slaagden, deden iets wat tot een paar jaar geleden nog onvoorstelbaar leek. Maar hoe groter de prestatie, hoe sneller critici zich melden: is dit eigenlijk wel een foto? De afbeelding is immers ontstaan door de combinatie van acht zeer nauwkeurig gesynchroniseerde telescopen die enorme hoeveelheden data verzamelden. Daaruit hebben een paar knappe koppen en vele regels Python-code een afbeelding gedestilleerd. Het is volgens de critici dus geen foto, want niemand heeft op een cameraknopje gedrukt. Maar deze astronomen werken met een techniek die we zelf elke dag gebruiken – soms zonder het te beseffen of echt te begrijpen: computergestuurde fotografie.
Zonder computer geen foto
Bijna elk jaar proberen camerafabrikanten de aandacht op zich te vestigen met hogere sensorresoluties, een snellere autofocus en nieuwe functies. Vooral smartphonecamera’s hebben zich de afgelopen jaren in een enorm tempo ontwikkeld en de beeldkwaliteit benadert steeds beter die van traditionele camera’s. Maar hoe kan dat? Hoe slagen fabrikanten als Sony erin om – zoals met de Alpha 7R IV – meer dan zestig megapixels op een sensor te krijgen die even groot is als die van een tien jaar oude dslr, maar met een betere beeldkwaliteit? Fysiek gezien zou de signaalversterking namelijk zo veel ruis en kleurverschuiving moeten produceren dat de foto’s nauwelijks bruikbaar zijn. Nog extremer: hoe kan de smartphone Xiaomi Mi Note 10, met zijn enorme 108 megapixels op een oppervlak ter grootte van een vingernagel, überhaupt foto’s maken? Een moderne sensorstructuur met tweekanaalsversterking, backside-illumination en samenvoeging van pixels alleen zijn niet genoeg. Hier neemt de computergestuurde fotografie het hoofdwerk over – soms subtiel, soms duidelijk. Maar het is altijd aanwezig en doet zijn werk onafhankelijk van de handmatige camera-instellingen.
Computergestuurde fotografie is meer dan alleen het compenseren van beeldfouten. Marc Levoy, expert en voormalig hoogleraar aan de Stanford-universiteit, omschrijft het in een interview met het vakblad Medium als volgt: “Computergestuurde fototechnieken verbeteren of vergroten de mogelijkheden van digitale fotografie. Het resultaat is een
foto die met een traditionele camera niet mogelijk zou zijn geweest.”
Fotograferen met ISO 51.200, een dynamisch bereik van meer dan veertien stops en functies zoals ogen-autofocus zouden ondenkbaar zijn zonder computergestuurde fotografie. Feitelijk heb je voor elke digitale foto complexe berekeningen nodig. Wanneer we op de ontspanknop drukken vinden allerlei processen plaats die vervolgens een foto opleveren. De camera stelt de belichting in, regelt de witbalans, bepaalt het focuspunt, stelt de kleuren correct in, compenseert sterke verschillen in helderheid, herkent misschien zelfs gezichten en ogen, en vervaagt – in het geval van smartphones – de achtergrond voor een bokeh-effect. En dan pas komt de beeldverwerking.
De voorkeurskleuren
Bijna elke beeldsensor – ook die van Fujifilm met zijn X-Trans-technologie, zij het in aangepaste vorm – maakt gebruik van een zogenaamd Bayer-filter. Hierdoor kan de camera de kleuren rood, groen en blauw herkennen en de kleurenfoto opbouwen. Vanaf hier doet de computergestuurde fotografie al zijn intrede, want hoewel RGB de werkelijke kleuren kan afbeelden, legt het niet alles vast. Algoritmen interpoleren (vaktaal voor ‘berekenen’) tussenstappen en zoeken automatisch naar de waarschijnlijk dichtstbijzijnde kleur. Dat dit niet altijd goed gaat, zie je terug in de talloze discussies onder fotografen. Met name de vele kleurnuances van huidtinten en de verschillende manieren waarop camera’s dit interpreteren, zorgen ervoor dat de aanhangers van de betreffende fabrikant hun interpretatie als de beste beschouwen. Maar uiteindelijk zijn de kleuren een kwestie van smaak.
Maar hoe ontstaan deze verschillende kleurenpaletten eigenlijk? Daarbij spelen de voorkeuren van de fabrikant, of eigenlijk de programmeur, een rol. Deze persoon zwaait de scepter over twee belangrijke parameters: kleurinstelling en tonemapping. Hoewel je zelf de verzadiging, helderheid en contrast van je camera (achteraf) kan wijzigen, wordt de basis in de camera bepaald.
Deze automatisering in de camera zelf was eerder vooral bij smartphones gebruikelijk. Het duurde enkele jaren voordat de makers van Instagram op het slimme idee kwamen om smartphonefoto’s te voorzien van filters. En handmatig instellingen kunnen maken werd tot enkele jaren geleden niet eens overwogen voor mobieltjes. Waarom ook? In 2010 was het maken van foto’s met je mobiel immers niet meer dan een speeltje of een
noodoplossing. Bijna niemand verwachtte destijds dat smartphones uiteindelijk serieuze concurrenten zouden worden voor gewone camera’s. Maar de combinatie van nieuwe technieken en sterke processors compenseerden de zwakke kleine sensors goed. En dat resulteerde in talloze functies die voor een revolutie zorgden in de fotografie.
Bij elkaar geraapte werkelijkheid
Het moment dat we voor het eerst echt bewust gebruikmaakten van computergestuurde fotografie, was met de introductie van ‘stacking’, ofwel het samenstellen van losse foto’s tot één enkele afbeelding. Tegenwoordig duikt soms de term ‘Epsilon Photography’ op, maar het beschrijft in principe hetzelfde: de camera maakt meerdere foto’s met allemaal iets andere instellingen voor scherpstelling of belichtingstijd en voegt deze samen.
Dit stapelen gebeurt tegenwoordig volledig automatisch, zonder dat we er iets van merken. Vooral bij smartphones wordt er geen foto gemaakt zonder deze technologie. Zodra gebruikers de app openen, neemt de camera continu beelden op en schrijft deze naar een buffer. Een tikje op de opnameknop slaat niet het huidige beeld op, maar een beeld dat een paar milliseconden eerder is opgenomen. Hoewel dit zorgt voor minder controle, creëert het ook compleet nieuwe mogelijkheden.
Daarvan profiteert bijvoorbeeld het dynamisch bereik, ofwel het verschil in helderheid tussen het lichtste en het donkerste deel van een foto. Het dynamisch bereik van het menselijk oog omvat ongeveer 25 lichtwaarden. Volgens sommige wetenschappers klopt deze waarde echter niet, vooral omdat de hersenen automatisch het beeld corrigeren en dus de meting vervalsen. Beeldsensors kunnen tien tot veertien lichtwaarden vastleggen en dat is dus een stuk minder. Om het dynamisch bereik te vergroten kun je een belichtingsreeks maken met een correct belichte foto en een onder- en overbelichte foto. Samengevoegd in Photoshop levert dit een HDR-afbeelding op (High Dynamic Range). Smartphones hebben hiervoor gewoon een HDR-modus die volledig automatisch werkt. Dit gemak begin je langzaam terug te zien in traditionele camera’s, zoals in de Fujifilm X-Pro3 onder de naam ‘HDR Plus’ of bij Canon als ‘HDR Video Mode’. HDR-foto’s zijn voor nachtopnames echter vrij zinloos. Daarom heeft Google een nieuwe methode ontwikkeld voor zijn smartphones, met de naam ‘Time Stacking’.
Het idee hiervoor komt van fotografen die graag sterrensporen vastleggen. De nachtelijke hemel en de voorgrond vereisen verschillende sluitertijden. Een enkele lange sluitertijd is dus niet voldoende. Dit lost Google op met zijn ‘HDR+’ gedoopte modus. De mobiele telefoon analyseert de laatste acht tot vijftien foto’s en haalt details uit verschillende gebieden. Hoe meer informatie er beschikbaar is, hoe nauwkeuriger de app het beeld kan berekenen. Je kan het vergelijken met een vragenlijst: laat aan vijf mensen een auto voorbijrijden en vraag hen dan hoe het voertuig eruitzag. Elke respondent zal verschillende details noemen. Uit al deze details kun je dan een realistisch beeld van de auto schetsen.
De Google-technologie werkt op een vergelijkbare manier: bij het analyseren van meerdere beelden kunnen fouten eruit worden gehaald en details zoals beweging en positie correct berekend. Bij een dslr of dslm zou je hiervoor heel veel foto’s met verschillende belichtingen nodig hebben. We verwachten dat deze techniek binnen niet al te lange tijd zal worden overgenomen door diverse camerafabrikanten. Sony kwam jaren geleden al met een soortgelijke techniek genaamd ‘Multi Shot Noise Reduction’ in de Alpha-serie, maar dat beperkte zich slechts tot ruisonderdrukking.
Een andere techniek, die onder andere is overgenomen door Sony, Olympus en Pentax, is ‘pixelshifting’. De geïntegreerde beeldstabilisatie wordt gebruikt om de pixels in vier richtingen iets te verschuiven. Het eigenlijke idee hierachter is niet om
“Het menselijk oog heeft een dynamiekomvang van ongeveer 25 EV – camera’s in de toekomst een stuk meer.”
heel grote, maar juist zeer gedetailleerde foto’s te creëren. Het Bayer-filter blokkeert namelijk alles behalve één kleur per pixel en het maakt gebruik van interpolatie en tussenberekeningen. Dit proces heet ‘demosaicing’. Door de sensor in vier richtingen te verschuiven, werkt dit proces nauwkeuriger en kun je zeer gedetailleerde beelden maken. Moderne camera’s kunnen al deze gegevens inmiddels automatisch verwerken, smartphones konden het sowieso al. Hetzelfde geldt voor Focus Stacking, waarbij het focuspunt (en niet de sensor) wordt verschoven om een grotere scherptediepte te krijgen, bijvoorbeeld bij macro’s.
Plenoptische fotografie
Een pionier op het gebied van een fascinerende technologie is – of was – het bedrijf Lytro met zijn gelijknamige camera’s: plenoptischeof lichtveldfotografie. Met plenoptiek (van het Latijnse ‘plenus’ voor ‘vol’ of ‘volledig’) wordt het volledige lichtveld opgevangen in plaats van een vast gebied. Dit maakt het mogelijk om de focus achteraf aan te passen. Daarvoor heb je echter wel veel kleine lenzen voor de sensor nodig om verschillende invalshoeken vast te leggen. Voor foto’s met een goede resolutie heb je ook een sensor met hoge resolutie nodig. De Lytro Illum heeft bijvoorbeeld een 40-megapixelsensor, die echter maar 4-megapixel 2D-foto’s maakt. Dit lijkt natuurlijk ondermaats voor een camera van 1500 euro en het werd dan ook geen succes. Bijna niemand wist hoe je de technologie op een zinvolle manier kon gebruiken. Toen Panasonic met zijn 4K-fotomodi en de ‘Post Focus’-functie een soortgelijk resultaat bereikte zonder deze ingewikkelde technologie, leek dat de laatste nagel in de kist.
Google kocht Lytro twee jaar geleden en daarmee alle patenten en rechten. De Google Pixel-smartphones maken gebruik van een beetje plenoptiek – ook al hebben maar weinig mensen dat gemerkt. Sinds de Pixel 2 S zit er achter elke sensorpixel een andere pixel. Dit maakt het mogelijk om de ruimte te meten zonder een tweede camera nodig te hebben, zoals veel concurrenten doen. Google gebruikt echter alleen de verkregen diepte-informatie om de voorgrond en de achtergrond te berekenen, zodat het hoofdmotief voor
“Waarom slechts één sensor en één lens gebruiken als je er zestien of meer kan inzetten?”
een kunstmatige bokeh gezet kan worden. Dit zijn natuurlijk alleen maar leuke gimmicks, maar vooral smartphone-gebruikers die geen camera hebben met een lichtsterke lens hebben er baat bij.
Maar naast het verschuiven van de focus en achtergrondvervaging kan de lichtveldtechnologie veel nuttige functies opleveren. Denk aan een afstandsmeting die het mogelijk maakt om storende elementen in zowel de voorgrond als de achtergrond gemakkelijk te maskeren en te verwijderen, zonder dat je daarvoor een green screen nodig hebt. Aangezien Google nu de patenten voor deze technologie in handen heeft, moeten andere smartphonefabrikanten zoals Huawei en Apple het met meerdere camera’s doen. Dat is overigens geen probleem, want het gebruik van meerdere camera’s brengt ook andere spannende ideeën aan het licht – zoals ‘gefragmenteerde’ sensors.
Gedeeld beeld
Een APS-C-sensor heeft een oppervlakte van 24 x 16 mm, ofwel 384 mm2. Als we de sensor in vier even grote gebieden zouden verdelen, houden we per stuk slechts 96 mm2 over. Dat kom overeen met een sensor van 1/1,2 inch. Dat zou de benodigde ruimte voor de sensor en de lens aanzienlijk kleiner maken. Je hoeft deze deelcamera’s dan alleen nog naast elkaar te plaatsen en de losse beelden samen te voegen (of te ‘stacken’). Onze moderne CPU’s zijn duizend keer krachtiger dan de NASA-computers die voor de eerste maanlanding werden gebruikt, dus dit zou geen probleem moeten zijn.
Het duurde dan ook niet lang voordat iemand dit concept oppikte: de Light L16 verpakt de zestien camera’s waaraan het zijn naam ontleent in het broekzakformaat van 5 x 28 mm, 5 x 70 mm en 5 x 150 mm in fullframe-formaat. Maar hoewel de theorie erg spannend klinkt, faalt de L16 in de praktijk: trage autofocus, grof gestapelde foto’s en een prijskaartje van 2000 dollar schrikken veel geïnteresseerden af. Het einde van deze technologie is echter nog niet in zicht: de Nokia 9 Pureview-smartphone maakt er ook gebruik van – met gemengde resultaten.
Onvoorstelbare opnamen
De gefragmenteerde sensoren bevinden zich daarom waarschijnlijk nog in de experimentele fase. Dit is echter niet het enige waarmee geëxperimenteerd wordt. Computergestuurde fotografie verbetert immers niet alleen de beeldkwaliteit, maar breidt zoals gezegd ook de mogelijkheden van de digitale fotografie uit. Bijvoorbeeld gecodeerde diafragma’s,
waarmee je gammastralen kan fotograferen die foto’s opleveren die zijn berekend middels ‘Fourier-transformatie’. Aangezien dit buiten het bereik van traditionele camera’s valt – en een zeer wiskundige en droge uitleg vereist – vind je de uitleg in een apart kader. Gecodeerde sluitertijden – de ‘Flutter Shutter’ – zijn spannender. Hiermee kun je scherpe foto’s maken van onderwerpen die met conventionele methodes niet mogelijk zouden zijn.
Hoe zou je bijvoorbeeld een passerende auto in de nacht kunnen fotograferen? Zeker, met behulp van een flitser of door het instellen van een zeer hoge ISO, zodat je een korte sluitertijd kan kiezen. Maar wat als je geen flitser bij de hand hebt en een hoge ISO geen bruikbare foto’s oplevert? In plaats van een vaste sluitertijd kun je ook werken met veel korte ‘fladderende’ sluitertijden. Hierdoor lijkt het onderwerp te ‘stotteren’, maar als je de frequentie kent, kun je met de juiste algoritmes alles weer aan elkaar plakken tot een scherpe foto. Het klinkt interessant, maar tot nu toe heeft deze techniek nog niet zijn weg gevonden naar commercieel verkrijgbare modellen.
Lidar-camera’s, ook Time-of-Flight-camera’s genoemd zijn echter wel inmiddels verkrijgbaar. Het idee hierachter klinkt vrij eenvoudig: een lichtpuls verlicht het onderwerp en een camera meet voor elke pixel de tijd die het licht nodig heeft om het object te bereiken en weer terug te komen. Zelfrijdende auto’s kunnen niet zonder dieptekaarten die zo ontstaan. Deze methode is ook nuttig op het gebied van de autofocussnelheid en de berekening van een kunstmatige bokeh. De Samsung Mate 10 en de Huawei P30 Pro maken al gebruik van een dergelijke ‘ToF’-camera.
Lichtcontrole
Als samengestelde foto’s en een pijlsnelle autofocus vooral mogelijk zijn dankzij computertechnieken, hoe zit het dan met dat ene element dat de fotografie in de eerste plaats mogelijk maakt: het licht? Bij lichtkwaliteit denken de meeste mensen waarschijnlijk aan kunstmatige lichtbronnen voor systeem- en studioflitsers. Ook deze hulpmiddelen zijn verbeterd dankzij moderne technologieën. Er zijn bijvoorbeeld tweekleurige flitsers die de afstand tot het onderwerp en de kleurtemperatuur van het omgevingslicht meten en vervolgens het licht aanpassen. Er is nog meer technologie in ‘Depth Edge Detection’, dat een database gebruikt om het hoofdonderwerp
te detecteren en te belichten zonder dat de achtergrond volloopt.
Het ‘Light Stage’-concept klinkt ook interessant: een onderwerp (zoals een persoon) wordt omgeven door ontelbare kleine led-lampjes. Zo ontstaan er meer dan 150 losse foto’s met verschillende invalshoeken van het licht. Het is mogelijk om vervolgens de richting van het licht achteraf te kiezen. Deze techniek wordt inmiddels gebruikt in tal van Hollywoodproducties waarin acteurs in een kunstmatige omgeving optreden.
Het zal nog maar een paar jaar duren voordat de Light Stage volledig digitaal kan worden gerealiseerd. Met de iPhone X en zijn ‘Stage Light-selfiemodus heeft Apple al laten zien hoe realistisch digitaal gegenereerd licht kan zijn – mits er een dieptecamera en veel rekenkracht beschikbaar zijn.
De toekomst van camera’s
Smartphones zijn de toekomst van de fotografie. Oké, dat is misschien als vloeken in de kerk, zeker voor een fotografietijdschrift. We bedoelen dan ook niet dat traditionele camera’s zullen verdwijnen. Maar we zullen waarschijnlijk de grootste technologische sprongen op fotogebied voor het eerst zien bij Apple, Huawei, Samsung en andere smartphonefabrikanten. Het duurt misschien nog maar een paar jaar voordat we dankzij kunstmatige intelligentie, geavanceerde algoritmen en onuitputtelijke rekenkracht helemaal geen foto’s meer hoeven te maken. In plaats daarvan richten we gewoon de mobiele telefoon op het onderwerp en doen we de rest achteraf: waar moet de focus liggen, hoe vaag moet de achtergrond zijn, hoe moet het licht vallen en welke delen moeten er überhaupt op de foto verschijnen?
Waar het plezier in het maken van foto’s blijft? Dat is de grote vraag. En dat is precies de reden waarom gewone camera’s niet snel zullen verdwijnen. Er zijn nog meer dan genoeg liefhebbers van het fotografie-ambacht.
We kunnen ons nauwelijks voorstellen hoe de camera’s en de manier waarop we fotograferen zullen veranderen. Tot nu toe hebben we geprobeerd het menselijk oog te imiteren, dit wil zeggen door lichtsignalen via lens en sensor vast te leggen en de informatie tot een beeld samen te stellen. Maar het zal zeker niet lang duren voordat we ons hebben losgemaakt van het model van de natuur. Dankzij technische uitvindingen vliegen we nu hoger dan vogels en bewegen we sneller dan jachtluipaarden. Binnenkort zullen we het zonder sluitertijden, diafragmawaarden en Bayer-filters kunnen stellen en foto’s maken op een manier zoals we nog nooit hebben gedaan. Er is maar één ding dat zeker zal overleven en een toekomst heeft: computergestuurde fotografie.
“Over een paar jaar hebben we geen hulpmiddelen meer nodig om het licht te sturen.”