Optimierter Kameratest
Mit dem camera quality benchmark testen wir Smartphones wie professionelle Systemkameras. Kernelement des camera qb ist ein neues Testchart mit optimierten Siemenssternen und einer besseren Anordnung der Testfelder.
So funktioniert unser neuer Quality Benchmark.
Das neue Testverfahren war von Anfang an als gemeinsames Projekt des verlagseigenen Testlab und den Magazinen ColorFoto und connect geplant. Denn die rasante technische Entwicklung, die dem Smartphone innerhalb weniger Jahren eine Objektiv-Phalanx bis hin zum quer im Gehäuse positionierten Periskopzoom beschert hat, schraubt die Anforderungen an die Messtechnik hoch: Statt einer Brennweite sind mehrere Brennweiten mit unterschiedlichen Bildausschnitten zu erfassen – nicht unter einem, sondern unter verschiedenen Lichtverhältnissen. Die Idee hinter dem quality benchmark war es, die gewachsenen Kamerafähigkeiten der Smartphones mit jenen Verfahren zu testen, die ColorFoto auch für professionelle Systemkameras anwendet, und damit die Fotoqualität mit einer bisher nicht gekannten Präzision zu erfassen und zu bewerten. Wir wollen dem Leser und der Industrie die Möglichkeit geben, Produkte herstellerübergreifend anhand objektiver Testkriterien zu vergleichen. Auf die vielen Entwicklungsschritte von der Wahl der richtigen Beleuchtungstechnik bis hin zur Modifikation der Auswertungssoftware und dem Entwickeln eines Benotungsschemas möchten wir hier nicht eingehen, sondern uns auf das neue Testchart konzentrieren. Davon ausgehend lassen sich die Grundlagen des Testverfahrens gut vermitteln.
Testchart und Gewichtung
Das neue Chart unterscheidet sich von dem alten in zwei wesentlichen Punkten:
A. Wir bestimmen nun auch in der Bildmitte die Auflösung mit einem hochkontrastigen und einem niedrigkontrastigen Siemensstern.
B. Die Testfelder für die DeadLeaves-Felder sind weiter in die Mitte gerückt.
Dies ist gerade bei Smartphonekameras wichtig, da deren Objektive teilweise einen deutlichen Randabfall zeigen. Den Randabfall bestimmen wir natürlich. Aber dafür nutzen wir die Siemenssterne im Bildfeld und die in den Ecken. Auf die Dead-Leaves-Messung sollte der Randabfall keinen Einfluss haben. Das neue Testchart ermöglicht an 20 Stellen im Bild mit sechs unterschiedlichsten Strukturen Aussagen über Auflösung und Feinzeichnung. Darüber hinaus bestimmen wir auf diesem Testchart das Rauschen, die Farbwiedergabe, Vignettierung und Verzeichnung.
Neben der Hauptkamera (in der Regel ein moderates Weitwinkel) berücksichtigen wir auch das Ultraweitwinkel und die Zoomfähigkeiten. Ausgehend von der Überlegung, dass fast jeder Nutzer mit seinem Smartphone zoomt, auch wenn keine Zoomoptik vorhanden ist, haben wir uns entschieden, immer ein Zweifachzoom zu messen. Baut der Hersteller kein entsprechendes Objektiv ein, basiert der Messwert auf der Hauptoptik, digital gezoomt. Eine Telebrennweite, die darüber hinaus geht, erfassen wir separat und geben das Ergebnis als lange Telebrennweite aus. Der qb Score wird aus diesen vier Brennweiten mit folgender Gewichtung gebildet: Ultraweitwinkel (10 Prozent), Weitwinkel (30 Prozent), Zweifachzoom (30 Prozent), lange Telebrennweite (30 Prozent). Beim iPhone 11 Pro erfassen wir also das Ultraweitwinkel, das Weitwinkel und das Zweifachzoom (optisch); beim Huawei P40 Pro erfassen wir das Ultraweitwinkel, das Weitwinkel, das Zweifachzoom (digital) und das Fünfachzoom als lange Telebrennweite. Der Verzicht auf eine lange Telebrennweite führt also beim iPhone zu einem Punkteverlust. Das ist so gewollt und spiegelt den aktuellen Stand der Entwicklung im Smartphonebereich wieder.
Es erfolgen also Messungen bei bis zu vier unterschiedlichen Brennweiten, dabei wird jede Brennweite bei drei Helligkeiten gemessen: 5000, 200 und 5 Lux. Beim Weitwinkel kommen unter Umständen weitere Fotos hinzu, denn hier erfassen wir neben der Standardauflösung auch die maximale Auflösung. Mit einem Galaxy S20 Ultra werden also Fotos mit 12 Megapixeln und Fotos mit 108 Megapixeln bei unterschiedlichen Helligkeiten gemacht. In der Summe werden bis zu 450000 Datenfelder erfasst und ausgewertet. Unseren Informationen nach gibt es in Deutschland kein Testverfahren für Smartphonekameras, mit dem eine vergleichbare Menge an Daten ausgewertet wird. Doch um welche Daten handelt es sich genau?
Auflösung
Die Auflösung bestimmen wir im ersten Schritt über einen schwarzweißen Siemensstern, dessen Kanten nicht scharf, sondern entsprechend einer Sinuskurve weich moduliert sind, damit die Nachschärfung der Smartphones nur moderat zugreift. Die Grenze der Auflösung ist erreicht, wenn der Bildkontrast auf 10 % des Eingangskontrasts sinkt (MTF10). Jeder Siemensstern wird in acht Segmente geteilt, diese werden getrennt ausgewertet und dann gemittelt. Das Ergebnis ist damit richtungsunabhängig. Auf unserem Testbild finden Sie sieben Siemenssterne mit hohem Kontrast (1)
und drei Siemenssterne mit niedrigem Kontrast (2). Da die Kameras bei der Signalverarbeitung auch kontrastabhängige Berechnungen einsetzen, ist es wichtig, dies im Test abzubilden.
Randabfall
Da die Siemenssterne auf dem Testchart in drei verschiedenen Abständen zur Bildmitte angeordnet sind, können wir den Randabfall der Auflösung bestimmen. Er ist zunächst eine Eigenschaft des Objektivs. Im Normalfall fällt die Auflösung zu den Rändern je nach Objektivqualität mehr oder weniger stark ab. Doch wiederum spielt die Signalverarbeitung eine Rolle. Denn mit Nachschärfung und Kantenanhebung lässt sich die Auflösung grundsätzlich beeinflussen. Und das führt in den Ecken immer wieder zu höheren Auflösungen als im Bildfeld. Doch wenn ein Hersteller zu aggressiv dabei vorgeht, führt dies zu einem unnatürlichen, zu harten und künstlichen Bildeindruck.
Zentrierung
Gerade bei Smartphones sind nicht immer alle Optiken perfekt vor die Linse justiert. Aber auch der Transport kann zu Dejustierungen führen. Wir vergleichen deswegen bei allen Kameras die Auflösung der vier Siemenssterne in den Bildecken. Bei schlecht zentrierten Optiken messen wir dann Differenzen von mehreren 100 Linienpaaren/Bildhöhe.
Feinzeichnung
Schräg unter dem Dead-Leaves-Feld mit hohem Kontrast (3) steht ein
Dead-Leaves-Feld (4) mit niedrigem Kontrast. Auf diesen farbigen Strukturen bestimmen wir ebenfalls die Auflösung sowohl für hoch- wie auch für niedrigkontrastige Strukturen. Schließlich ist die Welt vor der Kamera nicht nur bunt, sondern auch voller unterschiedlicher Kontraste. Auf den Dead-Leaves-Feldern messen wir die Auflösung der farbigen Strukturen für einen Grenzkontrast von 50 %. Die Grenze der Dead-LeavesAuflösung ist also erreicht, wenn der Bildkontrast auf 50 % des Eingangskontrasts sinkt (MTF50). Die niedrigkontrastigen Strukturen liefern so
beispielsweise einen Messwert für die Erhaltung feiner Strukturen ohne Maximalkontrast im Bild.
Artefakte und Rauschen
Die Kamera rechnet im Zuge der Bildoptimierung Artefakte als zusätzliche und damit falsche Strukturen ins Bild. Wir vergleichen bei den Dead-Leaves-Feldern (3 und 4) das Kamerabild mit dem Ausgangsbild auf der Testtafel. So erkennt die Software, welche Strukturen im Bild mit welchem Kontrast erhalten bleiben und welche als Artefakte neu hinzugekommen sind. Unser Testverfahren setzt auf die der visuellen Wahrnehmung angepasste Rauschbewertung VN. Hohe VNWerte stehen für starkes Rauschen. Neben den Graufeldern (5) betrachten wir auch das Rauschen auf den Farbfeldern (6). Das Rauschen ist zudem helligkeitsabhängig, was wir ebenfalls erfassen und bewerten.
Kantenanhebung
Alle Kameras optimieren die Kantenabbildung, damit das Bild schärfer und detailreicher erscheint. Die Kantenanhebung verbessert die Auflösungsund Dead-Leaves-Werte, was bei maßvollem Einsatz sinnvoll ist. Ohne Kantenanhebung wirken Fotos konturenlos; übertrieben eingesetzt, wirkt das Bild jedoch beschädigt. Verstärkt die Kamera eine Kante, wird aus der aufgezeichneten abgeflachten Rechteckkurve nicht die ideale Rechteckkurve der Vorlage, sondern eine verstärkte mit leichten Über- und Unterschwingern. Das ist maßvoll erwünscht, wird aber gern übertrieben. Im Bild begleiten dann feine, aber hässliche Parallellinien die Kanten. Diese können sowohl hell als auch dunkel sein. Unsere Kanten (7) sind in zwei verschiedenen Abständen zur Bildhöhe angeordnet, immer als hoch- und niedrigkontrastiges Paar und immer horizontal sowie waagerecht ausgerichtet. Eine richtungsabhängige Nachschärfung ist nicht ungewöhnlich und wird von uns so mit zwei Kontrastvorlagen erfasst. Wir nutzen die Kantenwerte für hohen und niedrigen Kontrast, um die Dead-Leaves- und Auflösungsergebnisse zu bewerten.
Farbwiedergabe
Unser Labor ermittelt nicht nur den Farbabstand DeltaE für jedes Farbfeld (6), sondern auch die Differenz in der Farbsättigung, im Farbton und in der Helligkeit. Der abgedruckte Wert nennt die mittlere Abweichung DeltaE. Wie unsere Beispiele zeigen, sieht die eine Kamera ein grünes Farbfeld, wo die andere ein blaues Feld erfasst. Auch die Helligkeit der Farbfelder zueinander schwankt von Kamera zu Kamera sichtbar. Hinzu
kommt, dass nicht jede Kamera alle Farbfelder trennen kann. Bei nachlassendem Licht nimmt die Farberfassung weiter ab.
Verzeichnung
Gekrümmte Linien an den Bildrändern kennt man vor allem von Superweitwinkelaufnahmen. Da kann eine gerade Hauswand schon einmal kurvenartig dargestellt werden. Bei den Weitwinkel- und Teleobjektiven werden diese Fehler per Software aus den Bildern herausgerechnet, was meist gut funktioniert. In den Ecken erscheinen Kreise dennoch manchmal als kleine diagonale Linien. Bei Superweitwinkelkameras lässt sich die Verzeichnungskorrektur je nach Hersteller an- und abschalten. Die bei diesen Objektiven meist – notwendig – starken Korrekturen können zu Verzerrungen in den Ecken, zu Auflösungsverlusten, Rauschanstieg und Artefakten führen. Die im Bild verbliebene Verzeichnung bestimmt das Testlabor über die Passkreuze.
Auswertung
Mit der Messung eines HighendSmartphones ist ein Messtechniker unseres Testlabs einen vollen Arbeitstag beschäftigt. Es geht nicht nur um die Datenerfassung, sondern auch um die Auswertung, die mit einer Software der auf Fotomesstechnik spezialisierten Firma Image Engineering erfolgt. Im letzten Schritt werden die Daten in die verlagseigene Datenbank übertragen und die Fotoqualität der einzelnen Brennweiten sowie der qb Score errechnet.