Ab der nächsten Ausgabe nutzt ProfiFoto im Rahmen seiner Mitgliedschaft in der Technical Image Press Association (TIPA) die Kameratests des renommierten und unabhängigen Testlabors Image Engineering.
Image Engineering testet als unabhängiges Testlabor bereits seit 1997 Digitalkameras. Außerdem entwickelt und vermarktet Image Engineering Testcharts und -Equipment und ist unter anderem einer der Treiber der ISO Arbeitsgruppe zur Standardisierung von Testverfahren. Ab sofort ist das Testlabor außerdem exklusiver Partner der Technical Image Press Association, TIPA, die ihren Mitgliedsmagazinen Zugriff auf aktuelle Kameratests von Image Engineering ermöglicht. ProfiFoto als ältestes deutsches TIPA Mitgliedsmagazin wird seine Kameratests ab sofort auf dieser Basis erstellen, die wesentlich aussagefähigere und fundiertere Aussagen ermöglicht, als dies die bisherigen Labortests taten.
Konkret bewertet ProfiFoto zukünftig nicht mehr nur die technische Bildqualität, die eine Kamera bietet, sondern bezieht ganzheitlich viele weitere Faktoren in die Bewertung ein. Zentral ist und bleibt dabei die Bildqualität, die jetzt wesentlich differenzierter unter die Lupe genommen wird. Die Interpretation der Laborwerte ist und bleibt dabei Sache der Redaktion.
Neu sind in diesem Zusammenhang außerdem die Testcharts und die Darstellung der Ergebnisse. Getes-tet werden ab sofort vier Kriterien: Die Bildqualität, die Schnelligkeit, die Ausstattung und das Handling einer Kamera.
Das Testlabor
Durchgeführt werden die Tests in dafür maßgeschneiderten Räumlichkeiten. Möglicherweise störende Faktoren werden so ausgeschlossen oder zumindest kontrollierbar. So sind zum Beispiel alle Wände und die Decke des Testlabors schwarz gestrichen, der Boden ist neutral grau, um reflektierendes Licht von den Testaufbauten fernzuhalten. Diese werden unter streng kontrollierten Bedingungen künstlich beleuchtet. Die Lichtquellen werden im Monatsrhythmus kontrolliert, um sicherzustellen, dass sie eine gleichbleibende Lichtqualität liefern.
Das Testlabor ist aber nicht nur dunkel, sondern unterliegt auch einer genauen Temperaturkontrolle. Alle Messungen werden bei exakt 23 Grad Celsius vorgenommen, um den Einfluss der Umgebungstemperatur auf das Rauschverhalten auszuschließen.
Testkameras werden auf einem Stativ befestigt, das auf Schienen steht, die auf einem massiven Betonboden montiert sind. Damit werden Schwingungen vermieden (etwa durch die Hand des Kameratesters), die einen negativen Einfluss auf die Bildqualität haben könnten.
Und auch die Testmotive unterliegen streng kontrollierten Bedingungen, um die Vergleichbarkeit der Testaufnahmen zu gewährleisten. Alle von Image Engineering durchgeführten Kameratests basieren auf selbstentwickelten Testcharts, die regelmäßig überprüft werden.
Die von den Herstellern zur Verfügung gestellten Testkameras werden vor dem Test zunächst auf ihre Funktionstüchtigkeit und Serienmäßigkeit geprüft. Beim geringsten Zweifel, dass das Testgerät nicht dem Serienstand entspricht, wird das Testmuster zurückgewiesen und ein neues angefordert.
Sollte der Test Fehlfunktionen nahe legen (zum Beispiel unregelmäßiger Lichtabfall in den Bildecken), wird ebenfalls das Testmuster ausgetauscht. Nur falls auch das zweite Testmuster dieselben Ergebnisse zeigt, wird dies als Fehler der Serie hingenommen und der Test zu Ende geführt.
Zu den ermittelten Testergebnissen erfolgt in keinem Fall vor der Veröffentlichung eine Rücksprache mit den Kameraherstellern, deren Einflussnahme ist somit ausgeschlossen.
Jede Testkamera wird nach ihrem Eintreffen im Testlabor auf die Werkseinstellungen zurückgesetzt. Erst danach erfolgt die Einstellung der Kameras für den Test (siehe Tabelle).
Jede Kamera wird mit zwei unterschiedlichen Objektiven getestet, die den jeweiligen Kamerasystemen entstammen. Die Testobjektive sind immer dieselben, Testkameras von Sony werden also stets mit identischen Objektiven getes-tet. Eines dieser Objektive ist eine lichtstarke Festbrennweite mit hoher Abbildungsqualität, um die bestmöglichen Testergebnisse erzielen zu können. Das zweite Objektiv ist ein möglichst schnelles Objektiv, in der Regel ein Standard-Zoom. Nur wenn die zum Test verwendeten Objektive immer dieselben sind, ist gewährleistet, dass die im Test ermittelten Qualitätsunterschiede nicht durch sie beeinflusst werden. Die Testobjektive verbleiben stets im Testlabor und sind dessen Eigentum. Das für die Tests verwendete Objektiv wird jeweils mit den Testergebnissen ausgewiesen.
Alle Messungen der Testdateien erfolgen komplett objektiv: Statt einer subjektiven, visuellen Beurteilung erfolgt die Bildanalyse per Software.
Um hier eine gute Korrelation zwischen dem Messergebnis und der subjektiven Wahrnehmung zu haben, werden verschiedene Betrachtungsbedingen rechnerisch simuliert. Verschiedene Betrachtungsbedingungen fließen in den Algorithmus ein, also zum Beispiel die Darstellung auf einem Monitor sowie auf Prints unterschiedlicher Größe.
Bildqualität
Ein multi-funktionales Testchart (TE42) wird zur Messung von Auf- lösung, Detailwiedergabe, Kontur- schärfe, Dynamikumfang, Rauschverhalten, Farbwiedergabe, Ver- zeichnung, Abschattung und chromatischer Aberration sowie zur visuellen Analyse eingesetzt. In jeder von der Kamera angebotenen ISO-Empfindlichkeitsstufen werden dazu mit der auf ein Stativ montierten Testkamera vier Testaufnahmen des Charts erstellt und nur die beste Aufnahme zur Analyse herangezogen, wobei die höchste Auflösung in der Bildmitte entscheidend ist.
Weil die Belichtung Einfluss auf einige Ergebnisse haben kann, folgt Image Engineering bei seinen Tests einer festgelegten Vorgehensweise in Anlehnung an entsprechende ISO Standards.
Alle Messungen entsprechen Referenz-Methoden, die sich an internationalen Standards orientieren. Dabei wird die Realität mit der Testaufnahme verglichen: Bestimmte Elemente des Testaufbaus werden mit der fotografischen Reproduktion abgeglichen. Bildrauschen wird zum Beispiel bei der Aufnahme einer Neutralgraukarte sichtbar, denn diese hat eine volllkommen gleichmäßige Oberfläche. Jede messbare Abweichung in der Wiedergabe im Testbild muss daher auf Einflüsse der Testkamera zurückzuführen sein. Der Grad der Abweichung gibt daher Aufschluss über das Ausmaß des Rauschens.
Alle Messungen der Bildqualität sind Tests des gesamten Systems, weil sämtliche Komponenten einer Kamera Einfluss darauf haben können. Das Objektiv, der Sensor und der Bildprozessor haben alle einen Anteil am Testergebnis, wobei die Leistung eines Objektivs sich bei unterschiedlicher Motivhelligkeit nicht verändert, wohl aber die Ergebnisse der Signalverarbeitung in der Kamera. Dies hat ebenso Einfluss auf die Auflösung wie die gewählte Lichtempfindlichkeit. Daher werden alle Messungen an mit unterschiedlichen ISO-Werten erstellten Testbildern durchgeführt, um deren Einfluss auf die Bildqualität zu dokumentieren.Auflösung und die Anzahl der auf dem Sensor vorhandenen Pixel sind nicht identisch, auch wenn viele Anwender beides gleichsetzen. Während die von den Kameraherstellern genannte Auflösung schlicht besagt, wie viele Bildelemente auf dem Sensor zu finden sind, entscheidet die Detailwiedergabe in den Testaufnahmen tatsächlich über die gebotene Auflösung einer Kamera. Eine Kamera mit doppelt so vielen Pixeln hat nicht zwangsläufig auch eine doppelt so hohe Auflösung wie ein weniger gut ausgestattetes Vergleichsmodell.
Moderne Digitalkameras nutzen Algorithmen, um den Schärfeeindruck künstlich zu erhöhen, zum Beispiel an Kanten im Bild oder von Schrift bei der Reproduktion von Texten. Das TE42 Testchart ist so gestaltet, dass auch diese Effekte bei der Dateianalyse berücksichtigt werden können.
Die Messung der Auflösung jeder Testkamera erfolgt auf Basis eines hochkomplexen Siemenssterns (gemäß ISO12233:2014) in der Mitte sowie in den vier Ecken des Testcharts. Dieser Stern besteht aus 144 hellen bzw. dunklen Bereichen, die so hochaufgelöst gedruckt sind, dass keine Digitalkamera diese Auflösung vollumfänglich reproduzieren kann. Eine speziell hierfür entwickelte Software wird zur exakten Analyse der Wiedergabe der Sterne im Testbild eingesetzt, die sich in einer SFR genannten Funktion ausdrückt und aus der sich eine Vielzahl weiterer numerischer Analysewerte ableiten lassen. Relevant ist am Ende der Wert, der beschreibt, wann das Kamerasystem bei der Detailwiedergabe an seine Grenzen stößt.
Ausgedrückt wird dieser Wert als Linienpaare pro Bildhöhe. Wenn das Testergebnis also eine Auflösung von 1.500 Linienpaaren ausweist, dann kann die Kamera 1.500 schwarze Linien im Wechsel mit 1.500 weißen Linien auflösen, die sich über die gegebene Bildhöhe erstrecken.
Die automatische Rauschreduzierung moderner Digitalkameras ist ein weiteres Kriterium, das das Testverfahren bei der Beurteilung berücksichtigt. Kameras verwenden dazu Algorithmen, die das Bildrauschen bei der Signalverarbeitung erkennen und verringern können. Dabei kann es vorkommen, dass statt dessen auch feinste Bilddetails als Rauschen identifiziert und entfernt werden. Der daraus resultierende Verlust an Detailzeichnung ist schwer messbar, obwohl er ein bedeutender Faktor bei der Bestimmung der Bildqualität ist.
Um dieses Problem zu lösen, enthält der Testaufbau ein „tote Blätter“ genanntes Muster, das aus tausenden von Kreisen besteht, die aufeinander liegen. Deren Durchmesser, Position, Farbe und Intensität variiert willkürlich, folgt aber einer bekannten Wahrscheinlichkeits-Funktion. Die Methode, dieses Testelement auszuwerten, wurde eigens von Image Engineering entwickelt und steht kurz davor, zum ISO Standard erhoben zu werden.
Um das Maß an Scharfzeichnung messen zu können, nutzt der Test im Chart enthaltene Kanten mit bekanntem Kontrast (60 % und 80 %), die abgeschrägt sind. In der Vergangenheit dienten diese Muster der Messung der Auflösung, was zwischenzeitlich aufgrund der Scharfzeichnung zu falschen Ergebnissen führen kann. Die von Image Engineering angewandte Analysemethode gemäß ISO12232:2014 basiert statt dessen auf den durch die kamerainterne Scharfzeichnung entstehenden Artefakten.
Bildrauschen und der Dynamikumfang einer Kamera werden gemäß ISO14524 und ISO15739 anhand der Wiedergabe einer Testvorlage mit 20 grauen Feldern bekannter Luminanz analysiert.
Der Signal-Rauschabstand (SNR) wird häufig in Tests herangezogen, um Aussagen zum Rauschverhalten einer Kamera zu untermauern. Dieser Wert steht jedoch in keiner Verbindung zur menschlichen Wahrnehmung. Image Engineering misst den SNR-Wert zwar, aber nutzt ihn nicht zur Analyse, denn es hat sich gezeigt, dass zwei Kameras mit identischen SNR Werten Bilder erzeugen, in denen Betrachter unterschiedliches Rauschverhalten wahrnehmen. Als Konsequenz wertet Image Engineering statt dessen Bildmerkmale, die vom menschlichen Auge tatsächlich wahrgenommen werden stärker als solche, die kaum ins Gewicht fallen. Die Bewertung des Rauschverhaltens hängt außerdem stark von den Betrachtungsbedingungen ab, so dass diese Werte unter den drei eingangs beschriebenen Betrachtungsarten erfolgt.
Der Dynamikumfang einer Kamera definiert den Kontrast zwischen hellen und dunklen Bildpartien, in denen noch Zeichnung zu erkennen ist. Ausgedrückt wird der Dynamikumfang in Blendenstufen oder Lichtwerten (EV). Jede Blendenstufe verdoppelt den Kontrastumfang, ein Dynamikumfang von zehn Blendenstufen entspricht also einem Kontast von 1000:1.
Viele Tests beurteilen die Farbwiedergabe einer Kamera danach, wie akkurat Farben reproduziert werden. Was sie dabei außer Acht lassen ist, dass Digitalkameras tatsächlich gar nicht dazu gemacht sind, Farben akkurat wiederzugeben, sondern dazu, Farben möglichst gefällig zu zeigen, was Tests der Farbwiedergabe zu einer Herausforderung macht.
Farbe unterliegt schließlich sehr stark der subjektiven Wahrnehmung des Betrachters. Um dennoch zu aussagefähigen Messwerten zu gelangen, berücksichtigt Image Engineering eine Vielzahl an Faktoren bei der Analyse farbiger Felder im Testchart, die sich als Referenz am bekannten X-Rite ColorChecker SG Color Target orientieren. Jedes einzelne der 96 Farbfelder wurde mit einem kalibrierten Spectrophotometer gemessen und die Ergebnisse als Referenz in die Testsoftware übertragen. Die im sRGB Farbraum vorliegenden Testbilder werden zur Analyse in den CIE-LAB Farbraum gewandelt und auf Abweichungen der Farbwiedergabe, der Helligkeit, der Sättigung und des Farbtons untersucht.
Geschwindigkeit
Zweites Testkriterium ist die von einer Kamera gebotene Geschwindigkeit, also ihre Auslöseverzögerung, die Einschaltzeit und ihre Serienbildfunktion.
Die Auslöseverzögerung ist die Zeit zwischen dem Druck auf den Auslöser und dem Beginn der Belichtung. Im Test sind die Kameras dabei am Anfang des Messvorgangs nicht auf das Testmotiv, sondern auf Unendlich fokussiert. Die gemessene Auslöseverzögerung umfasst also sowohl die Zeit, die die Kamera zum Scharfstellen benötigt, als auch die bis zum Öffnen des Verschlusses.
Durchgeführt wird dieser Test sowohl bei wenig, als auch bei sehr hellem Licht und – sofern vorhanden – in verschiedenen AF Modi. Unter all diesen Bedingungen werden je zehn Auslösevorgänge gemessen und dann die Durchschnittswerte ermittelt.
Die Einschaltzeit einer Kamera ist die Zeitspanne zwischen dem Einschalten und der ersten Aufnahme. Störende Faktoren wie der Autofokus sind dabei ausgeschaltet.
Die Bildrate in der Serienbildfunktion wird sowohl mit bester JPEG Qualität, als auch mit RAW Daten ermittelt, und zwar jeweils im schnellst möglichen Modus. Ermittelt wird die Anzahl an Bildern, bevor die Datenmenge die Bildrate verlangsamt. Passiert dies nicht, wird die Zeit gemessen, die die Kamera für 100 Bilder benötigt.
Ausstattung
Die Bewertung der Ausstattung einer Testkamera basiert auf der Anzahl der gebotenen Merkmale, zum einen gemäß der Herstellerangaben, zum anderen aufgrund der persönlichen Überprüfung. Die Liste umfasst unter anderem den Sensortyp und dessen physikalische Auflösung, die Anzahl der Kartensteckplätze, die externen Anschlüsse, den Sucher und die Art und Größe des Kameradisplays. Die Gewichtung der Bewertung einzelner Ausstattungskomponenten spiegelt deren Bedeutung für den Anwender wieder. Jede getestete Kamera wird nach derselben Checkliste bewertet.
Handhabung
Auf dem subjektiven Eindruck des Testers basiert letztendlich die Bewertung des Handlings und des haptischen Eindrucks einer Testkamera. Für die Bewertung der Anordnung und Ausführung der Bedienelemente ist entscheidend, wie praxisgerecht sie Zugriff auf welche Funktionen geben. Die Checkliste umfasst unter anderem Fragen zur Form, Größe und der Handhabbarkeit der Bedienelemente sowie, wie viele gleichzeitig gedrückt werden müssen, um eine bestimmte Funktion abzurufen. Die Robustheit, Größe und das Gewicht einer Testkamera fließen ebenfalls in die Bewertung mit ein. Insgesamt umfasst die Checkliste fünf Kategorien, die mit jeweils 20 Prozent Gewichtung in das Endergebnis einfließen: Bedienelemente, Ergonomie und Fertigungsqualität, Sucher und Monitor, generelle Handhabbarkeit und die Videofeatures.
Die ersten ProfiFoto Tests nach dem hier beschriebenen, neuen TIPA Testverfahren von Image Engineering erscheinen in der November Ausgabe. Parallel dazu veröffentlicht ProfiFoto auch weiterhin Objektivtests in Kooperation mit Trust Your Eyes. Die Original-Testbilddateien der neuen ProfiFoto Kameratests werden kostenlos zum Download auf profifoto.de zur Verfügung stehen, so dass Leser sich selbst einen Eindruck von der Bildqualität der Testkameras machen können.
