Subjektive Tests
Nachdem der Abgleich zwischen der subjektiven Einschätzung der Testbilder mit den Ergebnissen des Algorithmus abgeschlossen worden ist, ging es darum, letzteren an anderen Bildern zu testen. Es wurden sechs verschiedene Testbilder (Bilder A bis F unten) ausgewählt und diese ebenfalls in verschiedenen Qualitätsstufen abgespeichert.
Die Bilder A und B sind aus den MPEG-Testsequenzen, die uns die SRG zur Verfügung gestellt hat. Bei Bild A ist der Waschbeton sehr schwierig aufzulösen, da er hohe Ortsfrequenzen enthält. Bei Bild B sind es ebenfalls die feinen Details, die bei starker Kompression Fehler produzieren. Bild C und D sollen als Beispiel durchschnittlicher Unterhaltungssendungen betrachtet werden, Bild E ist eine computererstellte Raumstation, bei der es interessant war zu sehen, dass eine künstliche Szenenerstellung einen grossen Einfluss auf die subjektive Wahrnehmung besitzt. Bild F schlieslich steht als Vertreter einer typischen Informations- oder Nachrichtensendung.
Um für jedes Bild einen MOS mit möglichst gutem Durchschnittswert zu erhalten, sollten möglichst viele Leute die Bilder bewerten. Normalerweise muss eine Bewertung bei genormten Randbedingungen (z. B BT 500, siehe Kapitel 6.3.1) durchgeführt werden, damit z. B. der Betrachtungsabstand, die Hintergrundbeleuchtung, die Reihenfolge der Darstellung etc. für alle Testpersonen gleich sind. Da solche Versuche aber erstens sehr zeitaufwendig sind und zweitens eine spezielle Testumgebung erfordern, wurde eine ungewöhnliche aber einfachere und wirkungsvolle Art gewählt, um möglichst viele Bewertungen zu bekommen. Es wurde eine Homepage im Internet erstellt mit allen sechs Bilderserien, umfangreichen Erklärungen und einem Formular, in dem die Bewertungen notiert werden und elektronisch versandt werden konnten (siehe Anhang B).
Es wurden dabei bewusst einige Nachteile in Kauf genommen, die sich auf diesem Weg nur schwer vermeiden liessen. Die Bewertungen sind deshalb nicht optimal, da z. B. jeder Monitor eine andere Einstellung besitzt, der Betrachtungsabstand der Testpersonen unterschiedlich ist und vor allem die Qualität der Bilder in der JPEG-Version nicht mehr genau der originalen entspricht. Zusätzlich fiel die zum Teil schlechte Qualität der Referenzbilder ins Gewicht, die durch das Framegrappen entstanden ist.
Trotzdem sind die Ergebnisse sehr aufschlussreich und sie genügen, um einen Vergleich mit den errechneten objektiven Werten anzustellen.
Es folgen die Bilderserien A bis F, jeweils mit Referenzbild (Bilder A0 bis F0) und 6 schlechteren" Qualitätsstufen. Der Kompressionsfaktor nimmt mit steigender Bildzahl ab. Die genauen JPEG-Qualitätsstufen sind:
X1: JPEG-Qualität 40%
X2: JPEG-Qualität 20%
X3: JPEG-Qualität 15%
X4: JPEG-Qualität 10%
X5: JPEG-Qualität 7%
X6: JPEG-Qualität 4%
Serie A: Reporterin vor Waschbeton
Bild A0
Bild A1
Bild A2
Bild A3
Bild A4
Bild A5
Bild A6
Serie B: Eröffnung olympische Spiele Barcelona
Bild B0
Bild B1
Bild B2
Bild B3
Bild B4
Bild B5
Bild B6
Serie C: Fernsehsendung
Bild C0
Bild C1
Bild C2
Bild C3
Bild C4
Bild C5
Bild C6
Serie D: Nagano
Bild D0
Bild D1
Bild D2
Bild D3
Bild D4
Bild D5
Bild D6
Serie E: Raumstation
Bild E0
Bild E1
Bild E2
Bild E3
Bild E4
Bild E5
Bild E6
Serie F: Verhandlungen
Bild F0
Bild F1
Bild F2
Bild F3
Bild F4
Bild F5
Bild F6
Subjektive Bewertungen der Bilderserien
Es haben 91 Leute über das Internet an der Bildbewertung teilgenommen. Es konnten Noten von 1 bis 6 mit einer Schrittweite von 0,5 verteilt werden und alle sechs Bilder einer Serie sollten im Vergleich zur Referenz (Bild 0) bewertet werden. In den sechs Balkengrafiken unten ist die Aufsplittung der Noten für die Bilder A1 bis A6 (Reporterin vor Waschbeton) dargestellt.
Auf den x-Achsen nach rechts sind die Notenwerte aufgetragen, auf den y-Achsen nach oben die Anzahl der Stimmen (Maximalwert ist 91).
Wie deutlich zu erkennen ist, gibt es bei den Bildern A3, A4 und A5 eine grosse Streuung der subjektiven Eindrücke. Die hier dargestellten Werte für die Serie A lässt sich gut auf die anderen fünf Serien übertragen, die Verteilungen sehen sehr ähnlich aus, können aber in x-Richtung verschoben sein. Die Durchschnittsbewertungen für alle Serien sind in Tabelle 3 in Kapitel 10 aufgeführt, zusammen mit den JND- und RMS-Werten.
|