Subjektive Tests
Nachdem der Abgleich zwischen der subjektiven Einschätzung der Testbilder mit den Ergebnissen des Algorithmus abgeschlossen worden ist, ging es darum, letzteren an anderen Bildern zu testen. Es wurden sechs verschiedene Testbilder (Bilder A bis F unten) ausgewählt und diese ebenfalls in verschiedenen Qualitätsstufen abgespeichert.
Die Bilder A und B sind aus den MPEG-Testsequenzen, die uns die SRG zur Verfügung gestellt hat. Bei Bild A ist der Waschbeton sehr schwierig aufzulösen, da er hohe Ortsfrequenzen enthält. Bei Bild B sind es ebenfalls die feinen Details, die bei starker Kompression Fehler produzieren. Bild C und D sollen als Beispiel durchschnittlicher Unterhaltungssendungen betrachtet werden, Bild E ist eine computererstellte Raumstation, bei der es interessant war zu sehen, dass eine künstliche Szenenerstellung einen grossen Einfluss auf die subjektive Wahrnehmung besitzt. Bild F schlieslich steht als Vertreter einer typischen Informations- oder Nachrichtensendung.
Um für jedes Bild einen MOS mit möglichst gutem Durchschnittswert zu erhalten, sollten möglichst viele Leute die Bilder bewerten. Normalerweise muss eine Bewertung bei genormten Randbedingungen (z. B BT 500, siehe Kapitel 6.3.1) durchgeführt werden, damit z. B. der Betrachtungsabstand, die Hintergrundbeleuchtung, die Reihenfolge der Darstellung etc. für alle Testpersonen gleich sind. Da solche Versuche aber erstens sehr zeitaufwendig sind und zweitens eine spezielle Testumgebung erfordern, wurde eine ungewöhnliche aber einfachere und wirkungsvolle Art gewählt, um möglichst viele Bewertungen zu bekommen. Es wurde eine Homepage im Internet erstellt mit allen sechs Bilderserien, umfangreichen Erklärungen und einem Formular, in dem die Bewertungen notiert werden und elektronisch versandt werden konnten (siehe Anhang B).
Es wurden dabei bewusst einige Nachteile in Kauf genommen, die sich auf diesem Weg nur schwer vermeiden liessen. Die Bewertungen sind deshalb nicht optimal, da z. B. jeder Monitor eine andere Einstellung besitzt, der Betrachtungsabstand der Testpersonen unterschiedlich ist und vor allem die Qualität der Bilder in der JPEG-Version nicht mehr genau der originalen entspricht. Zusätzlich fiel die zum Teil schlechte Qualität der Referenzbilder ins Gewicht, die durch das Framegrappen entstanden ist.
Trotzdem sind die Ergebnisse sehr aufschlussreich und sie genügen, um einen Vergleich mit den errechneten objektiven Werten anzustellen.
Es folgen die Bilderserien A bis F, jeweils mit Referenzbild (Bilder A0 bis F0) und 6 schlechteren" Qualitätsstufen. Der Kompressionsfaktor nimmt mit steigender Bildzahl ab. Die genauen JPEG-Qualitätsstufen sind:
X1: JPEG-Qualität 40%
X2: JPEG-Qualität 20%
X3: JPEG-Qualität 15%
X4: JPEG-Qualität 10%
X5: JPEG-Qualität 7%
X6: JPEG-Qualität 4%
Serie A: Reporterin vor Waschbeton
 Bild A0
 Bild A1
 Bild A2
 Bild A3
 Bild A4
 Bild A5
 Bild A6
Serie B: Eröffnung olympische Spiele Barcelona
 Bild B0
 Bild B1
 Bild B2
 Bild B3
 Bild B4
 Bild B5
 Bild B6
Serie C: Fernsehsendung
 Bild C0
 Bild C1
 Bild C2
 Bild C3
 Bild C4
 Bild C5
 Bild C6
Serie D: Nagano
 Bild D0
 Bild D1
 Bild D2
 Bild D3
 Bild D4
 Bild D5
 Bild D6
Serie E: Raumstation
 Bild E0
 Bild E1
 Bild E2
 Bild E3
 Bild E4
 Bild E5
 Bild E6
Serie F: Verhandlungen
 Bild F0
 Bild F1
 Bild F2
 Bild F3
 Bild F4
 Bild F5
 Bild F6
Subjektive Bewertungen der Bilderserien
Es haben 91 Leute über das Internet an der Bildbewertung teilgenommen. Es konnten Noten von 1 bis 6 mit einer Schrittweite von 0,5 verteilt werden und alle sechs Bilder einer Serie sollten im Vergleich zur Referenz (Bild 0) bewertet werden. In den sechs Balkengrafiken unten ist die Aufsplittung der Noten für die Bilder A1 bis A6 (Reporterin vor Waschbeton) dargestellt.
Auf den x-Achsen nach rechts sind die Notenwerte aufgetragen, auf den y-Achsen nach oben die Anzahl der Stimmen (Maximalwert ist 91).
Wie deutlich zu erkennen ist, gibt es bei den Bildern A3, A4 und A5 eine grosse Streuung der subjektiven Eindrücke. Die hier dargestellten Werte für die Serie A lässt sich gut auf die anderen fünf Serien übertragen, die Verteilungen sehen sehr ähnlich aus, können aber in x-Richtung verschoben sein. Die Durchschnittsbewertungen für alle Serien sind in Tabelle 3 in Kapitel 10 aufgeführt, zusammen mit den JND- und RMS-Werten.
|