Bis dato gilt Quadrant als der Standard unter den Android-Benchmarks. Mit CF-Bench betritt nun ein potentieller Nachfolger die Bühne der Leistungsmessungs-Tools. Wir klären, in welcher Hinsicht CF-Bench besser ist als Quadrant und wo das große Problem mit Benchmarking-Tools im Allgemeinen liegt.

eines Geräts, heruntergebrochen auf eine einzige Zahl, nach dem Motto: "Mein Handy ist besser als deins”, sei niemals in der Lage, die Komplexität aller Faktoren abzubilden, die sich auf die Geräteleistung auswirken. Was, wenn ein Gerät eine starke CPU hat, aber einen schwachen Grafikprozessor? Was, wenn das RAM flott ist, aber das Dateisystem lahmt? Und wie gewichtet man die einzelnen Faktoren? Nichtsdestotrotz werden Benchmarks gerne verwendet, um mit einem plakativen Wert Geräte miteinander zu vergleichen. Es ist ja auch so schön einfach.

Der vermutlich beliebteste Benchmark unter Android ist Quadrant. Quadrant misst unter anderem die CPU-Performance, 2D- und 3D-Grafikleistung sowie die Eingangs-/Ausgansleistung des Dateisystems. Das ganze fluppt schnell durch, nach etwa einer Minute sind die Testläufe in der Regel beendet, man erhält eine einzige schöne Punktzahl, eingeordnet in ein Balkendiagramm, die die Leistung des Gerätes im Vergleich zu anderen Geräten widerspiegeln soll.

Gängige Kritik an Quadrant ist, dass der Benchmark Geräte mit höherer Auflösung und niedrigerer Frame-Deckelung in 2D- und 3D-Anwendungen benachteiligt, dass er die höhere Leistungsfähigkeit von Multicore-Prozessoren nicht berücksichtigt, dass die Werte in Messreihen mit mehreren Durchläufen zu stark schwanken und Quadrant vor allem die gefühlte Performance nicht im Geringsten abbildet.

Der bekannte Android-Kernelhacker Chainfire (unter anderem bekannt für CF-Root auf dem Galaxy S) hat sich nun zumindest einiger dieser Probleme angenommen und ein eigenes Benchmarking-Tool entwickelt, das die Leistung von Android-Geräten besser aufschlüsseln soll.

Das Ergebnis, CF-Bench mag nicht so viel "Eye Candy” bieten wie Quadrant, misst aber die Performance in weit mehr Kategorien und berücksichtigt vor allem die Möglichkeiten von Multicore-CPUs. Entsprechend dauert ein Testdurchlauf auch länger als in Quadrant.

Ob CF-Bench die generelle Problematik von Benchmarks umgeht sei mal dahingestellt. Immerhin werden die Ergebnisse der verschiedenen Leistungsmessungen aufgeschlüsselt, das macht die Ergebnisse, etwa bei der Messung der Java-Effizienz, besser zwischen verschiedenen Geräten und Android-Versionen vergleichbar. Die "Overall Score” wird weit weniger prominent gezeigt, die Einzeltestergebnisse erhalten so ein höheres Gewicht.

Was uns positiv auffiel, ist die Konsistenz der Ergebnisse: Sind bei Quadrant Schwankungen von bis zu 15% innerhalb einer Messreihe eher die Regel als die Ausnahme, belaufen sich diese bei CF-Bench nur auf etwa 5% (siehe Messergebnisse unten).

Stellt sich die Frage, ob man CF-Bench braucht. Jein, denn ob ein Android-Handy flüssig läuft hängt zu einem nicht geringen Teil davon ab, wie gut die Software optimiert ist. Ein Beispiel: Sony Ericsson schafft es, dass das eigene Homescreen- und App-Drawer-System auf einem 1 GHz Singlecore-System flüssiger läuft als HTCs Sense-Oberfläche auf einem 2×1,2 GHz-Boliden. Nichtsdestotrotz sind Benchmarks ein wichtiger Anhaltspunkt zur Ermittlung und dem Vergleich "roher” Leistungsdaten. Und hier ist CF-Bench definitiv ein Fortschritt gegenüber Quadrant.

Download CF-Bench: Market | AppBrain

CF-Bench — Messwerte

Im folgenden noch einige Messwerte.


Zitat:

Welche CF-Bench-Werte habt ihr für eure Geräte ermittelt? Postet eure Ergebnisse (bitte mit Android-Version/ROM und eventuellen Übertaktungen) in die Kommentare.