"Der Kunde wird zum Betatester'

In ihrer Kundenzeitschrift "Verbraucher aktuell" konstatieren die Verbraucherzentralen Nordrhein-Westfalen und Baden-Württemberg, dass Endkunden zunehmend unter Fehlern in PC-Spielen zu leiden haben. Dagegen will das belgische Softwareprüfungszentrum Professional Multimedia Test Centre (PMTC) etwas unternehmen. GamesMarkt.de sprach aus aktuellem Anlass mit Frans Penders, Testing Department Manager, und Peter Duelen, Games Testing Department Manager.

GamesMarkt.de: Der deutsche Verbraucherschutz hat unlängst bemängelt, dass immer mehr fehlerhafte Software in den Handel gelangt. Können Sie diesen Trend bestätigen? Wie sehen Ihre Erfahrungen aus?

Peter Duelen: Leider sehen wir, dass es immer öfter passiert, dass Spiele in die Läden kommen und eine Menge Bugs aufweisen. Der Gamer muss sich auf diese Weise auch immer öfter auf so genannte "Patches" und/oder "Bugfixes" verlassen - wenn sie denn überhaupt kommen und unter der Voraussetzung, dass der User über eine Internetanbindung verfügt.

GM: Worin liegt Ihrer Meinung nach der Grund für die vielen Bugs?

Duelen: Eines muss uns in diesem Zusammenhang klar sein: Ein 100-prozentig fehlerfreies Produkt in den Handel zu bringen ist nahezu unmöglich. Dennoch: Die Qualität einiger Produkte, die man heute in den Geschäften findet, hat unter dem Zeitdruck der Hersteller gelitten. Speziell für neue oder kleinere Unternehmen ist die Testphase zu kostenintensiv oder wird von Leuten realisiert, die im Grunde zu wenig Testingkenntnisse haben. Die Planung und das Budget beeinflussen die Testphase enorm. Es gibt derzeit bei Games einen Trend Richtung offene Betatests. Natürlich gibt es eine Menge Leute unter all den Gamern da draußen, die dabei wirklich einen guten Job machen. Dennoch verstärkt dies das Gefühl, dass der Kunde damit im Endeffekt zum Betatester wird und nicht jemand ist, der nur Spaß an einem Produkt haben will. Die richtige Balance zwischen Qualität, Wirtschaftlichkeit und Planung zu finden ist heutzutage eine schwierige Sache geworden.

GM: Also liegt es ausschließlich am Zeitdruck der Hersteller?

Frans Penders: Nicht ausschließlich, aber zumindest ist Zeitmangel eines der Hauptprobleme, ja. Eigentlich sollte es selbstverständlich sein, dass ein Programm ausgiebig getestet wird, bevor es zur Veröffentlichung kommt. Aber dieses Prinzip wird manchmal nicht eingehalten. Das kann indes mehrere Gründe haben. Zum einen liegt es, wie gesagt, am Zeitmangel. Es kommt zuweilen sogar vor, dass in die Planungsphasen für ein Produkt überhaupt keine Testläufe mehr eingerechnet sind, weil der Entwickler es nicht für notwenig erachtet oder weil das Budget für ein Produkt sowieso schon weit überzogen ist. Früher oder später treten dann aber Probleme auf. Manchmal findet man die eben erst heraus, wenn das Produkt schon im Handel steht. Leider muss man sagen, dass wir zuweilen bereits erschienene Produkte testen, nur um dann aufzuzeigen, welche Fehler hätten vermieden werden können, wenn sie nur vor dem Marktgang getestet worden wären. Ist die Testphase jedoch in die Planung und in das Budget mit eingerechnet, stehen wir aber schon vor einem weiteren Problem, das da heißt: "Too late, too little." Im Optimalfall wird ein Produkt ab seiner Betaversion kontinuierlich getestet. Fehler können dann bereits früh in der Entwicklungsphase entdeckt und beseitigt werden. Wenn wir jedoch erst mit einem nahezu fertigen Produkt testen müssen, ist es meistens sehr schwierig, die Fehler noch auszumerzen. Ein weiteres Problem ist das so genannte "Regression Testing", das heißt, es kann durchaus vorkommen, dass ein beseitigter Bug einen neuen Bug hervorruft. In der Folge müsste eigentlich jede neue Version getestet werden, auf jeden Fall aber die Version, die auf den Markt gebracht wird. Letztlich liegt es aber beim Entwickler selbst, ob er die von uns entdeckten Fehler auch behebt. In unsere Bugreports schreiben wir dringend notwendige Empfehlungen, das heißt, wir sagen, was wirklich getan werden muss. Aber, wie gesagt, der Hersteller entscheidet selbst, ob ein Bug behoben wird oder eben nicht. Es gibt Fälle, obwohl selten, in denen wir in einem bereits erschienen Produkt schwerwiegende Fehler finden, obwohl wir in unserem Report ausdrücklich auf sie hingewiesen haben.

Duelen: Die Zeitfrage ist in der Tat zu einer der wichtigsten Fragen geworden. Die Konkurrenzsituation ist sehr hart. Sei es, dass der Hersteller einen Titel rasch auf den Markt bringen möchte, bevor ein Konkurrent es tut, oder mit seinem Produkt unbedingt vor Jahresende herauskommen will, um noch vom Weihnachtsgeschäft zu profitieren. Allerdings wäre genügend Zeit auch nicht die allumfassende Antwort auf Bugs. Das wäre genauso, als würde man sagen, Tests machen bessere Spiele.

Penders: Die externe Testphase wird meist ans Ende eines Entwicklungszyklus gelegt. Eine Verzögerung in der Entwicklung bedeutet daher auch weniger Zeit für diese Tests. Im Grunde können wir zwei Typen von Kunden unterscheiden: Der eine plant alles bis ins kleinste Detail und rechnet die Testphase mit in das Produktbudget ein. Der andere wartet mit dem Testen, bis das Produkt fertig ist, und organisiert dann auf die Schnelle einen kleinen Test.

GM: Gibt es Fehler, die überall und immer wieder auftreten?

Penders: Es ist schwer zu sagen, welche Fehler am häufigsten auftreten. Manche Programme stürzen schon bei einem Klick auf einen bestimmten Button ab, andere laufen an sich sehr stabil, weisen aber zum Beispiel Unregelmäßigkeiten im Klangbild auf. Ein ganz anderes Problem, und da kann der Hersteller wirklich nichts machen, ist die Endkonfiguration des Heim-PCs. Der User kann irgendein fremdes Softwareprodukt installiert haben, das sich wiederum mit anderen Softwareprogrammen nicht verträgt. Das System an sich kann instabil sein, beispielsweise durch inkompatible Hardwarekomponenten. Diese Punkte kann man nicht alle voraussehen. Daher ist es auch sehr schwierig, ein Produkt 100- prozentig bugfrei auszuliefern. Man kann einen Softwarehersteller nicht für alles verantwortlich machen, wenn ein Programm mal nicht läuft. Bugs können mehrere Ursachen haben, es muss nicht immer an der Programmierung des jeweiligen Produkts liegen.

Duelen: In den letzten Monaten wurde die Frage der Kompatibilität immer dringlicher. Daneben kann die Lokalisation, also die Übersetzung von geschriebenen und gesprochenen Texten in eine andere Sprache, für große Probleme sorgen. Das beginnt bei leichten Bugs, wie nicht übersetzten Textstellen im Spiel, und kann an manchen Stellen auch zu Abstürzen führen.

GM: Im Grunde kann ein Hersteller also in manchen Fällen nichts für die Bugs.

Penders: Zum Teil nicht, aber letztendlich steht doch nur der Publisher in der Verantwortung, ein Produkt so ausgereift wie irgend möglich in den Handel zu bringen. Testing ist dafür das gegebene Hilfsmittel. Aufgrund meiner Erfahrung kann ich nur sagen, dass das Qualitätsbewusstsein in den letzten Jahren seitens der Publisher eindeutig zugenommen hat. Das liegt sicherlich auch daran, dass die Konkurrenzsituation am Markt zunimmt. Letztendlich ist es aber auch der Markt, der die Publisher dazu zwingt, immer schneller neue Produkte auf den Markt zu bringen. Im Endeffekt geht dies dann manchmal zulasten der Qualität.

Duelen: Man darf aber auch nie vergessen, dass mit technischen Neuerungen, wie etwa dem aktuellen Boom von neuen, immer besseren Grafikkarten, auch immer mehr Schwierigkeiten auf die Entwickler zugekommen sind. Das Programmieren wird immer schwieriger, und eine optimale Kompatibilitätsgrundlage zu finden scheint schier unmöglich. Zeit ist Geld, wie man so sagt, und wir testen so schnell und effizient wie möglich. Wir verbringen zeitweise sogar unsere Wochenenden im Testlabor. Das Problem ist einfach, dass die Testphase als der letzte Schritt in der Entwicklung angesehen wird.

GM:Wir bedanken uns für das Gespräch.