Exzellenz in IT-Management und Digitalisierung

Benchmarking: Individualapplikationen benchmarken - ist das überhaupt möglich?

Viele Unternehmen in Deutschland haben in den letzten Jahren die Kosten oder Preise für ihre IT-Infrastruktur in den Rechenzentren gebenchmarkt. Das »Vergleichen von Äpfeln und Birnen« ist dabei zum geflügelten Wort geworden und bedeutet, dass nur Gleiches mit Gleichem verglichen werden soll.

Es ist die Maxime aller Benchmarker, im Benchmarking der IT-Infrastruktur stets nur Leistungen miteinander zu vergleichen, die in möglichst vielen Merkmalen übereinstimmen. So benchmarken wir zum Beispiel Windows Server mit 2 Cores direkt nur gegen Windows Server mit 2 Cores. Sofern es Unterschiede im Leistungsumfang (beispielsweise in der Bereitstellung der Hardware) oder in der Qualität (etwa bei der Servicezeit oder der Verfügbarkeit) gibt, können diese im Rahmen der Normalisierung im Benchmarking ausgeglichen werden. Basis des Vergleichs sind jedoch identisch konfigurierte Systeme.

Durch die zunehmende Standardisierung der IT-Infrastruktur – die nicht zuletzt auch durch das Benchmarking vorangetrieben wurde – sind die Kostensenkungspotenziale in diesem Bereich inzwischen weitgehend ausgeschöpft. Da der Kostendruck auf die IT aber unvermindert hoch ist, rücken zunehmend die Applikationen (Anwendungen) in den Fokus der CIOs und IT-Controller. Hier gibt es noch große Kostenblöcke, die nicht hinreichend transparent sind.

Der Betrieb von Standardapplikationen wie SAP wird schon seit vielen Jahren gebenchmarkt, da sich diese Systeme aufgrund ihrer relativ hohen Standardisierung recht gut auch zwischen Unternehmen vergleichen lassen. Darüber hinaus betreibt jedoch fast jedes Unternehmen einen mehr oder weniger großen »Zoo« an Individualapplikationen, die teilweise aus den 90er Jahren des letzten Jahrtausends stammen.

Wir fassen darunter zwar auch „Kaufsoftware“, die eine deutlich geringere Verbreitung als SAP aufweist (ERP-Systeme kleinerer Anbieter, Warenwirtschaft, CRM, BI,…), zusammen, vor allem aber eigenentwickelte Software. Diese ist häufig für ein Benchmarking sehr interessant, weil sie besonders teuer im Betrieb ist, weil sie etwa den Kerngeschäftsprozess des Unternehmens unterstützt.

Für diese Individualapplikationen wird man jeweils keine zweite identische Installation auf dem Markt finden. Daher verwenden wir für das Benchmarking von Individualapplikationen tatsächlich „Äpfel und Birnen“.

Und das geht so:

Kostentreiber im Applikationsbetrieb. Sinn und Zweck des Benchmarkings ist nicht nur der Vergleich von Kosten oder Preisen, sondern insbesondere auch die Identifikation von Kostentreibern im betrachteten Service, um diese im täglichen Geschäft beeinflussen zu können.

Der wesentliche Kostentreiber im Applikationsbetrieb ist unserer Erfahrung nach nicht etwa die Funktionalität der Anwendung. Jeder CIO kennt Anwendungen, die eine vergleichsweise eingeschränkte Funktionalität aufweisen, aber trotzdem teuer im Betrieb sind (zu nennen wäre so manches Business-Intelligence-System) – und andere, bei denen es umgekehrt ist (etwa kleinere ERP-Systeme).

Vielmehr treiben diejenigen Faktoren die Kosten des Betriebs in die Höhe, die Unruhe und Aufwand im Betrieb erzeugen – insbesondere Incidents und Changes. Zwar gibt es einen Zusammenhang zwischen der Funktionalität der Anwendung und beispielsweise der Anzahl Changes – eine Anwendung mit komplexer Funktionalität unterliegt auch oft vielen Änderungen – aber es ist eben nicht immer so. Immer aber ist es so, dass viele Incidents und Changes der Betriebsmannschaft viel Arbeit machen.


Der Betrieb von Individualapplikationen wird anhand der Parameter gebenchmarkt, die den stärksten Einfluss auf den Aufwand im Applikationsbetrieb haben.

Wir haben diesen Zusammenhang schon vor Jahren in einer Korrelationsanalyse auf Basis unserer Benchmark-Datenbank untersucht. Die Faktoren mit dem größten Einfluss auf den Preis oder die Kosten des Applikationsbetriebs sind demnach (in absteigender Reihenfolge) die Anzahl Incidents, die Anzahl Changes, die Servicezeit, die Anzahl logischer Partitionen und die Anzahl Schnittstellen der Applikation.

»Geräuschmuster« von Vergleichsapplikationen. Seither verwenden wir diesen Zusammenhang für unser Benchmarking des Applikationsbetriebs für Individualapplikationen. Wir suchen für die zu benchmarkende Anwendung andere Anwendungen, die ein ähnliches » Geräuschmuster« an Incidents, Changes etc. im Betrieb verursachen. Diese ziehen wir für einen Vergleich heran. Das können durchaus Anwendungen mit ganz unterschiedlichen Funktionalitäten sein, wenngleich wir uns bemühen, Anwendungen vom gleichen Typ (ERP-Systeme, geografische Informationssysteme, …) zu verwenden.

Im Rahmen der Normalisierung wird dann der Leistungsumfang im Applikationsbetrieb zwischen Kunden- und Vergleichsapplikation über Auf- und Abschläge angeglichen. Wie im Infrastruktur-Benchmarking verwenden wir auch hierfür ein Referenzmodell, das den am Markt am häufigsten zu beobachtenden Leistungsschnitt abbildet. Das »Geräuschmuster« an Incidents, Changes, Schnittstellen etc. der Vergleichsapplikationen (wir nennen das auch Mengengerüste) wird ebenfalls angepasst, und zwar so, dass durch Auf- und Abschläge das Mengengerüst der Kundenapplikation nachgebildet wird. Diese Normalisierung soll aber nur gering sein, denn die Vergleichsapplikationen sollen ja schon so passend ausgesucht sein, dass nur noch geringe Abweichungen in den Mengengerüsten existieren.

Um wieder zum Vergleich von Äpfeln und Birnen zurückzukommen – wir wählen also Äpfel und Birnen von etwa gleicher Größe und schälen sie anschließend noch ein wenig ab, bis sie die gleiche Form haben.

Dieses Prinzip erfährt im Benchmarking des Betriebs von Individualapplikationen inzwischen eine hohe Akzeptanz. Und nicht nur dort – einige IT-Dienstleister setzen diese Methode bereits ein, um die Preise für den Betrieb von Applikationen zu kalkulieren.

Hannes Fuchs

Mohammed Mosavi