In den vergangenen Wochen bin ich bei verschiedenen (auch grösseren) öffentlichen Ausschreibungen auf Zuschlagskriterien gestossen, deren Ausgestaltung meines Erachtens dem angestrebten Qualitätswettbewerb zuwiderläuft. Der Preis wird zwar jeweils relativ tief gewichtet. Schaut man die übrigen Kriterien und deren Bewertung genauer an, zeigt sich jedoch: Die tiefe Preisgewichtung bleibt ein Feigenblatt. Die Qualitätskriterien sind (meist unfreiwillig) so ausgestaltet, dass am Schluss doch wieder der Preis entscheidet. Der mit dem revidierten Beschaffungsrecht angestrebte Paradigmenwechsel weg vom reinen Preiswettbewerb hin zum vorteilhaftesten Angebot findet damit nur auf dem Papier statt.

Qualität bewerten – mit Konzepten, Auftragsanalysen und Referenzen

In vielen Ausschreibungen müssen die Anbieter die Qualität ihres Angebots anhand von Konzepten, Auftragsanalysen oder Referenzen aufzeigen. Diese Nachweise machen teilweise einen erheblichen Teil der Zuschlagsbewertung aus. Dagegen ist grundsätzlich nichts einzuwenden. Gerade bei Dienstleistungen und Bauleistungen kann die Vergabestelle die künftige Leistung häufig nicht anhand eines fertigen Produkts beurteilen. Eine Auftragsanalyse kann zeigen, ob sich ein Anbieter mit dem konkreten Auftrag auseinandergesetzt und dessen Herausforderungen erkannt hat. Ein Konzept kann Aufschluss darüber geben, ob das vorgeschlagene Vorgehen plausibel und auf die Aufgabenstellung zugeschnitten ist. Referenzen können Hinweise auf die zu erwartende Qualität liefern. Damit solche Zuschlagskriterien ihren Zweck erfüllen, muss sich die Vergabestelle allerdings mit dem Inhalt der eingereichten Nachweise auseinandersetzen. Das Zählen von Seiten, behandelten Themen oder Auftragssummen ersetzt keine Qualitätsbewertung.

Wenn Qualitätskriterien zu Alibikriterien werden

Die Bewertung von Konzepten und Auftragsanalysen ist aufwendig. Zudem kommt der Vergabestelle dabei ein erheblicher Ermessensspielraum zu. Vergleichbar mit der Benotung eines Schulaufsatzes muss sie beurteilen, wie vertieft sich ein Anbieter mit der Aufgabenstellung auseinandersetzt, ob er die wesentlichen Herausforderungen erkennt und wie überzeugend sein Vorgehen ist. Es geht nicht nur darum, ob etwas zu einem Thema steht, sondern darum, was dort steht und welche Qualität die Überlegungen haben. Natürlich hinterfragen Anbieter eine solche Bewertung, insbesondere wenn sie nicht ihren Erwartungen entspricht. Das ist jedoch kein Grund, auf eine inhaltliche Bewertung zu verzichten. Entscheidend ist, dass die Vergabestelle die Angebote unvoreingenommen und nach einheitlichen Massstäben beurteilt und nachvollziehbar begründet, weshalb ein Angebot besser abschneidet als ein anderes.

In der Praxis ist jedoch immer wieder eine andere Tendenz festzustellen: Die Vergabestelle legt bereits in der Ausschreibung ein starres Bewertungsschema fest, das den Kriterien ihren eigentlichen Zweck nimmt. Statt die Qualität zu beurteilen, wird im Wesentlichen geprüft, ob die vorgegebenen Inhalte vorhanden sind. Ein vereinfachtes Beispiel aus solchen Bewertungsmodellen:

Verlangt wird eine Auftragsanalyse mit einer maximalen Seitenzahl. Darin haben die Anbieter die Themen A, B und C zu behandeln. Gemäss dem veröffentlichten Bewertungsmassstab erhält die maximale Punktzahl, wer sich zu allen drei Themen nachvollziehbar äussert. Werden nur zwei Themen behandelt, gibt es die Hälfte der Punkte und so weiter.  Bewertet wird damit vor allem die Vollständigkeit. Ob sich ein Anbieter nur oberflächlich äussert oder die Herausforderungen des Auftrags vertieft analysiert, wird mit diesem Schema kaum erfasst. Eine nachvollziehbare Aussage zu jedem Thema genügt für die Bestnote. Für eine bessere Analyse gibt es keine zusätzlichen Punkte.

Ähnliches zeigt sich bei Referenzen, wenn allein die Auftragssumme die Bewertung bestimmt: fünf Punkte für ein Referenzprojekt mit einer Auftragssumme von mindestens zehn Millionen Franken, vier Punkte für acht Millionen, drei Punkte für sechs Millionen und so weiter. Das lässt sich einfach bewerten. Weshalb das grössere Referenzprojekt auch die bessere Qualität erwarten lässt, bleibt hingegen offen.

Fuchs, Hase und Igel

Das Problem lässt sich mit einem Schulaufsatz veranschaulichen:

Die Lehrperson verlangt eine zehnseitige Geschichte, in der ein Fuchs, ein Hase und ein Igel vorkommen. Gleichzeitig gibt sie den Bewertungsmassstab bekannt: Wer zehn Seiten schreibt und allen drei Tieren eine relevante Rolle zuweist, erhält die Note 6. Fehlt ein Tier oder spielt es keine relevante Rolle, gibt es eine 4 oder 5. Wer nur eines der drei Tiere einbaut, erhält eine 3. Es liegt auf der Hand, was passiert: Alle schreiben zehn Seiten und bauen Fuchs, Hase und Igel ein. Ob die Geschichte sprachlich gelungen ist, einen roten Faden hat oder besonders einfallsreich ist, bleibt für die Note ohne Bedeutung. Die verlangten Inhalte sind vorhanden. Mehr braucht es für die Bestnote nicht. Will die Lehrperson die Qualität beurteilen, muss sie sich mit Inhalt, Aufbau und Sprache befassen. Dass ihr dabei ein Wertungsspielraum zukommt und ihre Beurteilung hinterfragt werden kann, lässt sich nicht vermeiden. Bei der Vergabestelle ist es nicht anders. Objektivität bedeutet nicht, auf ein fachliches Urteil zu verzichten. Sie verlangt eine Bewertung nach einheitlichen Massstäben und eine nachvollziehbare Begründung der festgestellten Unterschiede.

Auch Anbieter richten ihre Auftragsanalysen und Konzepte auf die angekündigte Bewertung aus. Genügt es, die vorgegebenen Themen nachvollziehbar abzuhandeln, werden sie genau das tun. Mit künstlicher Intelligenz lassen sich solche Schreibübungen zusätzlich vereinfachen. Fuchs, Hase und Igel sind dann überall dabei. Die Frage, welcher Anbieter den Auftrag besser verstanden hat und das überzeugendere Vorgehen vorschlägt, bleibt damit unbeantwortet. Nicht die vorgängige Bekanntgabe der Bewertungsmassstäbe ist das Problem. Transparenz ist wichtig. Ebenso wenig ist zu beanstanden, wenn mehrere qualitativ gleichwertige Angebote dieselbe Bestnote erhalten. Problematisch ist vielmehr ein Bewertungsmassstab, der relevante Qualitätsunterschiede von vornherein nicht erfasst, weil bereits das vollständige Abhandeln der Themen zur Maximalpunktzahl führt.

Solche «mathematischen» Bewertungsmethoden mögen den Eindruck einer objektiven und möglichst unangreifbaren Bewertung vermitteln: Thema vorhanden, Mindeststandard erfüllt, Punkte vergeben. Das lässt sich einfach dokumentieren und dürfte manche Diskussion über die Benotung ersparen. Als Begründung wird oft angeführt, man wolle sich nicht angreifbar machen und unnötige Beschwerden verhindern. Dahinter steht jedoch ein falsches Verständnis davon, wie sich qualitative Kriterien objektiv bewerten lassen. Die Punktevergabe lässt sich zwar problemlos nachrechnen. Eine solche Bewertung erfüllt ihren Zweck aber nicht, wenn sie relevante Qualitätsunterschiede ausblendet. Sie soll dazu beitragen, das vorteilhafteste Angebot zu ermitteln – nicht dazu dienen, jede inhaltliche Auseinandersetzung mit der angebotenen Qualität zu vermeiden.

Eine tiefe Preisgewichtung allein genügt nicht

Erhalten aufgrund solcher Alibikriterien alle Angebote dieselbe Punktzahl, entscheidet allein der Preis über die Rangfolge. Ob er mit 40, 50 oder 60 Prozent gewichtet wird, ist dafür unerheblich. Die übrigen Kriterien tragen nichts zur Unterscheidung bei. Für die Rangfolge ist der Preis damit genauso ausschlaggebend wie bei einer Gewichtung von 100 Prozent. Die angekündigte Qualitätsbewertung bleibt ohne Wirkung. Wer betont, keinen reinen Preiswettbewerb durchführen zu wollen, muss deshalb bei der Ausgestaltung und Bewertung der Qualitätskriterien ansetzen. Diese müssen relevante Unterschiede zwischen den Angeboten erfassen und in der Punktevergabe abbilden. Den Preis tiefer zu gewichten, genügt nicht.

Bei der Festlegung der Zuschlagskriterien und deren Bewertung verfügen die Vergabestellen über einen erheblichen Spielraum. Diesen sollten sie jedoch für einen aussagekräftigen Qualitätsvergleich nutzen. Kriterien, die nur den Anschein einer Qualitätsbewertung erwecken, werden dem eigenen Anspruch nicht gerecht. Allenfalls lassen sich damit Diskussionen und Nachbesprechungen reduzieren, und vielleicht werden auch weniger Beschwerden eingereicht. Dem Ziel des Beschaffungsrechts, das vorteilhafteste Angebot zu ermitteln, ist damit aber nicht gedient. Frei nach dem Motto: «Operation gelungen, Patient gestorben.»

Nicht die tiefe Gewichtung des Preises macht eine Ausschreibung zum Qualitätswettbewerb. Entscheidend sind griffige Zuschlagskriterien und eine Bewertung, welche die relevanten Qualitätsunterschiede zwischen den Angeboten tatsächlich abbildet.