Eine transparente Bewertungsmatrix sorgt für Akzeptanz des Vergabeentscheides
Eine transparente Bewertungsmatrix sorgt für Akzeptanz des Vergabeentscheides
17. August 2021
17. August 2021
Mit einer transparenten und nachvollziehbaren Bewertungsdokumentation lassen sich viele Beschwerdeverfahren verhindern
Das öffentliche Beschaffungsrecht macht keine genauen inhaltlichen Vorgaben, welches Bewertungsmodell anzuwenden und wie die Bewertung zu erfassen ist. Art. 40 IVöB / Böb schreibt lediglich vor, dass die Angebote nach Massgabe der Zuschlagskriterien objektiv, einheitlich und nachvollziehbar geprüft und bewertet werden müssen und die Evaluation zu dokumentieren ist.
Meist wenden die Vergabestellen bei der Bewertung eine Bewertungsmatrix im Sinne einer Nutzwertanalyse an. Dabei werden qualitative und quantitative Kriterien (Preis) definiert und gewichtet. Diese Kriterien werden einzeln nach einer Punkteskala bewertet. Die Bewertung wird mit der Gewichtung multipliziert. Aus der Summe der gewichteten Punkte resultiert der Nutzwert. Das Angebot mit dem höchsten Wert ist das so ermittelte vorteilhafteste Angebot und erhält damit den Zuschlag.
Es gibt verschiedene Erweiterungen von Nutzwertanalysen mit mathematisch sehr ausgeklügelten Methoden. Bei den meisten Beschaffungen hat sich aber die normale Nutzwertanalyse mit den gewichteten Kriterien durchgesetzt. Oft besteht die Bewertungsmatrix aus verschiedenen Exeltabellen, mit diversen Zahlen und Notenschnitte. Dies lässt auf den ersten Blick den Eindruck entstehen, dass es sich bei der Angebotsbewertung um eine mathematische Angelegenheit handelt. Dem ist aber nicht so.
Denn die Bewertung der einzelnen Zuschlagskriterien beinhaltet immer eine (abgesehen vom Preis) mehr oder weniger subjektive Komponente. Egal welche Bewertungsmethode angewendet wird, Ausgangswert ist immer eine subjektive Benotung/Punktevergabe eines einzelnen Aspektes/Bewertungsthemas. Umso mehr kommt der Transparenz bei der Begründung der Bewertung und der entsprechenden Punktevergabe in der Bewertungsmatrix eine entscheidende (ja die entscheidende) Rolle zu.
Diese Bewertungsmatrix bzw. deren Inhalt ist meist der «Zankapfel» von Beschwerdeverfahren. Dies beginnt bereits oft beim Zuschlagsentscheid. Viele Vergabestellen legen die Bewertungsmatrix und die Begründung der einzelnen Punkte nicht oder nur bei entsprechendem Verlangen der Anbieter offen. Ein immer wieder praktiziertes Muster ist, der Anbieterin nur die Bewertung des eigenen Angebotes offen zu legen. Die Bewertung der anderen Angebote bleibt meist abgedeckt oder wird nur punktuell offengelegt. Dies ist aus Sicht der Akzeptanz und auch der Transparenz der Bewertung und des Vergabeentscheides problematisch.
Die Problematik dabei versuche ich anhand eines einfachen Beispiels der Jurierung eines Halfpipe-Contest beim Snowboard zu erläutern. Nach jedem Run bewerten die Punktrichter die entsprechende Athletin anhand Parameter wie Schwierigkeitsgrad, Rotationen, Höhe, Style, usw. Die einzelnen Punkte ergeben dann ein Gesamttotal. Auch wenn dieser Bewertung eine starke Subjektivität zukommt, so können die Athletinnen und insbesondere auch die Zuschauer das Verdikt zumindest einigermassen nachvollziehen, indem am Schluss etwa festgestellt werden kann, dass die Siegerin zwar ihre Sprünge mit leicht weniger Höhe aber dafür mit höchstem Schwierigkeitsgrad ausgeführt hat.
Der Grund der Akzeptanz liegt darin, dass die Athletinnen die Läufe der anderen Athletinnen und auch deren Bewertungsnoten sehen und somit die Nachvollziehbarkeit der Bewertung überprüfen oder zumindest nachvollziehen können. Wenn nun aber in einem Vergabeverfahren die Vergabestelle einer Anbieterin nur die Bewertung ihres Angebotes offenlegt, ist das so, wie wenn die Athletinnen im obigen Beispiel während den Runs der Konkurrentinnen die Augen zubinden müssten und dann nur die Endnoten der Konkurrenten erfahren.
Dieses Beispiel mag allenfalls in gewissen Aspekten ein wenig hinken. Wenn eine Anbieterin aber nicht erfährt, weshalb ihr Angebot aus welchen inhaltlichen Gründen bei der Angebotsbewertung der qualitativen Zuschlagskriterien weniger gut abgeschnitten hat, als das Angebot der Zuschlagsempfängerin, so leidet darunter nicht nur die Akzeptanz des Vergabeentscheides, sondern wird auch das Transparenzverbot verletzt.
Das oft vorgebrachte Argument des Schutzes der Geschäftsgeheimnisse der anderen Anbieterinnen kann die Verweigerung der Einsicht in die Bewertungsmatrix (meist)nicht rechtfertigen. Denn wenn man sich vor Augen führt, welche Notizen und Kommentare effektiv in einer Bewertungsmatrix festgehalten werden, so sind nur sehr wenige Fälle denkbar, in welchen aus diesen Notizen irgendwelche Rückschlüsse auf Geschäftsgeheimnisse möglich wären. Meist werden mit diesem Argument Bewertungsnotizen zurückgehalten, welche nicht annähernd irgendwelche Geschäftsgeheimnisse enthalten können. So ist m.E. nicht ersichtlich, welche Geschäftsgeheimnisse betroffen werden könnten, wenn bei einer Planerausschreibung die Grösse und Anforderungen an Referenzobjekten bewertet werden. Auch eine Auftragsanalyse enthält meist keine Geschäftsgeheimisse einer Anbieterin, sondern nur inhaltliche Aussagen zum ausgeschrieben Beschaffungsvorhaben.
Zu beachten ist dabei, dass auch ein erhebliches Interesse der Allgemeinheit besteht, zu erfahren (oder zumindest diese Möglichkeit zu haben), aus welchen Gründen eine Vergabestelle sich für das eine oder andere Angebot entschieden hat. Dabei müssen die inhaltlichen Unterschiede der Angebote so offengelegt werden, dass der Vergabeentscheid nachvollziehbar wird. Oder um wieder das obige Beispiel zu bedienen: Einen Contest, bei welchem die Athletinnen und Zuschauerinnen die Läufe der anderen Athletinnen nicht sehen dürfen, würden alle als Farce bezeichnen. Genauso verhält es sich m.E. auch bei einer Angebotsbewertung, bei welcher eine Anbieterin nur die Bewertungsinhalte zu ihrem Angebot sehen darf.
Entsprechend kann eine Akzeptanz bei den Anbietern aber auch der Öffentlichkeit für den Vergabeentscheid nur mit einer möglichst weitgehenden Transparenz und einer Offenlegung der inhaltlichen Begründung der Angebotsbewertung erreicht werden. Dabei sind Vergabestellen gut beraten, ihre Bewertungen und Vergabeentscheide proaktiv den Anbietern zu erläutern und zu begründen. So können viele Unstimmigkeiten und Beschwerdeverfahren verhindert werden.
Mit einer transparenten und nachvollziehbaren Bewertungsdokumentation lassen sich viele Beschwerdeverfahren verhindern
Das öffentliche Beschaffungsrecht macht keine genauen inhaltlichen Vorgaben, welches Bewertungsmodell anzuwenden und wie die Bewertung zu erfassen ist. Art. 40 IVöB / Böb schreibt lediglich vor, dass die Angebote nach Massgabe der Zuschlagskriterien objektiv, einheitlich und nachvollziehbar geprüft und bewertet werden müssen und die Evaluation zu dokumentieren ist.
Meist wenden die Vergabestellen bei der Bewertung eine Bewertungsmatrix im Sinne einer Nutzwertanalyse an. Dabei werden qualitative und quantitative Kriterien (Preis) definiert und gewichtet. Diese Kriterien werden einzeln nach einer Punkteskala bewertet. Die Bewertung wird mit der Gewichtung multipliziert. Aus der Summe der gewichteten Punkte resultiert der Nutzwert. Das Angebot mit dem höchsten Wert ist das so ermittelte vorteilhafteste Angebot und erhält damit den Zuschlag.
Es gibt verschiedene Erweiterungen von Nutzwertanalysen mit mathematisch sehr ausgeklügelten Methoden. Bei den meisten Beschaffungen hat sich aber die normale Nutzwertanalyse mit den gewichteten Kriterien durchgesetzt. Oft besteht die Bewertungsmatrix aus verschiedenen Exeltabellen, mit diversen Zahlen und Notenschnitte. Dies lässt auf den ersten Blick den Eindruck entstehen, dass es sich bei der Angebotsbewertung um eine mathematische Angelegenheit handelt. Dem ist aber nicht so.
Denn die Bewertung der einzelnen Zuschlagskriterien beinhaltet immer eine (abgesehen vom Preis) mehr oder weniger subjektive Komponente. Egal welche Bewertungsmethode angewendet wird, Ausgangswert ist immer eine subjektive Benotung/Punktevergabe eines einzelnen Aspektes/Bewertungsthemas. Umso mehr kommt der Transparenz bei der Begründung der Bewertung und der entsprechenden Punktevergabe in der Bewertungsmatrix eine entscheidende (ja die entscheidende) Rolle zu.
Diese Bewertungsmatrix bzw. deren Inhalt ist meist der «Zankapfel» von Beschwerdeverfahren. Dies beginnt bereits oft beim Zuschlagsentscheid. Viele Vergabestellen legen die Bewertungsmatrix und die Begründung der einzelnen Punkte nicht oder nur bei entsprechendem Verlangen der Anbieter offen. Ein immer wieder praktiziertes Muster ist, der Anbieterin nur die Bewertung des eigenen Angebotes offen zu legen. Die Bewertung der anderen Angebote bleibt meist abgedeckt oder wird nur punktuell offengelegt. Dies ist aus Sicht der Akzeptanz und auch der Transparenz der Bewertung und des Vergabeentscheides problematisch.
Die Problematik dabei versuche ich anhand eines einfachen Beispiels der Jurierung eines Halfpipe-Contest beim Snowboard zu erläutern. Nach jedem Run bewerten die Punktrichter die entsprechende Athletin anhand Parameter wie Schwierigkeitsgrad, Rotationen, Höhe, Style, usw. Die einzelnen Punkte ergeben dann ein Gesamttotal. Auch wenn dieser Bewertung eine starke Subjektivität zukommt, so können die Athletinnen und insbesondere auch die Zuschauer das Verdikt zumindest einigermassen nachvollziehen, indem am Schluss etwa festgestellt werden kann, dass die Siegerin zwar ihre Sprünge mit leicht weniger Höhe aber dafür mit höchstem Schwierigkeitsgrad ausgeführt hat.
Der Grund der Akzeptanz liegt darin, dass die Athletinnen die Läufe der anderen Athletinnen und auch deren Bewertungsnoten sehen und somit die Nachvollziehbarkeit der Bewertung überprüfen oder zumindest nachvollziehen können. Wenn nun aber in einem Vergabeverfahren die Vergabestelle einer Anbieterin nur die Bewertung ihres Angebotes offenlegt, ist das so, wie wenn die Athletinnen im obigen Beispiel während den Runs der Konkurrentinnen die Augen zubinden müssten und dann nur die Endnoten der Konkurrenten erfahren.
Dieses Beispiel mag allenfalls in gewissen Aspekten ein wenig hinken. Wenn eine Anbieterin aber nicht erfährt, weshalb ihr Angebot aus welchen inhaltlichen Gründen bei der Angebotsbewertung der qualitativen Zuschlagskriterien weniger gut abgeschnitten hat, als das Angebot der Zuschlagsempfängerin, so leidet darunter nicht nur die Akzeptanz des Vergabeentscheides, sondern wird auch das Transparenzverbot verletzt.
Das oft vorgebrachte Argument des Schutzes der Geschäftsgeheimnisse der anderen Anbieterinnen kann die Verweigerung der Einsicht in die Bewertungsmatrix (meist)nicht rechtfertigen. Denn wenn man sich vor Augen führt, welche Notizen und Kommentare effektiv in einer Bewertungsmatrix festgehalten werden, so sind nur sehr wenige Fälle denkbar, in welchen aus diesen Notizen irgendwelche Rückschlüsse auf Geschäftsgeheimnisse möglich wären. Meist werden mit diesem Argument Bewertungsnotizen zurückgehalten, welche nicht annähernd irgendwelche Geschäftsgeheimnisse enthalten können. So ist m.E. nicht ersichtlich, welche Geschäftsgeheimnisse betroffen werden könnten, wenn bei einer Planerausschreibung die Grösse und Anforderungen an Referenzobjekten bewertet werden. Auch eine Auftragsanalyse enthält meist keine Geschäftsgeheimisse einer Anbieterin, sondern nur inhaltliche Aussagen zum ausgeschrieben Beschaffungsvorhaben.
Zu beachten ist dabei, dass auch ein erhebliches Interesse der Allgemeinheit besteht, zu erfahren (oder zumindest diese Möglichkeit zu haben), aus welchen Gründen eine Vergabestelle sich für das eine oder andere Angebot entschieden hat. Dabei müssen die inhaltlichen Unterschiede der Angebote so offengelegt werden, dass der Vergabeentscheid nachvollziehbar wird. Oder um wieder das obige Beispiel zu bedienen: Einen Contest, bei welchem die Athletinnen und Zuschauerinnen die Läufe der anderen Athletinnen nicht sehen dürfen, würden alle als Farce bezeichnen. Genauso verhält es sich m.E. auch bei einer Angebotsbewertung, bei welcher eine Anbieterin nur die Bewertungsinhalte zu ihrem Angebot sehen darf.
Entsprechend kann eine Akzeptanz bei den Anbietern aber auch der Öffentlichkeit für den Vergabeentscheid nur mit einer möglichst weitgehenden Transparenz und einer Offenlegung der inhaltlichen Begründung der Angebotsbewertung erreicht werden. Dabei sind Vergabestellen gut beraten, ihre Bewertungen und Vergabeentscheide proaktiv den Anbietern zu erläutern und zu begründen. So können viele Unstimmigkeiten und Beschwerdeverfahren verhindert werden.