VK Bund: Bei der Wertung kann ein praktischer „Machbarkeitstest“ durchzuführen sein

vorgestellt von Thomas Ax

Der öffentliche Auftraggeber ist in der Art und Weise, nach welcher Methode er bei der Bewertung der Angebote vorgeht oder was für Mittel er hierbei einsetzt, weitestgehend frei. Es muss jedoch gewährleistet sein, dass die Angebotswertung transparent, willkürfrei und nachvollziehbar durchgeführt wird. Die Wertungsfreiheit des Auftraggebers gilt auch für die Frage, ob er die angebotenen Leistungen vor Zuschlagsentscheidung praktisch daraufhin testet, ob sie die ausgeschriebenen Anforderungen tatsächlich erfüllen, oder ob ihm z.B. das vertragliche Erfüllungsversprechen, das die Bieter mit ihrem Angebot abgeben, ausreicht. Die Grenzen dieser Freiheit, auf einen praktischen „Machbarkeitstest“ zu verzichten, sind jedoch dann überschritten, wenn eine transparente Wertung aufgrund insbesondere sachgerechter und willkürfreier Erwägungen nicht gewährleistet ist.
VK Bund, Beschluss vom 11.11.2020 – VK 1-84/20

Gründe:

1. Die Antragsgegnerin (Ag) führt derzeit ein europaweites offenes Verfahren über die Entwicklung und Implementierung einer Standardsoftware zzgl. Support und Schulungen durch. Da der jetzige Vertrag mit der Antragstellerin (ASt) über eine ähnliche Software am 31. Dezember 2020 endet, hatte die Ag die Beschaffung bereits im Januar 2020 bekanntgemacht. Nach der Präsentation der Software sollte damals die Antragstellerin (ASt) den Zuschlag erhalten. Nach Einleitung eines Nachprüfungsverfahrens durch die Beigeladene (Bg), wurde das damalige Vergabeverfahren aufgehoben und am 8. Juli 2020 erneut bekannt gemacht.

Unter Ziffer 2 der Leistungsbeschreibung (im Folgenden: LB) wurde u.a. folgende Anforderung an die ausgeschriebene Software genannt:

„2.4 Handhabung

Die Standardsoftware muss intuitiv und ohne besondere Datenbank-Kenntnisse bedienbar sein. Nach einer kurzen Eingewöhnungsphase muss die Nutzung des Tools von MS-Office gewohnten Mitarbeitern (Analysten) unproblematisch möglich sein.

Ergebnisse der Datenanalyse können über eine Web-Oberfläche weiteren Nutzern (ohne eigene Lizenz) zur Verfügung gestellt werden. (…)“

Der Zuschlag sollte aufgrund des Preises (40%) und der Leistung (60%) erteilt werden. Das Kriterium „Leistung“ sollte anhand eines den Bietern mit den Vergabeunterlagen übersandten „Kriterienkatalogs“ beurteilt werden, wobei diese Kriterien in „A-“ (= Ausschlusskriterium) und „B-Kriterium“ (= Bewertungskriterium) unterteilt waren (s. Anlage 10 zu den Vergabeunterlagen). Einige der letztgenannten Kriterien wiederum waren entweder mit „ja“ oder „nein“ zu beantworten (und wurden dann mit 0 oder 3 Punkten bewertet) oder wurden je nach Erfüllungsgrad mit 0 bis 3 bzw. mit bis zu 2 Punkten bewertet; der Bewertungsmaßstab, wann 0, 1, 2 oder 3 Punkte vergeben werden, wurde im Kriterienkatalog ebenfalls kurz erläutert. Das Kriterium K-2.1 lautet:

„Darstellung der Handhabung für den Nutzer der Standardsoftware – Umgang mit der Software ohne tiefgehende technisch und fachliche Vorkenntnisse möglich“

und enthält einen Verweis auf Kapitel 2.4 der LB.

2 Punkte soll ein Angebot in diesem Kriterium unter folgender Voraussetzung erhalten:

„Standardsoftware nutzbar nach kurzer Einführung/Schulung, kontextbezogene Hilfestellungen (Tooltipp, Handbuch)“;

3 Punkte sollten vergeben werden bei:

„Intuitive Nutzerführung, der Nutzer kann sich auch ohne tiefgehende technische und fachliche Vorkenntnisse in der Oberfläche zügig zurechtfinden.“

Zu jedem Aspekt eines Zuschlagskriteriums sollten die Bieter „aussagekräftige Unterlagen bzw. Nachweise“ einreichen (s. Deckblatt des Kriterienkatalogs).

U.a. die ASt und die Bg gaben ein Angebot ab.

Jedes Angebot wurde durch dasselbe achtköpfige Bewerterteam bewertet. Die Mitglieder stammten aus unterschiedlichen Fachbereichen der Ag (z.B. „Verträge […]“, „Controlling“, „FB […] Referat Leistungen“, „IT-Service“). Jedes Teammitglied hat ausweislich der Vergabeakte einen eigenen Bewertungsbogen ausgefüllt. Einige Bewerter hatten in ihren Bögen einzelne für etwaige Kommentare und die zu vergebenden Wertungspunkte vorgesehene Textfelder gar nicht ausgefüllt, einige hatten die Kommentarfelder mit der Bemerkung „keine Bewertung möglich“ versehen. Bei der ASt und der Bg hatten dieselben Personen dieselben Kriterien bewertet, in ihrer Bepunktung im Einzelnen waren sich die betreffenden Bewerter ausweislich der Bewertungsbögen jeweils einig. Zu jedem Angebot gab es in der Vergabeakte ein weiteres Tabellenblatt, das die in den Kriterien jeweils erreichten Einzel- sowie die jeweilige Gesamtpunktzahl des betreffenden Angebotes ohne Begründung oder sonstige Kommentare enthält (Überschrift z.B. „Gesamt [ASt]“).

Das Angebot der ASt wurde von den Bewertern der Ag in den Kriterien K-1.10 und K-1.14 mit jeweils 0 Punkten, in den Kriterien K-2.1 und K-2.2 mit 2 von 3 maximal erreichbaren Punkten bewertet.

Mit Schreiben vom 9. September 2020 informierte die Ag die ASt darüber, dass ihr Angebot nicht berücksichtigt werden könne, da es nicht das wirtschaftlichste sei; der Zuschlag solle auf das Angebot der Bg erteilt werden. Auf Frage der ASt vom 11. September 2020 teilte die Ag ihr am 16. September 2020 die konkreten Wertungsergebnisse ihres Angebots sowie eine kurze Begründung hierzu mit. Die ASt rügte am 20. September 2020, dass die Leistungsbewertung ihres Angebots in den Kriterien K-1.10, K-1.14, K-2.1 und K-2.2 fehlerhaft erfolgt und die Software der Bg bei Angebotseinreichung noch nicht vollständig entwickelt gewesen sei. Hinsichtlich des Kriteriums K-2.1 lautete die Rüge u.a. wie folgt:

„Die Darstellung [der ASt] lässt eine Bewertung mit weniger als drei Punkten nicht zu. Wie Sie vor diesem Hintergrund zu dem Ergebnis kommen, „die Handhabung der Software [hätte] nicht in allen Punkten überzeugen“ können, ist nicht ansatzweise nachvollziehbar. Dies gilt insbesondere vor dem Hintergrund, dass gerade kein Usability-Testing durchgeführt wurde, sondern die Bewertung ausschließlich auf Grundlage der schriftlichen Darstellungen der Bieter erfolgte.“ (Hervorhebungen auch im Original.)

Die Ag half der Rüge nicht ab.

2. Mit Schreiben ihrer Verfahrensbevollmächtigten vom 30. September 2020 beantragte die ASt bei der Vergabekammer des Bundes die Einleitung eines Nachprüfungsverfahrens. Die Vergabekammer hat den Nachprüfungsantrag am selben Tag an die Ag übermittelt.

a) Die ASt meint, die Angebotswertung sei fehlerhaft erfolgt. Sie führt im Einzelnen näher dazu aus, inwiefern die Ag den ihr zustehenden Beurteilungsspielraum überschritten habe, indem sie ihre Wertung nicht ausschließlich auf das Angebot der ASt, sondern auch auf Kenntnisse aus dem bestehenden Vertragsverhältnis gestützt habe, indem die Ag nachträglich Anforderungen gestellt habe, die sich so nicht aus den Ausschreibungsunterlagen ergäben, indem die Ag der Wertung willkürliche Erwägungen zugrunde gelegt habe, um ein bestimmtes Wertungsergebnis zu erreichen, und indem die Ag das Angebot der Bg unzutreffend bewertet habe. Zur Wertung ihres Angebots im Kriterium K-2.1 trägt die ASt vor, es hätte mit 3 statt mit 2 Punkten bewertet werden müssen, weil der Nutzer – wie laut Kriterienkatalog für eine Bewertung mit 3 erforderlich – die Software nach einer kurzen Einführung intuitiv verwenden könne und eine Vielzahl an Aktionen über intuitives Drag&Drop durchgeführt werden könne. Ob eine Software intuitiv sei, könne zudem nicht anhand des schriftlichen Angebots beurteilt werden, denn hierbei gehe es um die Reaktion der Nutzer. Ohne Durchführung eines „Usability-Testings“ könne es zudem sein, dass die Software der Bg, die die Ag noch gar nicht kenne, in der Praxis gar nicht so intuitiv sei, wie sie auf den mit dem Angebot vorgelegten Screenshots aussehe.

Nach der Akteneinsicht ergänzt die ASt ihren Vortrag um folgende weitere Vergaberechtsverstöße:

Die Wertung der Ag verletze den Transparenzgrundsatz (§ 97 Abs. 1 S. 1 GWB), da sie die Konzepte der Bieter von mehreren Personen habe bewerten lassen. In den Vergabeunterlagen sei jedoch keine Wertung durch ein Wertungsgremium, also eine Mehrzahl von Personen, vorgesehen gewesen. Diese Vorgehensweise hätte die Ag den Bietern insbesondere deshalb vorher mitteilen müssen, weil an der Wertung offensichtlich unterschiedliche Nutzergruppen beteiligt gewesen waren, die ihren Eintragungen in den Bewertungsbögen nach zum Teil fachlich überhaupt nicht in der Lage gewesen seien, die Angebote vollständig zu bewerten. Des Weiteren sei nicht erkennbar, dass den Mitgliedern des Wertungsgremiums einheitliche Maßstäbe vorgegeben worden seien, anhand derer die Bewertung zu erfolgen hatte, denn die Wertungsbegründungen seien widersprüchlich. Ebenso wenig könne nachvollzogen werden, wie das Wertungsgremium zu seinem Wertungsergebnis gelangt sei; ob also eine gemeinsame Bewertung erfolgte, in der die jeweiligen Punktzahl abgestimmt wurde, oder ob jedes Mitglied eine Bewertung für sich vorgenommen habe. Des Weiteren zeigt die ASt im Einzelnen auf, inwiefern die Bewertung einzelner Bewerter ausweislich der entsprechenden Bewertungsbögen fehlerhaft sei.

Die ASt beantragt über ihre Verfahrensbevollmächtigten,

1. der Ag zu untersagen, eine Zuschlagserteilung auf das Angebot der Bg vorzunehmen;

2. der Ag aufzugeben, das Vergabeverfahren in den Stand vor Angebotsauswertung zurückzuversetzen und die Angebotswertung unter Berücksichtigung der Rechtsauffassung der Vergabekammer durchzuführen;

3. der Ag die Kosten des Verfahrens einschließlich der zur zweckentsprechenden Rechtsverfolgung notwendigen Auslagen der ASt aufzuerlegen;

4. festzustellen, dass die Hinzuziehung der Verfahrensbevollmächtigten der ASt notwendig war;

5. der ASt Akteneinsicht in die Vergabeakten der Ag zu gewähren.

b) Die Ag beantragt über ihre Verfahrensbevollmächtigten:

1. Der Nachprüfungsantrag der ASt vom 30. September 2020 wird kostenpflichtig zurückgewiesen;

2. der ASt wird keine Akteneinsicht gemäß § 165 GWB gewährt;

3. die Hinzuziehung eines anwaltlichen Bevollmächtigten durch die Ag wird für notwendig erklärt.

Die Ag meint, die ASt habe mehrere der geltend gemachten Beanstandungen nicht rechtzeitig gerügt. Daher müsse sich die ASt u.a. darauf einlassen, dass die Ag das Kriterium K-2.1 („Handhabung der Software für den Nutzer“) nur anhand der schriftlichen Angebots und nicht aufgrund einer Teststellung bewertet habe.

Darüber hinaus sei der Nachprüfungsantrag unbegründet, weil die Wertung der Ag nicht fehlerhaft, sondern im Rahmen des ihr zustehenden Beurteilungsspielraums, ausschließlich anhand der bekannten Bewertungskriterien und allein anhand der schriftlichen Angebote erfolgt sei. Die Zuschlagskriterien, deren Inhalt und den korrespondierenden Bewertungsmaßstab bzw. die Punkteskala habe die Ag den Bietern im „Kriterienkatalog“ (Anlage 10 der Vergabeunterlagen) mitgeteilt. Zu weiteren Informationen über die konkrete Bewertungsmethode sei ein öffentlicher Auftraggeber nicht verpflichtet. Alle Angebote seien von denselben acht Personen bewertet worden, die aus unterschiedlichen Fachbereichen der Ag stammten. Zu der Frage, warum nicht alle Mitglieder des Bewerterteams Anmerkungen zu allen Zuschlagskriterien in ihren Bewertungsbögen gemacht hätten, vermutet der Verfahrensbevollmächtigte der Ag in der mündlichen Verhandlung, dass dies auf organisatorischen Gründen beruhe. Jedenfalls hätten aber alle Teammitglieder, die ein Kriterium bewertet hätten, dies willkürfrei getan. Über das Gesamtergebnis der Wertung sei per Telefon Einvernehmen hergestellt worden; alle Teammitglieder trügen hiernach das Wertungsergebnis so mit.

Darüber hinaus führt die Ag näher aus, warum die Wertung in den streitgegenständlichen Kriterien K-1.10, K-1.14 und K-2.2 rechtmäßig erfolgt sei. Zur Wertung des Angebots der ASt im Kriterium K-2.1 trägt die Ag vor, dass sich der Nutzer in der Oberfläche der Software der ASt nicht – wie für eine Höchstbewertung mit 3 Punkten erforderlich – ohne tiefgehende technische und fachliche Vorkenntnisse zügig zurechtfinde. Die betroffenen Daten müssten jeweils erst einzeln zusammengesucht und in mehreren Schritten miteinander verknüpft werden. Anhand mehrerer Beispiele aus den schriftlichen Angebotsunterlagen der ASt und der Bg (insbesondere Screenshots) zeigt die Ag auf, warum die Software der ASt anders als die der Bg nicht intuitiv sei. Abgesehen davon, dass die ASt nicht gerügt habe, dass die Ag keine Teststellung durchgeführt habe, sei die Ag zu solchen praktischen Tests nicht verpflichtet.

c) Durch Beschluss vom 2. Oktober 2020 hat die Vergabekammer die Bg zum Verfahren hinzugezogen.

Die Bg schließt sich über ihren Verfahrensbevollmächtigten in ihrer kurzen schriftlichen Stellungnahme dem Vortrag der Ag an; die Angebotswertung sei korrekt erfolgt. An der mündlichen Verhandlung hat die Bg nicht teilgenommen.

Die Vergabekammer hat der ASt nach vorheriger Zustimmung der Ag Einsicht in die Vergabeakten gewährt, soweit keine geheimhaltungsbedürftigen Aktenbestandteile betroffen waren.

In der mündlichen Verhandlung am 28. Oktober 2020 hatten die Beteiligten Gelegenheit, ihre Standpunkte darzulegen und mit der Vergabekammer umfassend zu erörtern.

Durch Verfügung des Vorsitzenden vom 4. November 2020 wurde die Entscheidungsfrist bis zum 16. November 2020 einschließlich verlängert.

Auf die ausgetauschten Schriftsätze, die Verfahrensakte der Vergabekammer sowie auf die Vergabeakten, soweit sie der Vergabekammer vorgelegt wurden, wird ergänzend Bezug genommen.

II.

Der Nachprüfungsantrag ist begründet und jedenfalls insoweit auch zulässig. Denn die Angebotswertung ist bereits deshalb fehlerhaft, weil ihr Zustandekommen nicht nachvollziehbar ist und das Kriterium K-2.1 nicht ohne praktische Teststellung bewertet werden kann. Auf die Wertung des Angebots der ASt in den Kriterien K-1.10. K-1.14 und K-2.2 sowie auf die Wertung des Angebots der Bg kommt es daher für den Erfolg des Nachprüfungsantrags nicht mehr an.

1. Der Nachprüfungsantrag ist jedenfalls soweit wie für seine Begründetheit erforderlich zulässig. Insbesondere ist die ASt antragsbefugt und sie hat die entscheidungserheblichen Vergaberechtsverstöße rechtzeitig gerügt.

Das für das Vorliegen der Antragsbefugnis i.S.d. § 160 Abs. 2 GWB erforderliche Interesse am Auftrag hat die ASt hinreichend durch die Abgabe eines Angebots dokumentiert. Des Weiteren macht sie, indem sie sich gegen die Wertung der Angebote wendet, schlüssig und nachvollziehbar geltend, in ihren Rechten nach § 97 Abs. 6 GWB verletzt zu sein. Durch die behauptete Rechtsverletzung droht ihr auch ein Schaden zu entstehen, da ihre Zuschlagschancen durch den behaupteten Vergaberechtsverstoß verschlechtert werden. Denn nach der jetzigen Wertung der Ag würde das Angebot der ASt vom zweiten auf dem ersten Platz vorrücken, wenn die Beanstandungen der ASt tatsächlich zuträfen.

Die beiden Vergaberechtsverstöße, die zur Begründetheit des Nachprüfungsantrags führen, wurden von der ASt rechtzeitig gerügt. Dass die Vorgehensweise des Wertungsteams der Ag und damit auch deren Wertungsergebnis nicht hinreichend transparent nachvollziehbar ist, wurde erst im laufenden Nachprüfungsverfahren aus der Akteneinsicht ersichtlich; eine Rüge ist in einem solchen Fall entbehrlich. Dass die Ag ein Zuschlagskriterium, in dem es u.a. um die Beurteilung der intuitiven Nutzerführung durch die ausgeschriebene Software geht, nicht anhand eines praktischen Tests („Usability Test“), sondern allein anhand der von den Bietern vorgelegten Angebote beurteilt, ließ sich zwar bereits den Vergabeunterlagen entnehmen. Dennoch brauchte die ASt dies nicht gemäß § 160 Abs. 3 S. 1 Nr. 3 GWB bereits vor Ablauf der Angebotsfrist zu rügen, weil für sie nicht erkennbar war, dass dies vergaberechtswidrig ist (vgl. zur Erforderlichkeit einer (zumindest laienhaften) vergaberechtlichen Würdigung der beanstandeten Tatsachen nur: OLG Düsseldorf, Beschluss vom 15, Januar 2020 – Verg 20/19 m.z.N.). Denn ob und inwieweit ein öffentlicher Auftraggeber vor Zuschlagserteilung zu einer sog. „verifizierenden Teststellung“ verpflichtet ist, ist in der jüngeren Vergaberechtsprechung und -literatur sehr umstritten (vgl. zum Überblick OLG Düsseldorf, Beschluss vom 15. Januar 2020, a.a.O.). Vor diesem Hintergrund kann von einem durchschnittlichen fachkundigen Bieter auch bei Anwendung üblicher Sorgfalt nicht erwartet werden, die Rechtmäßigkeit der Vorgehensweise eines Auftraggebers im konkreten Fall zutreffend beurteilen zu können und daraufhin als rechtswidrig zu rügen (so auch OLG Düsseldorf, Beschluss vom 15. Januar 2020, a.a.O.). Dass die ASt bereits vor Angebotsabgabe anwaltlich vertreten war, so dass an die „Erkennbarkeit“ eines Rechtsverstoßes i.S.d. § 160 Abs. 3 S. 1 Nr. 3 GWB möglicherweise ein anderer Maßstab anzulegen ist, ist nicht ersichtlich (ihr konkretes Wertungsergebnis hat die ASt am 11. September 2020 bei der Ag selbst, also ohne Rechtsanwalt, erfragt) und von der insoweit beweisbelasteten Ag nicht belegt. Nachdem die ASt Rechtsanwälte zur Beratung hinzugezogen hat, haben diese für sie den Verzicht der Ag auf praktische Tests am 20. September 2020 rechtzeitig innerhalb von zehn Kalendertagen gerügt (§ 160 Abs. 3 S. 1 Nr. 1 GWB), nachdem sie durch das Schreiben der Ag vom 16. September 2020 erfahren hatte, dass der Wertungserfolg des Angebots der ASt u.a. am Kriterium K-2.1 gescheitert ist, in dem es um die – nach Auffassung der ASt nach durch praktische Tests zu beurteilende – Handhabung der Software geht. Anders als die ASt meint, bezieht sich das Rügeschreiben nämlich auf die Wertung des Angebots der ASt im Kriterium K-2.1 insgesamt, also nicht nur auf das Wertungsergebnis, sondern auch auf die Tatsache, dass diese Wertung nicht aufgrund einer Teststellung erfolgte. Dies lässt sich aus dem Gesamtzusammenhang der betreffenden Textstelle der Rüge entnehmen, wobei das Fehlen eines „Usability-Testings“ durch Fettdruck zusätzlich noch hervorgehoben wurde:

„Die Darstellung [der ASt] lässt eine Bewertung mit weniger als drei Punkten nicht zu. (…) Dies gilt insbesondere vor dem Hintergrund, dass gerade kein Usability-Testing durchgeführt wurde (…)“.

Ob auch die übrigen Beanstandungen der ASt rechtzeitig gerügt wurden, braucht nicht entschieden zu werden, weil die Wertung der Ag bereits aus den beiden o.g. Gründen keinen Bestand hat (s. dazu unter 2.).

2. Der Nachprüfungsantrag ist – soweit er zulässig ist – auch begründet. Die Ag darf auf der Grundlage der verfahrensgegenständlichen Wertung keinen Zuschlag erteilen, weil deren Zustandekommen durch ein mehrköpfiges Bewerterteam der Ag nicht vollumfänglich nachvollziehbar und damit nicht auf seine Vergaberechtmäßigkeit hin überprüfbar ist (dazu unter a)) und weil das Kriterium K-2.1 nicht ohne eine verifizierende Teststellung beurteilt werden kann (dazu unter b)).

a) Einige der Umstände, die die ASt gegen die Wertungsmethodik der Ag vorgebracht hat, sind allerdings vergaberechtlich nicht zu beanstanden. Denn ob die Angebotswertung von einer oder mehreren Personen durchgeführt wird, braucht ein öffentlicher Auftraggeber den Bietern grundsätzlich nicht mitzuteilen. Die insoweit hier von der Ag gewählte Vorgehensweise ist dem Bereich der Wertungsmethodik zuzuordnen, also der Entscheidung der Ag darüber, welches Procedere sie zur Bewertung der den Bietern bekannt gegebenen Zuschlagskriterien wählt. Es gibt aber keine Pflicht zu Lasten des öffentlichen Auftraggebers, den potenziellen Bietern die Methode zur konkreten Wertung der Angebote hinsichtlich der festgelegten Zuschlagskriterien bereits in der Bekanntmachung oder den Vergabeunterlagen zur Kenntnis zu bringen (sieh hierzu EuGH, Urteil vom 14. Juli 2016, Rs. C-6/15). Abgesehen davon ist fraglich, ob und inwieweit sich die Unkenntnis eines Bieters darüber, ob sein Angebot später von einer Einzelperson oder einem Bewerterteam bewertet wird, überhaupt auf die Erstellung des Angebots auswirkt, also eine unterlassene Bekanntgabe der Wertungsmethode kausal für eine Rechtsverletzung des betreffenden Bieters sein kann. Es ist auch nicht zu beanstanden, wenn ein Auftraggeber die Angebote wie hier anhand einer Noten-/Punkteskala bewertet. Er ist in diesem Fall nicht gehalten, den Bietern dann im Vorhinein darzulegen, unter welchen Voraussetzungen wie viele Punkte vergeben werden (BGH, Beschluss vom 4. April 2017, X ZB 3/17; OLG Düsseldorf, Beschluss vom 28. März 2018 – Verg 54/17 m.z.N.). Abgesehen davon hat die Ag im vorliegenden Fall den Bietern sogar solche „Erfüllungsgrade“ in ihrem „Kriterienkatalog“ mitgeteilt und damit gleichzeitig gewährleistet, dass hieraufhin nicht nur den Bietern eine für den Zuschlagserhalt optimale Erstellung ihres Angebots ermöglicht wird, sondern auch, dass die einzelnen Mitglieder des Bewerterteams bei der konkreten Bepunktung eines Angebots von denselben wertungserheblichen Grundlagen ausgehen. Sofern und soweit die Bewertung aller Bewerter inhaltlich identisch erfolgte, dürfte – mangels Bedarf – auch keine nachträgliche Abstimmung unter diesen erforderlich sein.

Die Wertung der Ag ist aber aus einem anderen Grund fehlerhaft. Dieser liegt in der fehlenden Transparenz des Wertungsprozesses und damit auch seines Ergebnisses. Zwar ist ein öffentlicher Auftraggeber in der Art und Weise, wie er bei der Wertung der eingegangenen Angebote vorgeht, weitestgehend frei. Es muss jedoch u.a. gewährleistet sein, dass die Angebotswertung transparent, willkürfrei und im Falle einer Vergabenachprüfung nachvollziehbar durchgeführt wird (vgl. OLG Düsseldorf, Beschlüsse vom 22. April 2020 – Verg 34/19; vom 15. Januar 2020 – Verg 20/19 m.w.N.). Letzteres ist hier nicht der Fall. Denn zwar haben die einzelnen Mitglieder des Bewerterteams individuelle Wertungsbögen ausgefüllt und ihre dokumentierten Wertungserwägungen lassen – soweit vorhanden – nicht erkennen, dass sie sich nicht an die im Kriterienkatalog festgelegten Wertungsvorgaben gehalten hätten. Allerdings ist die Dokumentation des Wertungsvorgangs und damit auch des Wertungsergebnisses lückenhaft, so dass von der Vergabekammer nicht nachvollzogen werden kann, ob die Wertung dieses Gremiums insgesamt den o.g. Anforderungen genügt. Denn anscheinend haben nicht alle Mitglieder des Bewerterteams der Ag sämtliche Wertungskriterien beurteilt bzw. ihr Wertungsergebnis jedenfalls nicht in ihren Bewertungsbögen niedergelegt, so dass der Wertungsprozess nicht dahingehend nachprüfbar ist, ob das Wertungsergebnis unter Einhaltung der Zuschlagskriterien und frei von Willkür zustande gekommen ist. So haben beispielsweise drei Teammitglieder fast alle Kriterien bewertet, manche Kriterien wurden nur von insgesamt zwei Personen beurteilt, die Wertung im verfahrensgegenständlichen Kriterium K-2.1 wurde nur von vier der insgesamt acht Personen des Teams vorgenommen. Dies dürfte grds. nicht zu beanstanden sein (sondern wäre im Gegenteil wohl gerade sogar sachgerecht und damit rechtmäßig), wenn einzelne Personen bei solchen Kriterien auf eine Bewertung verzichtet hätten, die sie aufgrund ihres Zuständigkeitsbereichs oder ihrer fachlichen Kompetenz gar nicht beurteilen können. Ob diese oder vergleichbare vergaberechtskonforme Erwägungen jedoch der Grund dafür waren, dass einzelne Mitglieder des Wertungsteams der Ag bestimmte Kriterien anscheinend gar nicht bewertet haben, lässt sich der Vergabeakte und auch dem Vortrag der Ag im Nachprüfungsverfahren nicht entnehmen. Nicht einmal die Bemerkung „Bewertung nicht möglich“, die einige Bewerter in ihren Bögen angebracht haben, lässt den eindeutigen Rückschluss zu, ob dieser „Wertungsausfall“ auf sachlichen objektiven Gründen beruht. Selbst wenn es auch hier sachgerechte Erwägungen seitens der Ag gegeben haben mag, können diese der Dokumentation des Wertungsvorgangs jedenfalls nicht entnommen werden. Das telefonisch unter sämtlichen Bewertern hergestellte Einvernehmen über das Wertungsergebnis, das laut Aussage des Verfahrensbevollmächtigten der Ag am Ende des Wertungsprozesses stattgefunden haben soll, ergibt sich ebenfalls nicht aus der Vergabeakte und führt ohne substantiierte Darlegungen weiterer inhaltlicher Details dieser Abstimmung (wer, wann, aufgrund welcher Erwägungen, hinsichtlich welcher Wertungskriterien etc.) nicht dazu, dass die Wertung zumindest aus diesem Grund vollumfänglich nachprüf- und damit nachvollziehbar wäre. Dazu hätte es einer ordnungsgemäßen Vergabedokumentation bedurft (s. zum Zweck der vergaberechtlichen Dokumentationspflichten, die „Rückverfolgbarkeit“ und Transparenz von Vergabeentscheidungen zu gewährleisten: 126. Erwägungsgrund der RL 2014/24/EU und Begründung zu § 8 VgV, BR-Drs. 87/16, S. 162).

b) Die Wertungsmethodik der Ag ist auch deshalb vergabefehlerhaft, weil das Kriterium K-2.1 nicht ohne eine sog. „verifizierende Teststellung“ beurteilt werden kann.

Wie bereits oben unter II.2a) gesagt, ist ein öffentlicher Auftraggeber zwar grds. weitestgehend darin frei, nach welcher Methode er bei der Bewertung der Angebote vorgeht oder was für Mittel er hierbei einsetzt. Das gilt auch für die Frage, ob er die angebotenen Leistungen vor Zuschlagsentscheidung praktisch daraufhin testet, ob sie die ausgeschriebenen Anforderungen tatsächlich erfüllen, oder ob ihm z.B. das vertragliche Erfüllungsversprechen, das die Bieter mit ihrem Angebot abgeben, ausreicht. Die Grenzen dieser Freiheit, auf einen praktischen „Machbarkeitstest“ zu verzichten, sind jedoch dann überschritten, wenn eine transparente Wertung aufgrund insbesondere sachgerechter und willkürfreier Erwägungen so nicht gewährleistet ist (vgl. OLG Düsseldorf, Beschlüsse vom 22. April 2020 – Verg 34/19; und vom 15. Januar 2020 – Verg 20/19 m.w.N.). Dies kann u.a. dann der Fall sein, wenn es um die Wertung anhand von Zuschlagskriterien geht, die sich nur anhand eigener tatsächlicher Anschauung feststellen lassen (vgl. OLG Düsseldorf, a.a.O.). So verhält es sich auch hier im Kriterium K-2.1. Hier soll der Umgang mit der angebotenen Software bewertet werden, die einzelnen Wertungspunkte sollen danach vergeben werden, ob und in welchem Umfang eine vorherige Einführung/Schulung der Nutzer erforderlich ist, die Höchstzahl von 3 Punkten soll ein Angebot dann erhalten, wenn die Nutzerführung intuitiv ist und der Nutzer sich auch ohne tiefgehende technische und fachliche Vorkenntnisse in der Oberfläche zügig zurechtfinden kann. Die Beurteilung einer Software anhand eines solchen Kriteriums ist naturgemäß sehr von den subjektiven Eindrücken und Erfahrungen einer Person beim konkreten und eigenständigen praktischen Umgang mit einer Software geprägt. Dazu reichen schriftliche Erläuterungen der Software z.B. über die im Einzelnen zu absolvierenden Arbeitsschritte eines Programms ebenso wenig aus wie Screenshots oder andere grafische Darstellungen der Bieter, auf die die Ag hier verweist. Diese können dem zukünftigen Nutzer der Software (im Vergabeverfahren repräsentiert von dem jeweiligen Bewerter) zwar einen ersten Eindruck vermitteln (z.B. über die Übersichtlichkeit der Anordnung etwaiger Fenster, Menüleisten oder Befehle). Ob er aber aufgrund der abgebildeten Nutzeroberfläche tatsächlich „intuitiv“ und ohne tiefgehende Vorkenntnisse oder Einweisungen i.S. einer Bewertung mit 3 Punkten durch das Programm geführt wird, kann ein Nutzer nur dann hinreichend sachgerecht und valide beurteilen, wenn er die Software selbst jedenfalls testweise praktisch anwendet (so zur Beurteilung der Bedienungs- oder Nutzerfreundlichkeit einer Software auch OLG Düsseldorf, Beschlüsse vom 22. April 2020, a.a.O.).

3. Bereits aus den oben genannten Gründen kann auf die verfahrensgegenständliche Wertung der Ag keine Zuschlagsentscheidung gestützt werden. Auf die übrigen von der ASt geltend gemachten Vergaberechtsverstöße, insbesondere die konkrete Bewertung ihres Angebots in den verfahrensgegenständlichen Zuschlagskriterien, kommt es daher nicht an. Es obliegt der Ag zu entscheiden, wie sie weiter verfährt.

III.

Die Kostenentscheidung beruht auf § 182 Abs. 1, Abs. 3 S. 1, Abs. 4 S. 1, 2, 4 GWB i.V.m. § 80 Abs. 2, Abs. 3 S. 2 VwVfG.

Die Hinzuziehung eines Bevollmächtigten durch die ASt war notwendig, da das Nachprüfungsverfahren umfangreiche Sach- und Rechtsfragen, insbesondere zu der aktuell umstrittenen Frage über die Pflicht eines öffentlichen Auftraggebers aufgeworfen hat, sog. „verifizierende Teststellungen“ durchzuführen, die die Beauftragung eines Verfahrensbevollmächtigten als sachgerecht erscheinen lassen (vgl. BGH, Beschluss vom 26. September 2006, X ZB 14/06).

Da die Bg keine Anträge gestellt und das Verfahren auch sonst nicht wesentlich gefördert hat, hat sie kein Prozessrechtsverhältnis zur ASt begründet und somit kein Prozesskostenrisiko auf sich genommen. Sie ist daher nicht als unterliegende Partei anzusehen und nicht an den Kosten des Verfahrens oder den Aufwendungen der ASt zu beteiligen (vgl. OLG Düsseldorf, Beschluss vom 23. Juni 2014 – Verg 41/13).

IV.

(…)