Evaluation

Es ist unumgänglich, zu Beginn ein Konsens zu schaffen unter den Beteiligten der Evaluation und den Rahmen für diese abzustecken.

As erstes muss definiert werden, was evaluiert werden soll und welche Ziele die Evaluation hat. (z.B. ein Kurs, mögliche Geschäftspartner, Bildungsgang, etc.)

Aufwand: 1-2 h; Meeting mit Auftraggebern und wichtigsten Beteiligten

Verschiedenste Akteure und Beteiligte der Evaluation können den Evaluationsgegenstand beeinflussen. Nicht nur für externe Evaluatoren ist es daher nötig, die Rollen und Einflussfaktoren auf den zu evaluierenden Gegenstand genau zu kennen.
Die Erfahrung zeigt, dass dies auch oft für direkt Beteiligte eine hilfreiche Übersicht schafft.

Aufwand: ca. 20 – 30 min/Akteur; Workshop 1

Eine Evaluation kann bereits für eine schlichte Idee (z.B. neue Ausbildung) durchgeführt werden. Der Zweck dabei wäre z.B. zu ermitteln, ob ein Bedarf besteht oder ob der Aufwand dem gewünschten Ertrag entsprechen wird.

In der Fachwelt der Evaluationen unterscheidet man proaktive, klärende, interaktive, dokumentierende und wirkungsfeststellende Evaluationen. Dabei variieren die Absichten vom Verbesserungswunsch, über schlichte Wissensgeneration bis hin zu ausstehenden Grundsatzentscheidungen.
Mit der Definition des Zwecks und der Fragestellungen ist der Grundstein gelegt, für das Setting der Datenerfassung.

Aufwand: 1-2 h Meeting mit Auftraggebern und Beteiligten

In diesem Schritt wird etwas in der Wissenschaft unübliches gemacht: Politik kommt ins Spiel. Die Auftraggebenden definieren ein Bewertungsschlüssel mit Bewertungskriterien, Schwellenwerten und Gewichtungen für die einzelnen Fragestellungen.

Diese sollte einer breit abgestützten Meinung (Normen, Ideale, Firmenpolitik, etc.) entsprechen und mit Bedacht gewählt werden. Denn es ist das letzte Mal im Prozess, wo ohne Kenntnisse der Auswirkung auf die Evaluation ein neutraler Bewertungsschlüssel definiert werden kann.
Wurde die Datenerhebung gestartet, so führt eine Änderung der Bewertungskriterien sofort zum Unmut der Akteure und lässt das Vertrauen in das Endergebnis schwinden.

Aufwand: ca. 1h / Fragestellung; Meeting mit Auftraggebenden und Beteiligten

Zu diesem Schritt ist bekannt, was wir mit der Evaluation erreichen wollen, welche Fragen wir klären wolle und wie wir die Ergebnisse der Fragen werten.
Nun wird das KnowHow des Evaluators bezüglich den unterschiedlichen wissenschaftlichen Methoden zur Datenerhebung existenziell wichtig.

Welche Daten, wann und in welcher Weise es zu erheben gilt, schränkt sogleich die Auswahl des Erhebungs-Instruments ein. Die Art der Fragestellungen definiert oft zugleich den oder die Zeitpunkte der Datenerhebungen. Es gilt schliesslich ein mit den Auftraggebenden vereinbares Design bezüglich Kosten (Ressourcen) und Nutzen (Genauigkeit/Fehleranfälligkeit) zu definieren und zu planen.

Aufwand: 1h / Art der Fragestellungen (Deskriptive, Evaluative, Attributive); Meeting mit wichtigsten Akteuren

Es ist kein kurzer und einfacher Weg bis zur eigentlichen Datenerhebung. Doch jeder überlegte Aufwand, den man zuvor getätigt hat, zahlt sich nun aus.

Idealerweise stösst die Evaluation bei den Evaluierten auf eine grosse Akzeptanz und den Willen, etwas zur Verbesserung der Institution beizutragen. Die Daten werden in einem Format und Detailierungsgrad aufgenommen, der die Verarbeitung und die Beantwortung der Fragestellungen vollumfänglich und schnell ermöglichen. Weil alles konsistent auf das Ziel der Evaluation ausgerichtet und aufgebaut wurde, offenbaren die erhobenen Daten nun auch das nötige Wissen um dieses im nächsten Schritt zu erreichen.

Aufwand: 2-3h/ Erfassungszeitpunkt; Administrative und technische Arbeiten, typischerweise online in Korrespondenz zu internem Evaluationsverantwortlichen.

Ist die Datenerhebung abgeschlossen, werden die Daten verarbeitet und ausgewertet. Folgende Schritte müssen durchgeführt werden:
Sichern, Bereinigen, Auswerten / Berechnung, Interpretation, Bewertungsschlüssel anwenden, Beantwortung der Fragestellungen, Dokumentation

Aufwand; ca. 2h / Fragestellung; externer Evaluator in Eigenarbeit

Für jede Evaluation soll ein kompletter Bericht erstellt werden, in welchem das Vorgehen transparent dokumentiert und beschreiben wurde. Selbstverständlich mit dem Fokus auf die beantworteten Fragestellungen und allfälligen Empfehlungen des Evaluators zu erkannten Verbesserungspotentialen des Evaluationsgegenstandes. 

Der Bericht alleine dient aber lediglich zur Übersicht und Zusammenfassung. Die Erfahrung zeigt, dass in einem Abschlussgespräch aller Beteiligten die Ergebnispräsentation mit der Möglichkeit zum Fragen stellen, einen grossen Mehrwert für das Verständnis und die Akzeptanz bietet.

Aufwand: 10h; Bericht und Präsentation inkl. Fragenklärung

Wie die Ergebnisse genutzt werden, ist schliesslich Sache der Organisation / Institution. Eine Begleitung und Beratung kann der Evaluator jedoch gerne bieten.

Aufwand: Nach Absprache

Um die Professionalität auf höchstem Niveau zu wahren, gilt es auch immer sich selbst zu reflektieren und evaluieren.
Nach dem Abschluss der Evaluation soll die geleistete Arbeit in einer sogenannten Meta-Evaluation bewertet werden. Damit wird sichergestellt, dass zukünftige Evaluationen von möglichen Erkenntnissen profitieren stets verbessert werden.

Der Evaluator strebt stets nach Evaluationen mit höchster Güte und Tauglichkeit. Dabei helfen Ihm die international anerkannten Standards der Evaluationsgesellschaften, an welchen er sich misst und eine abgeschlossene Evaluation bewerten lässt.

Aufwand: 1-2h; Meeting mit wichtigsten Beteiligten der Evaluation.