Der Evaluator in der Metaebene

Der Betriebswirt evaluierte Evaluierungen: In seiner Dissertation analysierte er, ob diese Bewertungsprozesse Einfluss auf politische Entscheidungen haben.

Der Bereich Forschung, Technologie und Innovation, kurz FTI, hat Relevanz für jeden, betont Jürgen Streicher: „Ob Sie ein neues Smartphone nutzen oder ein Elektroauto: Das kommt alles aus dem FTI-Bereich.“Der Kärntner hat in Wien BWL studiert und schrieb nun seine Dissertation berufsbegleitend über das Politikfeld FTI mit der Frage: Welchen Einfluss haben Evaluierungen auf Politikentscheidungen?

„Österreich gilt international als Vorbild, was die rechtlichen Regelungen und Standards für Evaluierungen von politischen Maßnahmen angeht“, erklärt Streicher. Er selbst ist seit vielen Jahren in dem Bereich tätig und misst als Evaluator die Wirkung von Maßnahmen und Förderungen. Seit 2013 ist er bei Joanneum Research am Institut Policies angestellt, das auch Evaluierungen für verschiedene Auftraggeber durchführt. Für die wissenschaftliche Arbeit, die er quasi in der Freizeit verfasste, begab sich Streicher auf eine Metaebene: Er evaluierte das, was nach einer Evaluierung bleibt. Landen die Ergebnisse der Begutachtung in einer Schublade – oder folgen Konsequenzen, je nachdem, was die Evaluierung hervorbrachte?

Gegen „alternative Fakten“kämpfen

„Hier geht es um evidenzbasierte Politik, also Entscheidungen, die auf Basis von gesicherten Belegen und Fakten getroffen werden. Ein Thema, das in Zeiten von ,alternativen Fakten‘ zunehmend unter Druck gerät“, sagt Streicher.

Er wählte den Bereich der FTI-Politik, da hier großes Interesse besteht, vorn dabei zu sein im globalen Wettbewerb der Volkswirtschaften. Außerdem gibt es im FTI-Bereich ein sehr breites Angebot an Maßnahmen, für die sich Forschende und Organisationen bewerben können. Nahezu jede dieser Maß- nahmen in dem „Programmdschungel“wird regelmäßig evaluiert. „Ich wollte wissen, wie der Kontext, also die Administration und die Politik, mitspielen bei dem, was aus einer Evaluierung wird. Und wie wirken sich Evaluierungen auf die Entscheidungen der Politik aus“, sagt Streicher. In Österreich herrsche eine sehr gute Debattenkultur in der Fachgemeinschaft, die Beteiligten sprechen eine gemeinsame Sprache und folgen dem gemeinsamen Ziel, Evaluierungen sinnvoll einzusetzen. Streicher hat nun untersucht, welche Änderungen solchen Bewertungsvorgängen folgen.

Als Fallstudien sah er sich drei Programme des Technologieministeriums an, die jeweils zwischen 2008 und 2012 evaluiert wurden, und führte Interviews mit Vertretern des Ministeriums und der umsetzenden Agentur sowie mit Evaluatoren und anderen Akteuren.

„Bisherige Forschung hat sich eher auf das Instrument der Evaluierung bezogen, also wie sie methodisch aufgebaut ist und durchgeführt wird. Ich habe mir die Planungsphase vor der eigentlichen Evaluierung angesehen und welche Rolle die Akteure spielen.“Eines der Ergebnisse ist, dass man in Österreich zu sehr darauf achtet, Dinge bei Evaluierungen richtig zu machen, statt darauf zu schauen, die richtigen Dinge zu machen. „Es wird kaum hinterfragt, ob die richtigen Fragen gestellt wurden. Bestehende Strukturen werden angenommen. Es haben sich Routinen etabliert“, sagt Streicher. Darunter leidet der Lernprozess, den eine Evaluierung einleiten sollte.

Forscher in die Planung einbinden

Streicher schlägt vor, dass man die Sozialpartner oder Zuwendungsempfänger, also Forscher und Entwickler, verstärkt in der Vorbereitungsphase einbindet, um Fragen zu sammeln, die bei der Evaluierung gestellt werden sollen. „Das steigert die Möglichkeit, aus den Ergebnissen besser zu lernen.“Und: Ein Teil des Evaluierungsbudgets sollte aufgehoben werden, um Fragen zu erkunden, die nicht vorab gestellt wurden. „Außerdem kann ich der Idee von schriftlichen Rückmeldungen der Auftraggeber nach Evaluierungen etwas abgewinnen.“

Und kann Streicher, da die Dissertation nun abgeschlossen ist, wieder mehr Freizeit genießen? „Für Sport bleibt kaum Zeit. Ich laufe in meiner Freizeit lieber meinen zwei Kindern hinterher. Wir sind ein akademischer Haushalt, meine Frau, die an der WU Wien forscht, habilitiert sich gerade.“

wurde 1977 in Klagenfurt geboren und studierte an der WU Wien Betriebswirtschaftslehre. Während des Studiums verbrachte er ein Semester in Dublin und 2004 ein halbes Jahr in den USA als Praktikant der Raiffeisen International. Seit 2005 ist er im Evaluationsbereich tätig, derzeit bei Joanneum Research am Institut für Wirtschaftsund Innovationsforschung (kurz Policies) in Wien, wo er berufsbegleitend das Doktorat absolvierte.