In seiner Antrittsvorlesung „Was heißt und zu welchem Ende studiert man Universalgeschichte?“, 1789 an der Universität Jena, unterschied Friedrich Schiller zwei Typen von Gelehrten: den „Brodgelehrten“ und den „philosophischen Kopf“. Nur Letzterer forsche um der Erkenntnis willen. Richard Feynman, der amerikanische Physik-Nobelpreisträger, bringt die Motivation des Wissenschaftlers prosaischer auf den Punkt: „Science is like sex. Sure, it may give some practical results, but that’s not why we do it.“ Es ist vor allem die Tätigkeit und erst in zweiter Linie der Erfolg, die den Forscher motiviert. Denn Erfolg in der Forschung ist höchst unsicher. Die meisten Wissenschaftler machen nie sensationelle Entdeckungen, veröffentlichen nie Aufsätze in absoluten Spitzenzeitschriften, schreiben nie Bücher, die Furore machen und werden nicht zum Hauptvortrag bei internationalen Konferenzen geladen. Nur wenige heimsen Ruhm ein.

Wie aber wird Leistung in der Wissenschaft gemessen? Welche wissenschaftliche Leistung ist höher einzustufen: die Entdeckung des Penicillins durch Alexander Fleming oder die These Max Webers vom Protestantismus als Beförderer des Kapitalismus? Diese Frage ist schlicht unsinnig. Ebenso unsinnig ist die, ob ein Aufsatz im „Journal of Marketing“ höher zu gewichten sei als ein Aufsatz im „Journal of Finance“. Selbst innerhalb eines Fachs erweisen sich Forschungsleistungen oft als unvergleichbar. Diese Unmöglichkeit, sie in eine Rangfolge zu bringen, ist häufig die Ursache mühseligen Ringens in Berufungskommissionen. Subjektive Einschätzungen sind unvermeidlich.

Objektivierungsbemühungen

In solchen Situationen greift man gerne auf quantitative Kriterien zurück, indem man etwa darauf hinweist, dass der eine Kandidat eine umfangreichere Veröffentlichungsliste vorzuweisen hat als der andere. Häufig wird auch argumentiert, dass, wenn die Aufsätze der einen Kandidatin mit dem wissenschaftlichen Rang der jeweiligen Zeitschriften gewichtet werden, sie klar höher einzustufen ist als die anderen Bewerber.

Wenn der wissenschaftliche Rang einer Zeitschrift einfach behauptet wird, haftet einer solchen Argumentation jedoch immer noch eine subjektive Tönung an. Dieser Eindruck verschwindet jedoch aus der Diskussion, wenn alle Vertreter eines Fachs um eine Einschätzung der Bedeutung der wissenschaftlichen Zeitschriften gebeten und diese Einschätzungen dann gemittelt werden. Das Kunststück einer noch weiter gehenden „Objektivierung“ hat Eugene Garfield mit seinen Impact Factor geschafft. Dieser Indikator zur Gewichtung des wissenschaftlichen Einflusses von Zeitschriften wird heute von Thomson Science, einer Division der Agentur Reuters, für eine große Zahl ausgewählter Zeitschriften verschiedener Disziplinen ermittelt und in einer Datenbank gegen Entgelt zur Verfügung gestellt: Wissenschaftsbewertung ist Big Business.

Unsinnige Vergleiche

Der Impact Factor beruht auf der Annahme, dass Wissenschaftler Werke anderer Wissenschaftler vor allem deshalb zitieren, weil sie auf deren Ergebnissen aufbauen. Eine Zeitschrift, deren Aufsätze häufiger zitiert werden, würde dann einen höher zu bewertenden Beitrag zur Wissenschaft leisten und könnte eine höhere Qualität beanspruchen als eine Zeitschrift, auf deren Aufsätze Wissenschaftler weniger häufig zugreifen. Die Forschungsleistung eines Wissenschaftlers kann dann als Summe seiner mit den jeweiligen Impact Factors gewichteten Veröffentlichungen erfasst werden. Auf dieser Basis kann man dann auch ein Ranking von Wissenschaftlern erstellen und die Position einer ganzen Fakultät für ein Fakultäten-Ranking aus den Rangplätzen der in ihr tätigen Wissenschaftler aggregieren. So geht in Deutschland das „Handelsblatt“ vor, allerdings nicht auf der Basis der Impact Factors, sondern aufgrund einer Zeitschriften-Gewichtung durch Mitglieder des Verbands der Hochschullehrer für Betriebswirtschaft.

Die ersten beiden Plätze des Handelsblatt-Rankings für Betriebswirtschaftslehre werden von zwei Professoren der Fakultät für Betriebswirtschaftslehre der Mannheimer Universität belegt. Das ist aus Sicht eines Mannheimer Universitätsangehörigen sehr erfreulich, aber es ist gleichwohl unsinnig. Dass beide in ihren Fächern international hochrenommierte Wissenschaftler sind, kann einem jeder Insider versichern. Was die beiden jedoch forschen und was sie veröffentlichen, ist nicht vergleichbar und nicht in eine Rangfolge zu bringen. Der eine forscht zu Marketing, der andere zu Banken und Finanzierung. Die Feststellung, dass der eine Nummer eins und damit besser als die Nummer zwei ist, wäre so sinnvoll wie die, dass Tiger Woods im Vergleich mit Roger Federer der bessere Sportler ist.

Marktgerechte Forschung

Wenn aber Rankings von Wissenschaftlern unsinnig sind, dann auch auf ihnen aufbauende Rankings von Fakultäten und Universitäten. Trotz ihrer Absurdität sind Rankings von Wissenschaftlern und Wissenschaftsinstitutionen ungemein populär. Viele Berufungskommissionen, Dekane und Universitätspräsidenten richten ihre Entscheidungen nach ihnen aus. Ihre Popularität gründet sich vor allem darauf, dass sie den Prozess der Bewertung abkürzen. Man multipliziert einfach die Aufsätze der Bewerber mit den zugehörigen Impact Factors und addiert die so ermittelten Punkte. Dazu muss man nicht einmal ein Angehöriger des betreffenden Fachs, ja nicht einmal Wissenschaftler sein. Wissenschaftler sind darum gut beraten, eine Art von Forschung zu betreiben, die sich zu Aufsätzen verarbeiten lässt, die mit großer Wahrscheinlichkeit von hoch gerankten Zeitschriften zur Veröffentlichung angenommen werden.

Wie das Topmanagement eines diversifizierten Unternehmens weiß, welche Gewinnbeiträge die einzelnen Geschäftsbereiche bringen, wissen nun die Dekane und die Universitätsspitze, welche Fakultäten und Institute „gut am Markt ankommende“ Forschung generieren, und richten ihre Entscheidungen zur Mittelausstattung oder zu Stellenbesetzungen danach aus. Die Strategie der ökonomisierten Universität zielt darauf ab, in ein optimales „Portfolio der Forschungswertschöpfung“ zu investieren. Diese Strategie determiniert in einem hohen Maße die Arbeit der Wissenschaftler. Von ihnen wird erwartet zu forschen, was ihnen, ihrer Fakultät und ihrer Universität Ranking-Punkte bringt, nicht aber, was sie selbst als die Wissenschaft vorantreibende Projekte ansehen.

Allerdings weisen Impact Factors einige empfindliche Begrenztheiten auf. (1) Es werden nur Veröffentlichungen in bestimmten Zeitschriften berücksichtigt. Dies sind fast nur englischsprachige, vorwiegend amerikanische Zeitschriften. (2) Buchveröffentlichungen und Beiträge in Sammelbänden werden nicht berücksichtigt. (3) Es werden auch nur Zitierungen berücksichtigt, die innerhalb von zwei Jahren nach der Publikation erfolgen. Zeitschriften zu Spezialgebieten, die in der Regel eine geringere Zirkulation aufweisen, werden benachteiligt.

Vor allem aber ist es mehr als fraglich, ob Zitierungen vorwiegend Anerkennung für die Übernahme wichtiger Ergebnisse anderer Forscher in die Forschung der sie Zitierenden zum Ausdruck bringen. Ein Forscher zitiert einen anderen Forscher nicht nur, wenn er dessen Ergebnisse übernimmt, sondern auch, wenn er ihn kritisiert, sich seiner Schule zuordnet, sich von ihm abgrenzt, durch Belesenheit zu beeindrucken versucht. Gerne zitiert er diejenigen, die generell häufig zitiert werden, denn das erhöht die Wahrscheinlichkeit, dass er selbst zitiert wird. Erstaunlich ist nun, dass sich in Zeitschriften mit einem hohen Impact Factor Aufsätze finden, die nicht oder kaum zitiert werden. Dies lässt fragen, ob das System der Begutachtung von Aufsätzen so funktioniert, dass tatsächlich die besten in die renommiertesten Journale kommen.

Fragwürdige Gutachterverfahren

Schon die für renommierte Zeitschriften typischen Ablehnungsquoten von mehr als neunzig Prozent der eingereichten Aufsätze lassen Zweifel aufkommen. Ein Großteil der eingehenden Manuskripte wird nämlich vom Haupt- oder Mitherausgeber nach erster Durchsicht in einem „desk reject“-Verfahren“ abgelehnt. Man darf eine nicht geringe Irrtumswahrscheinlichkeit dieser ersten, notgedrungen nicht ganz so gründlichen Siebung annehmen. Zu einer ausführlichen Beurteilung der Aufsätze, die diese Hürde nehmen, wählt der Herausgeber in der Regel zwei, mitunter auch drei oder vier Gutachter aus. Diese empfehlen Ablehnung oder Annahme des Manuskripts. Die Übereinstimmung zwischen Gutachterurteilen zu eingereichten Zeitschriftenaufsätzen ist extrem gering, was manche Autoren zu dem Schluss gelangen lässt, man könne die Entscheidung über Annahme oder Ablehnung eines Manuskripts auch dem Wurf eines Würfels anvertrauen.

Auch korrelieren, wie die Forschung belegt hat, Urteile von Gutachtern über die Qualität eines Manuskriptes nur schwach mit den späteren Zitierungen. Folgerichtig stellte der amerikanische Supreme Court unlängst fest, dass von dem Umstand, dass Peer Reviews durchgeführt werden, nicht auf die Qualität der Inhalte wissenschaftlicher Zeitschriften geschlossen werden könne. Besonders aufschlussreich ist eine Studie von Peters und Ceci. Sie wählten aus zwölf angesehenen psychologischen Zeitschriften je einen Artikel der letzten Jahre aus und änderten deren Autoren- und Institutionennamen vom Hochreputierten ins Namenlose. Auch die Titel, Abstracts und Einleitungsabschnitte veränderten sie. Dann reichten sie den sonst unveränderten Aufsatz bei der gleichen Zeitschrift ein, die ihn bereits publiziert hatte. Das Ergebnis: Nur drei der zwölf Manuskripte wurden als schon publiziert erkannt, und acht der neun übrigen wurden nun abgelehnt.

In dem Experiment von Peters und Ceci hat sicher eine Rolle gespielt, dass die Autorenbezeichnungen ins „Namenlose“ geändert wurden. Die Autoren der echten Einreichungen waren ausnahmslos recht bekannt. Bei in der Community bekannten Autoren aber geben sich die Herausgeber Mühe, Gutachter zu finden, die die gleichen Ansätze schätzen wie die Autoren, und sie entscheiden sich bei widersprüchlichen Gutachtern eher für eine Annahme. Neben einer Vorliebe für bestimmte Theorien und Methoden haben Gutachter noch andere Vorurteile. Sie sind vor allem konservativ, weil sie Karriere machen wollen: vom Gutachter zum Mit- und Hauptherausgeber und zum Herausgeber noch bedeutenderer Zeitschriften, und deshalb meiden sie das Risiko, einen Aufsatz zu Annahme zu empfehlen, bei dem damit zu rechnen ist, dass er in der Scientific Community auf Ablehnung stößt. Man muss als Autor also nicht nur einen guten Aufsatz schreiben, man muss vor allem das Glück haben, dass der Herausgeber nicht nur einen, sondern zwei oder drei Gutachter auswählt, bei denen der eingereichte Aufsatz nicht Missgunst, Hochmut oder Dogmatismus weckt und die eine gewisse Sympathie für den gewählten theoretischen Ansatz haben. Nicht zuletzt wegen des äußerst schwachen Zusammenhangs zwischen Gutachterurteilen und Zitierungen eines Aufsatzes ist der Impact Factor ein schlechter Indikator der Qualität; um wie viel schlechter die Addition der mit ihm gewichteten Aufsätze eines Autors.

Das Ranking als sich selbst erfüllende Prophezeiung

Das größte Problem von Rankingsystemen ist aber, dass sie das Verhalten derjenigen, die von ihnen betroffen sind, beeinflussen. Im sehr populären Handelsblatt-Ranking für Betriebwirtschaftsprofessoren sind die zweihundert erfolgreichsten Professoren aus deutschsprachigen Ländern gelistet. Unter diesen finden sich keine Professoren, die ihre Forschungsergebnisse vorwiegend in Monographien veröffentlichen, mögen diese auch noch so einflussreich sein. Es werden nämlich auch im Handelsblatt-Ranking nur Zeitschriften-Veröffentlichungen berücksichtigt. Die Folge ist, dass Wissenschaftler weniger Monographien schreiben, was ich persönlich sehr bedauerlich finde, denn als Student habe ich vor allem aus Monographien gelernt. Für deutschsprachige Zeitschriften schreiben sie, weil das keine oder nur wenige Punkte bringt, höchstens noch Zweitaufgüsse ihrer englischsprachigen Veröffentlichungen oder Zweitrangiges. Schlechter gerankte Wissenschaftler oder Institutionen verlieren Ansehen bei Studierenden, Politikern und Hochschuladministratoren. Sie erleiden Einbußen bei der Ressourcenausstattung, ihre Rankingposition verschlechtert sich eventuell weiter. Rankings wirken dann wie sich selbst erfüllende Prophezeiungen.

Außerdem verleitet das System zu Tricksereien. Wissenschaftler zitieren etwa ihre eigenen Schriften noch häufiger als bisher. Auch zitieren sie mit Vorliebe Aufsätze, die in Zeitschriften mit einem hohen Impact Factor erschienen sind. Das verleiht ihren eigenen Aufsätzen Bedeutung. Zeitschriften mit einem hohen Impact Factor haben also nicht nur deswegen ein hohes Prestige, weil sie häufig zitiert werden, sie werden auch häufig zitiert, weil sie ein hohes Prestige aufweisen. Mit dem Versprechen, dass sie den Großteil der Arbeit übernehmen, veranlassen weniger berühmte Wissenschaftler berühmtere Kollegen zu gemeinsamen Veröffentlichungen. Das erhöht nicht nur die Wahrscheinlichkeit der Annahme des resultierenden Manuskripts zur Veröffentlichung – für den Herausgeber sind die Autoren nicht anonym –, sondern auch später die des Zitiertwerdens. Wenn man früher einen Bewerber für eine Professur fragte, was seine Forschungsinteressen seien, erhielt man Antworten der folgenden Art: „Mich interessiert, wie Arbeitsgruppen funktionieren“ oder „Ich erforsche, ob Anreize die Leistung erhöhen“. Heute sagt er: „Ich will in A-Journals veröffentlichen.“

Und er weiß auch, was er dazu tun muss: eine Thematik, eine Theorie und eine Methode wählen, die im Schwange sind. Mit anderen Worten macht er genau das, was sich in der jüngeren Vergangenheit bewährt hat, halt ein bisschen anders. Am besten er wiederholt eine Untersuchung mit einer etwas leistungsfähigeren Methode. Fortschritte in der Methodik sind leichter festzustellen als Fortschritte bei den Ergebnissen. Wenn nämlich Wissenschaftler wirklich neue Befunde mitteilen, riskieren sie, dass die Gutachter ihren Aufsatz nicht mit ihnen bekannten Erkenntnissen in Verbindung bringen können und ihn ablehnen. Wenn es der Autor nicht schon von sich aus gründlich genug macht, dann sorgen Gutachter und Herausgeber dafür, dass ein eingereichter Aufsatz zu einem Mainstream-Aufsatz wird. Um die Gutachter bloß nicht zu vergraulen und keine negative Entscheidung zu provozieren, machen die Autoren alles, was die Gutachter vorschlagen, auch wenn sie den Eindruck haben, dass dadurch ihr Aufsatz eher schlechter als besser wird. Zu Recht spricht Bruno Frey daher von der „Prostitution der Veröffentlichung“.

Wissenschaftler auf dem Trampelpfad

Und Wissenschaftler versuchen, aus ihren Forschungsprojekten so viele Aufsätze wie möglich zu pressen. Das geht so ähnlich wie bei den Kombinationsbilderbüchern, bei denen man mit jeweils einigen Streifen verschiedener Hüte, Gesichter, Bäuche und Beine ganz viele lustige Figuren erzeugen kann. Mit dieser Methode bringt es ein Betriebswirt Anfang dreißig auf 36 internationale Veröffentlichungen in drei Jahren. Herausgeber und Verlage tricksen ebenfalls: Sie drängen Autoren, möglichst viele Aufsätze zu zitieren, die in ihrer Zeitschrift erschienen sind: „We have noticed that you cite ,Leukemia‘ only once in 42 references. Consequently, we kindly ask you to add references of articles published in ,Leukemia‘ to your present article.“ Fakultäten und Universitäten beteiligen sich an den Tricksereien. So drängen Dekane und Präsidenten Wissenschaftler ihrer Institutionen, in Zeitschriften zu veröffentlichen, die populären Rankings wie dem der „Financial Times“ zugrunde liegen. Sie stellen gerne Bewerber ein – auch temporär als Gastwissenschaftler –, die in „high impact“-Zeitschriften veröffentlichen und viele Zitierungen versprechen, um dadurch den Rangplatz ihrer Institutionen zu verbessern. So schaffen Rankings Wirklichkeit. Sie stellen nicht Transparenz auf einem bereits existierenden „Markt“ her, vielmehr generieren sie einen Pseudomarkt. Profilbildung nach Maßgabe der Rankings heißt nicht, ein anderes Profil auszubilden als konkurrierende Fakultäten, sondern das gleiche Profil mit größerer Perfektion anzustreben: so zu werden wie erfolgreiche Konkurrenten, diese aber in ihrem „so sein“ noch zu übertreffen.

Akteure des Systems sind Herausgeber, Gutachter und Universitätsleitungen, die alle danach streben, dass ihre Rankingpositionen sich verbessern. Und weil sie alle karriererelevante Entscheidungen fällen, wollen die Wissenschaftler genau die Punkte erringen, die im System angerechnet werden. Sie gehen nicht mehr Forschungsfragen nach, die sie im Hinblick auf den Erkenntnisgewinn für wichtig erachten, sie sammeln Punkte für Ranglisten. Sie begeben sich nicht mehr auf wissenschaftliche Entdeckungsreisen, sondern folgen den in Rankings ausgeflaggten Trampelpfaden. „Philosophische Köpfe“ mutieren zu „Brodgelehrten“.