Hier freut sich eine ganze Autorenschar: Ausriss aus der Zeitschrift "Science", Inbegriff akademischer Begehrlichkeit

Die Nutzer der Kennziffern verstehen diese selbst nicht

Es lässt darum aufhorchen, wenn jetzt die „International Mathematical Union“ (IMU) im Verbund mit dem Internationalen Rat für angewandte Mathematik und dem Institut für mathematische Statistik vor solchem Vertrauen in solche Kennziffern warnt. In ihrem jüngst veröffentlichten Gutachten „Citation Statistics“ (www.mathunion.org/fileadmin/IMU/Report/CitationStatistics.pdf) wird von der Verwendung bibliometrischer Durchschnittszahlen abgeraten. Die meisten Nutzer solcher Zahlen verstünden sie selbst nicht, lautet die Begründung.

Der sogenannte „Impact“-Faktor beispielsweise verspricht, die Bedeutung einer wissenschaftlichen Zeitschrift durch die relative Häufigkeit zu erfassen, mit der dort veröffentlichte Beiträge andernorts zitiert werden. Ein Impact-Faktor von vier für das „Journal of Procrastination Studies“ würde demnach bedeuten, dass die achtzig Beiträge dieses Organs im Jahr 2005 insgesamt dreihundertzwanzigmal während des Zeitraums von 2006 bis 2007 zitiert worden sind.

Bedeutung der Journale lässt sich nicht vergleichen

Das klingt aussagekräftig, aber die Mathematiker weisen darauf hin, dass beispielsweise fast neunzig Prozent aller Verweise auf Publikationen in der mathematischen Forschung eines Jahres sich auf Artikel beziehen, die älter als zwei Jahre sind. Bei kleinen Zeitschriften mit jährlich weniger als fünfzig Artikeln variiert der Wert des Impact-Faktors binnen Jahresfrist um fast fünfzig Prozent, weil für sie jedes Zitat eben stärker durchschlägt. Das mache es schwierig, ihren Rang mit demjenigen umfangreicher Journale zu vergleichen. Außerdem unterscheide sich die Neigung zu zitieren zwischen den Disziplinen beträchtlich, sagen die Autoren des Gutachtens.

Während etwa in den Sozialwissenschaften jeder Beitrag im Durchschnitt einmal zitiert werde, kommen Neurowissenschaftler durchschnittlich auf mehr als vier Zitationen, Biologen sogar auf mehr als sechs. Daraus folge, dass sich die Bedeutung von Journalen zwischen den Fächern nicht vergleichen lasse. Dasselbe gilt für Zeitschriften, deren Beiträge nicht auf Englisch verfasst sind. Ihre Chance, zitiert zu werden, ist von vornherein geringer. Journale hingegen, die Übersichtsartikel publizieren, werden naturgemäß häufiger erwähnt.

Veröffentlichungen in Spitzenjournalen müssen nichts heißen

Die fragwürdigste Folgerung bibliometrischer Urteile ist aber, von der Qualität von Zeitschriften auf die Qualität der Beiträge zu schließen. „Der Artikel wurde in einem Spitzenjournal veröffentlicht“ - die Aussage muss nichts heißen, schon gar nicht, dass ein Beitrag besser ist als ein anderer, der an weniger prominentem Ort abgedruckt wurde. Zum einen gibt es für die Wahl des Publikationsortes Dutzende von Gründen diesseits des Strebens, an hochrangiger Stelle zu erscheinen: beispielsweise die Kürze des Begutachtungsverfahrens, die Bekanntschaft mit den Herausgebern oder die in manchen Naturwissenschaften durchaus realistische Sorge, von den Gutachtern plagiiert zu werden.

Zum anderen ist auch schon rein statistisch betrachtet die Wahrscheinlichkeit nicht besonders hoch, dass ein Artikel, der zur durchschnittlichen Qualität einer Zeitschrift beiträgt, genau diesem Durchschnitt entspricht. Im Gegenteil: Hat ein Journal A auf der Grundlage von gut einhundert Artikeln pro Jahr eine durchschnittliche Zitationsrate von 0,4 und ein Journal B im selben Fach bei gut fünfzig Artikeln einen Impact-Faktor von 0,8, dann liegt die Fehlerwahrscheinlichkeit des Urteils, ein zufällig ausgewählter Aufsatz in A sei besser als einer in B, bei mehr als sechzig Prozent.

„Atemberaubend naiv“

Wenn aber die Beurteilung einzelner Artikel aufgrund ihres Publikationsortes fragwürdig ist, dann, so hält das mathematische Gutachten fest, ist ein Urteil über einzelne Wissenschaftler und sind Vergleiche zwischen ihnen nicht möglich. Das gelte auch für andere, etwas raffinierter angelegte Kennziffern wie etwa den sogenannten und derzeit beliebten Hirsch-Index. Dieser informiert darüber, wie viele Aufsätze ein Wissenschaftler publiziert hat, die in anderen Zeitschriften genauso oft zitiert worden sind: Ein Forscher hat eine Hirsch-Zahl von zehn, wenn sein zehntmeistzitierter Beitrag zehnmal zitiert worden ist. Erst wenn ein elfter Aufsatz von ihm elfmal zitiert worden ist, steigt sein Hirsch-Index.

Der einfachste Einwand dagegen lautet, dass auch ein Autor mit nicht mehr als zehn Aufsätzen, von denen jeder hundertmal zitiert worden ist, eine Hirsch-Zahl von zehn besitzt. Wie muss es um die Wissenschaftlichkeit, um nicht zu sagen, um den Verstand von Kommissionen bestellt sein, die auf solche Argumente nicht von selber kommen? „Atemberaubend naiv“ nennen die Mathematiker die Verwendung einzelner Zahlen für Urteile über Forscherqualität.

Was sagt das Zitiertwerden eigentlich aus?

Doch nicht nur die Messung von Zitationen, das Zitiertwerden als solches ist ein völlig dubioses Kriterium. Jeder Forscher weiß, dass zitiert zu werden und gelesen worden zu sein, zwei völlig verschiedene Dinge sind. Die Vermutung, ein Verweis besage „Dieser Beitrag war mir nützlich“, erlaubt noch nicht zu ermitteln, wozu der entsprechende Aufsatz nützlich war. Oft nur um zitiert zu werden, um Informiertheit und Fleiß auszudrücken; mitunter auch, um Dankesschulden an Nahestehenden abzutragen oder um ein Ambiente für die eigenen Thesen und Befunde zu schaffen. Wie oft hört man nicht von Gutachtern, die an eingereichten Aufsätzen nur beanstanden, dass sie selbst nicht zitiert worden sind, oder von Herausgebern, die Autoren dazu einladen, am Impact-Faktor des betreffenden Journals mitzuarbeiten.

Statistik sei eine Art Fetisch der modernen Gesellschaft, schrieb einst der amerikanische Soziologe Joel Best, und die Autoren des Gutachtens der IMU bekräftigen das für ihr Thema. Selbst bei der Exzellenzinitiative sollen Gutachter dabei angetroffen worden sein, dass sie ihnen unbekannte Forscher in „Google Scholar“ eingaben, um danach bei 1200 Treffern zu schließen, es müsse sich wohl um einen angesehenen Kollegen handeln. Primitiver geht's nicht. Die Mathematiker haben das Verdienst, gegen solche Machenschaften, die nicht aus Schläue, sondern aus Ignoranz erfolgen, Einspruch eingelegt zu haben. Es würde die Wissenschaft und ihre Funktionäre zieren, wenn sie aus dem Wissen über den bibliometrischen Unfug endlich Konsequenzen zögen.