Momentan ist eine heisse Diskussion im Gange, ob man das Handelsblattranking boykottieren sollte. 291 BWLer haben einen offenen Brief von Margit Osterloh und Alfred Kieser unterzeichnet, der das Ranking kritisiert. Kritisiert wird vor allem die Methodik und die falsche Anreizwirkung auf Wissenschaft und Gesellschaft.
Schwierige Fragen. Zum einen kann und sollte man niemanden zwingen, keine Rankings von öffentlichen Daten zu erstellen. Oder sollte sich diesen entziehen dürfen. Insofern, finde ich ein Boykott eines solchen Rankings nicht gerade befürwortenswert. Sollen Publikationslisten etwa geheim gehalten werden?
Auf der anderen Seite muss die Nützlichkeit solcher Rankings hinterfragt werden. Das HB sagt dass sie ein Tool liefern. Wie es angewendet oder missbraucht wird, ist Sache des Anwenders. Das Argument kennen wir (“guns don’t kill. People do”), aber dass die Existenz solcher Tools einen Einfluss auf das Verhalten Einzelner hat, ist unbestreitbar.
Und ja, ich kenne genug Forscher deren Forschungsagenda sich nach Publizierbarkeit in Journals gerichtet hat. Und bei weitem nicht alle waren junge Foscher ohne lebenslange Anstellung. Ich bemerke dass bei mir selber. Ich kenne interessante Journals, die zu Nischen publizieren die mich interessieren, die eine besonders nutzerfreundliche Open Access Philosophie haben, oder sonst interessant sind. Aber nicht im “SSCI”? Sorry, kein Interesse. Schade? Ja!
Journal Impact factor kommen und gehen. Beispiel Technovation (Elsevier Verlag, Profit Margin 37%): Impact Factor 2011: 3.3, Impact factor 2007: 1.0. Sind Technovationartikel von 2007 über die Zeit qualitativ drei mal besser geworden als noch früher (so wie bei gutem Wein 🙂 )? Im Ranking ja, denn es betrachtet nur einen einzigen Impactfactor.
Oder sind die Editors (und Autoren) nur besser darin geworden ihren IF zu managen? Ohne Self-cites wäre der journal Impact factor statt 3.3 nur 1.7, denn 48% der 424 citations sind self-cites. (Zitationen von Artikel im eigenen Journal, wie von vielen Editoren gefordert, sind ein anderes Thema, das mit der Wichtigkeit von Impact Factors einhergeht). Wo immer es Rankingsysteme und Benchmarks gibt, werden sie “gegamed”.
Im Vergleich, Organization Studies hovert seit 5 Jahren konstant bei 2.0-2.3 IF. Vielleicht hätten sie ihre Autoren einfach bitten müssen mehr eigene Werke zu zitieren? (nur 19% of 277 are self-cites).
Nicht zu vergessen, dass der Impactfactor hier sich nur auf Artikel die in den letzten 2 Jahren publiziert wurden bezieht. Die Publikationsmuster durch lange Review/Publikationsprozesse sind aber extrem unterschiedlich. Ich habe einen Artikel, der 2008 vom Journal akzeptiert und 2010 publiziert wurde. Wie soll so ein Artikel zu einem 2-jährigen Impact Factor beitragen? Mehrmals dauerte es 9-12 Monate bis ich Feedback auf eine Submission erhalten habe. Die zitierten Artikel werden dabei nicht jünger.
Am Beispiel Technovation, die cited Half-Life ist 6.0 years, d.h. mehr als die Hälfte der Citations kommen erst nach 6 Jahren (nur 10.5% der Citatations kamen aus den relevanten letzten 2 Jahren). Org Studies hat eine Citation Halbwertszeit von 8 Jahren und nur 4.5% aller cites kommen aus den letzten 2 Jahren…
Andererseits ist mir ein Physical Review Letters von Submission bis Publication in 3 Wochen gelungen. Wie soll man da vergleichen? Äpfel und Birnen gefällig?
Bei jeder Statistikgrundvorlesung die sich mit Powerlaws beschäftigt wird darauf hingewiesen, dass der Mittelwert bei Powerlaws eine denkbar ungeeigneter Wert ist um etwas Vernünftiges auszusagen. Beispiel: Die durschnittliche US Firmengrösse ist 19.0 Angestellte. Super, aber der Modus (häufigste Wert) ist 1, und der Medianwert 3 (Axtell et al 2001)! Was kann ich also aus dem Mittelwert über die meisten einzelnen Firmen aussagen? Und das sieht sehr ähnlich bei Journal Artikeln aus. Was kann ich also aus dem mittelwert eines Power-law-basierten Journal Impact Factors über einen einzelnen Artikel ablesen?
Ich habe genug grottenschlechte Artikel im SMJ gelesen und ebenso viele Perlen in no-name – oder vielmehr besser – no-impact Journals, um zu wissen, dass man vom Journal Impact Factors nicht auf die Qualität der 3-4 individuellen Artikel eines Forschers schliessen kann. Und kommt mir nicht mit double-blind Review. Ich habe genug durch die Augenbinde lunsen können um zu sehen was da passiert (aber das ist ein anderes Thema).
Um es zusammen zu fassen. Werde ich ein Ranking boykottieren? Nein. Finde ich es sinnvoll und unterstützenswert? Nicht unbedingt, und wenn dann nur sehr sehr vorsichtig und begrenzt. Sobald Rankingsysteme existieren, ändert sich das Verhalten der Teilnehmer um sie zu gamen! Insbesondere wenn diese Tools missbraucht werden um Berufungskommissionen, Lehrstuhlevaluationen und Fakultätsbudgets zu erstellen. Insofern vielen Dank an Frau Osterloh und Herrn Kieser! Normalerweise sage ich zynisch, dass solche Rankingverurteilungen immer nur von emeritierten Dinosauriern (Verzeihung 🙂 ) kommen, die nichts mehr zu verlieren haben. Deshalb freut es mich besonders, in der Boykottliste bekannte Namen von jungen aktiven, und durchaus publizierenden, Mitforschern zu lesen.
P.S. Ich kann es nicht lassen, meinen Lieblingsartikel zu Impact Factors zu verlinken (Hint, Forscher stirbt und möchte in den Himmel kommen. Witzig.) http://genomebiology.com/2008/9/7/107
[UPDATE 7.Sep.12] Das Handelsblattblog berichtet dass die meisten der Boykotteure nicht in den Top-Listen aufgetaucht wären. Natürlich fällt es leichter einen Boykott zu unterzeichnen wenn man -gerechtfertig oder nicht- nicht am meisten davon profitiert. Allein die Tatsache dass 23 von 339 Boykotteuren in den Listen genannt worden wären, zeigt dass nicht nur unproduktive Forscher sich einem Ranking entziehen wollen.
P.P.S. Bei aller Kritik am Ranking, denke immer noch, dass Forscher kein Recht haben sollten sich diesem zu entziehen. Es basiert immerhin auf öffentlichen Daten, selbst wenn die Erhebung mit Hilfe der Forscher geschieht.