La bibliométrie – déjà cassée

(English version: Bibliometry – already broken)

Vous êtes décideur dans la recherche – politicien, haut fonctionnaire au Ministère de la Recherche, directeur du CNRS – et vous voulez évaluer la qualité des chercheurs ou des instituts sous votre responsabilité, afin d’optimiser votre maigre budget ou octroyer une prime d’excellence. Comment faire ? La méthode classique consiste en l’expertise par d’autres chercheurs. Mais cette démarche a des inconvénients de taille : c’est très long à mettre en oeuvre, c’est beaucoup de travail, les chercheurs évaluateurs risquent de manquer de sévérité avec leurs collégues, et le rapport sera subjectif et de plus incompréhensible. Ce qu’il faut c’est quelques indicateurs simples et toujours disponibles. Mais voilà réponse à votre besoin : il suffit de prendre un abonnement chez Thomson Reuter, cette société qui recueille la quasi-totalité des citations des articles des périodiques savantes. Trois clics de la souris et vous pouvez savoir combien de fois M. Untel et Mme Uneautre ont été cités par leurs pairs. Le principe est limpide – la bonne recherche est citée plus souvent – et l’interprétation simplissime; la comparaison entre deux chiffres est à la portée de même le décideur le plus pressé.

On peut alors comprendre que, malgré quelques critiques de la fiablité de la méthode, la «bibliométrie» ait rapidement pris un rôle primordial dans la politique de la recherche. Aujourd’hui toute évaluation serieuse doit être assortie d’une panoplie de statistiques bibliométriques. Et la tentation est forte de se fier à ce critère apparemment objectif et tellement facile à comprendre pour piloter de manière éclairée la distribution du Grand Emprunt, les primes d’excellence.

Mais en dehors des problèmes inhérents à la bibliométrie quand la recherche est pratiquée normalement, il faut maintenant tenir en compte le fait que le système peut être faussé par «l’optimisation» des citations dans des journaux complaisants. Deux cas récents et dramatiques illustrent l’étendue du problème, qui remet en cause tous les indicateurs de qualité automatiques, que ça soit pour les chercheurs individuels, les journaux ou les instituts et universités.

Le «Times Higher Education» (THE) publie chaque année un classement mondial des universités :

http://www.timeshighereducation.co.uk/world-university-rankings/

Cette année, le THE sous-traite une partie du classement à Thomson Reuter (ISI), leader mondial dans la bibliométrie. La pondération des citations des travaux menés dans les établissements universitaires est importante dans cette édition du classement.

Mais le classement abrite des surprises. Entre autres, l’université d’Alexandrie se hisse à la 147ème position, recueillant les félicitations en tant que première université arabe dans le top 200. Malheureusement, c’est trop beau pour être vrai. Il s’avère que le rang de cette université est élevé grâce à l’excellence de sa recherche (4ème mondial devant Stanford et Harvard !) mesurée par des citations. Et ceci seulement dans une petite sous-discipline de physique mathématique :

“Some further investigation showed that while Alexandria’s citation record is less than stellar in all respects there is precisely one discipline, or subdiscipline or even subsubdiscipline, where it does very well. Looking at the disciplines one by one, I found that there is one where Alexandria does seem to have an advantage, namely mathematical physics.”

http://rankingwatch.blogspot.com/2010/09/citations-indicator-in-the-world.html

De plus, cette excellence en citations serait due à une seule personne, fait avoué par le THE :

Alexandria, which counts Ahmed H. Zewail, winner of the 1999 Nobel Prize for Chemistry, among its alumni, clearly produces some strong research. But it is a cluster of highly cited papers in theoretical physics and mathematics – and more controversially, the high output from one scholar in one journal – that gives it such a high score.

http://www.timeshighereducation.co.uk/story.asp?storycode=413528

Le THE n’ose pas donner son nom, puisqu’il s’agirait d’un chercheur très controversé. Un blog fait bientôt une suggestion plausible : Mohamed El Naschie


http://elnaschiewatch.blogspot.com/2010/09/caltech-mit-princeton-alexandria.html

Éditeur pendant de nombreuses années du journal Chaos, Solitons and Fractals (chez le prestigieux Elsevier), il y a publié un grand nombre de ses propres articles, avec un taux d’auto-citation important. La mise au jour initiale de ces irrégularités a été l’oeuvre du physicien John Baez, qui aurait été en conséquence menacé en justice par El Naschie. Les discussions sont encore disponibles sur le blog dédié à El Naschie.

http://elnaschiewatch.blogspot.com/2009/02/that-hard-to-find-baez-material.html

Le comité éditorial de Chaos, Solitons and Fractals a été dissout et le journal a été «refondé».

Mise à jour: El Naschie avait été identifié par Thomson Reuter pour un «new hot paper».
http://www.esi-topics.com/nhp/2006/september-06-MohamedElNaschie.html
(Merci à Michael Tuite: http://elnaschiewatch.blogspot.com/2010/12/michael-tuite-on-el-naschie-he-and.html)

Un autre exemple serait celui de Ji-Huan He, professeur à l’université de Donghua à Shanghai, Chine. ScienceWatch, une filiale de Thomson Reuteur, l’identifie sur le critère de ses citations nombreuses comme une star absolue, le hissant implicitement dans le top 10 mondial, tous domaines de la recherche scientifique confondus, et le citant aux cotés des futurs lauréats Nobel :

http://sciencewatch.com/inter/aut/2008/08-apr/08aprHe/
http://sciencewatch.com/ana/fea/10maraprFea/
http://sciencewatch.com/ana/fea/09maraprFea/
http://science.thomsonreuters.com/press/2010/worlds-hottest-researchers/
http://sciencewatch.com/dr/nhp/2008/08julnhp/08julnhpHe/

Un sujet récurrent dans les articles de He sont des téchniques de solution d’équations différentielles, en particulier par son «Homotopy perturbation method». Mais la valeur de ce travail semble en fait assez discutable. Par exemple, Fernandez analyse de la manière suivante ce type de méthode :

In a series of papers I have shown that most of the results produced by those methods are useless, nonsensical, and worthless.

http://arxiv.org/PS_cache/arxiv/pdf/0808/0808.2078v2.pdf

Dans un autre exemple, He publie un article intitulé «Determination of limit cycles for strongly nonlinear oscillators» dans «Physical Review Letters», l’un des meilleurs journaux en physique, ce qui devrait être une gage de qualité.

http://prl.aps.org/abstract/PRL/v90/i17/e174301 (abonnement réquis)

Mais un commentaire publié dans la foulée par S. Rajendran, S.N. Pandey, and M. Lakshmanan arrive à la conclusion dévastatrice suivante :

…unfortunately, the calculations regarding the limit cycle solution of the van der Pol oscillator contain several errors which once rectified make the method inapplicable to it and restrict the applicability of the method to systems which do not possess limit cycles.

http://prl.aps.org/abstract/PRL/v93/i6/e069401 (abonnement réquis)

Une explication alternative pour la «performance» du Ji-Huan He pourrait se baser sur sa sur-représentation éditoriale (il était éditeur dans une cinquantaine de journaux) et par une cultivation adroite des citations, ainsi que l’a exposé l’éditeur en chef du prestigieux journal SIAM (cet article fort intéressant est la source pour une bonne partie des informations présentées ici et montre en même temps à quel point le «facteur d’impact» d’un journal peut être manipulé) :

http://arxiv.org/pdf/1010.0278v3

Il est difficile d’éviter l’impression d’un raz-de-marée de mauvais journaux (que nous payons quand même dans nos abonnements groupés aux éditeurs) dans lesquels tout chercheur, s’il fait ce choix, peut publier et citer à volonté.

On pourrait penser que le décomptage des auto-citations d’individu, de journal et d’institut (qui s’impose) sauverait la bibliométrie de cette influence. Mais si plusieurs chercheurs s’organisent pour s’entre-citer dans des journaux différents, alors la pratique devient totalement indécélable par méthodes automatiques ! Et c’est déjà le cas : El Naschie et He se citent fréquemment, ainsi que quelques autres chercheurs.

La bibliométrie ne sera plus jamais pareil. Chaque fois qu’il faudra interpréter les chiffres, la question sera posée: ont-ils été «optimisés» ? De combien ? Comment savoir ?

Une partie de cette histoire a déjà été sujet d’un article au New York Times :
http://www.nytimes.com/2010/11/15/education/15iht-educLede15.html

Merci à : Clément

Bibliometry – already broken

You’re a decision maker in research – politician; civil servant at the department for Business, Innovation and Skills; or director of the BBSRC – and you need to evaluate researchers and universities in order to optimise your meagre budget. What to do? The standard method of asking other researchers has several grave defects: it takes a long time, costs a lot of money, the evaluating researchers may not show the required severity with their colleagues and, worst, the report will be subjective and probably incomprehensible. What’s needed are some simple indicators that are always available. The solution is to subscribe to Thomson Reuter, the world leader in citation analysis. A few mouse clicks will then tell you who of Mr. X and Mrs Y has been cited more. The principle is clear – better research is cited more often – and the interpretation child’s play; even the busiest decision maker can compare two numbers.

It’s easy to understand how, despite some criticism of its reliability, bibliometry has rapidly assumed such an important role in the evaluation of research. In many countries, any serious evaluation of research must be accompanied by a ream of bibliometric statistics.

However, in addition to the problems of bibliometry when research is carried out normally, it is necessary to consider the effects of behaviour designed to “optimise” citations. Two recent and dramatic cases highlight the extent of the practice, which undermines all automatic quality indicators based upon citations, be it for individual researchers, journals or universities.

The Times Higher Education (THE) publishes an annual world university ranking:

http://www.timeshighereducation.co.uk/world-university-rankings/

This year, the THE subcontracted a large part of their evaluation to Thomson Reuter (ISI), the world leader in citation analysis. The weight given to research citations was significantly higher in this year’s ranking.

But the final result contained a number of surprises. Amongst others, the University of Alexandria rose to 147th place, and was congratulated for becoming the first Arab university in the top 200. Unfortunately, it was too good to be true. It’s elevated ranking was due entirely to its research excellence (4th worldwide, ahead of Stanford and Harvard!) measured by citations. Further investigations showed that this excellence could only be demonstrated in one very narrow subject – mathematical physics:

“Some further investigation showed that while Alexandria’s citation record is less than stellar in all respects there is precisely one discipline, or subdiscipline or even subsubdiscipline, where it does very well. Looking at the disciplines one by one, I found that there is one where Alexandria does seem to have an advantage, namely mathematical physics.”

http://rankingwatch.blogspot.com/2010/09/citations-indicator-in-the-world.html

And in fact, this excellence was due to a single scholar, as admitted by the THE and Thomson Reuter:

Alexandria, which counts Ahmed H. Zewail, winner of the 1999 Nobel Prize for Chemistry, among its alumni, clearly produces some strong research. But it is a cluster of highly cited papers in theoretical physics and mathematics – and more controversially, the high output from one scholar in one journal – that gives it such a high score.

http://www.timeshighereducation.co.uk/story.asp?storycode=413528

The THE did not dare name the researcher, but a blog soon made a plausible suggestion : Mohamed El Naschie


http://elnaschiewatch.blogspot.com/2010/09/caltech-mit-princeton-alexandria.html

He was for many years editor in chief of the journal Chaos, Solitons and Fractals (an Elsevier journal), which published a large number of his own papers, with an abnormally high rate of self-citation. The alert was initially raised by the physicist John Baez, but, because of legal threats, those forum discussions can now only be found archived at a blog dedicated to debunking El Naschie.

http://elnaschiewatch.blogspot.com/2009/02/that-hard-to-find-baez-material.html

The editorial board of Chaos, Solitons and Fractals was dissolved and the journal relaunched.

Update: El Naschie has in the past been identified by Thomson Reuter for a “new hot paper”.
http://www.esi-topics.com/nhp/2006/september-06-MohamedElNaschie.html
(Thanks to Michael Tuite: http://elnaschiewatch.blogspot.com/2010/12/michael-tuite-on-el-naschie-he-and.html)

A second, striking example concerns Ji-Huan He, professor at the university of Donghua in Shanghai, China. ScienceWatch, a part of the Thomson Reuter group, identified He as a rising star, on occasion listing him in the top 10 worldwide (over the whole of science!) for the impact of his work and presenting him next to future Nobel laureates.

http://sciencewatch.com/inter/aut/2008/08-apr/08aprHe/
http://sciencewatch.com/ana/fea/10maraprFea/
http://sciencewatch.com/ana/fea/09maraprFea/
http://science.thomsonreuters.com/press/2010/worlds-hottest-researchers/
http://sciencewatch.com/dr/nhp/2008/08julnhp/08julnhpHe/

A recurring subject in He’s papers are techniques for solving differential equations, such as the “homotopy perturbation method”. However, the value of these techniques has been strongly criticised. For example, Fernandez concludes:

In a series of papers I have shown that most of the results produced by those methods are useless, nonsensical, and worthless.

http://arxiv.org/PS_cache/arxiv/pdf/0808/0808.2078v2.pdf

Ji-Huan He has published at least one paper in a very good journal: “Determination of limit cycles for strongly nonlinear oscillators” appeared in “Physical Review Letters”, one of the best physics journals. This should be a guarantee of quality.

http://prl.aps.org/abstract/PRL/v90/i17/e174301 (abstract; subscription required for full-text)

But in this case a subsequent comment published by S. Rajendran, S.N. Pandey, and M. Lakshmanan arrived at the following devastating conclusion:

…unfortunately, the calculations regarding the limit cycle solution of the van der Pol oscillator contain several errors which once rectified make the method inapplicable to it and restrict the applicability of the method to systems which do not possess limit cycles.

http://prl.aps.org/abstract/PRL/v93/i6/e069401 (abstract; subscription required for full-text)

Ouch!

An alternative explanation for He’s high citation count may possibly be found in his numerous editorial positions (about 50 at one time). It has been suggested that this allowed him to publish many papers citing himself often, as detailed in the following analysis by Arnold, editor of the prestigious SIAM journal (note that his excellent article is the source for much of the information provided here and also demonstrates the amazing extent of manipulation of journal impact factors):

http://arxiv.org/pdf/1010.0278v3

It is hard to avoid the impression of a tidal wave of crap journals (which we still pay for through grouped subscriptions) in which researchers, should they wish to do so, can publish and cite at will.

One might believe that the (absolutely necessary) removal of self-citations by individuals, journals and universities might save bibliometry from such influence. However, as soon as researchers from different universities organise to cite each other in different journals, the “optimisation” becomes totally undetectable by any automatic method. And this is already happening: El Naschie and He have cited each other very frequently.

Bibliometry will never be the same again. Whose figures have been “optimised”? By how much? How shall we know?

Parts of this story appeared in a New York Times piece:
http://www.nytimes.com/2010/11/15/education/15iht-educLede15.html

Thanks to: Clément

This entry was posted in english, recherche. Bookmark the permalink.

2 Responses to La bibliométrie – déjà cassée

  1. simpliste says:

    Le blog elnaschiewatch est partout ! Bien que cet article se rédigeait en ligne (pour me familiariser avec les fonctionnalités de WordPress), les moteurs de recherche étaient bloqués et il n’y avait aucun lien afférent, en attendant une décision de publier. Mais elnaschiewatch l’a trouvé quand même. C’est l’internet…

    The elnaschiewatch blog is everywhere! Although this article was being discreetly edited online (I was familiarising myself with WordPress at the same time), publication was not yet planned, so search engines were blocked and there were no incoming links. But elnaschiewatch still found us. I guess that’s the internet…

Leave a Reply

Please log in using one of these methods to post your comment:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s