La bibliométrie – déjà cassée

(English version: Bibliometry – already broken)

Vous êtes décideur dans la recherche – politicien, haut fonctionnaire au Ministère de la Recherche, directeur du CNRS – et vous voulez évaluer la qualité des chercheurs ou des instituts sous votre responsabilité, afin d’optimiser votre maigre budget ou octroyer une prime d’excellence. Comment faire ? La méthode classique consiste en l’expertise par d’autres chercheurs. Mais cette démarche a des inconvénients de taille : c’est très long à mettre en oeuvre, c’est beaucoup de travail, les chercheurs évaluateurs risquent de manquer de sévérité avec leurs collégues, et le rapport sera subjectif et de plus incompréhensible. Ce qu’il faut c’est quelques indicateurs simples et toujours disponibles. Mais voilà réponse à votre besoin : il suffit de prendre un abonnement chez Thomson Reuter, cette société qui recueille la quasi-totalité des citations des articles des périodiques savantes. Trois clics de la souris et vous pouvez savoir combien de fois M. Untel et Mme Uneautre ont été cités par leurs pairs. Le principe est limpide – la bonne recherche est citée plus souvent – et l’interprétation simplissime; la comparaison entre deux chiffres est à la portée de même le décideur le plus pressé.

On peut alors comprendre que, malgré quelques critiques de la fiablité de la méthode, la «bibliométrie» ait rapidement pris un rôle primordial dans la politique de la recherche. Aujourd’hui toute évaluation serieuse doit être assortie d’une panoplie de statistiques bibliométriques. Et la tentation est forte de se fier à ce critère apparemment objectif et tellement facile à comprendre pour piloter de manière éclairée la distribution du Grand Emprunt, les primes d’excellence.

Mais en dehors des problèmes inhérents à la bibliométrie quand la recherche est pratiquée normalement, il faut maintenant tenir en compte le fait que le système peut être faussé par «l’optimisation» des citations dans des journaux complaisants. Deux cas récents et dramatiques illustrent l’étendue du problème, qui remet en cause tous les indicateurs de qualité automatiques, que ça soit pour les chercheurs individuels, les journaux ou les instituts et universités.

Le «Times Higher Education» (THE) publie chaque année un classement mondial des universités :

http://www.timeshighereducation.co.uk/world-university-rankings/

Cette année, le THE sous-traite une partie du classement à Thomson Reuter (ISI), leader mondial dans la bibliométrie. La pondération des citations des travaux menés dans les établissements universitaires est importante dans cette édition du classement.

Mais le classement abrite des surprises. Entre autres, l’université d’Alexandrie se hisse à la 147ème position, recueillant les félicitations en tant que première université arabe dans le top 200. Malheureusement, c’est trop beau pour être vrai. Il s’avère que le rang de cette université est élevé grâce à l’excellence de sa recherche (4ème mondial devant Stanford et Harvard !) mesurée par des citations. Et ceci seulement dans une petite sous-discipline de physique mathématique :

“Some further investigation showed that while Alexandria’s citation record is less than stellar in all respects there is precisely one discipline, or subdiscipline or even subsubdiscipline, where it does very well. Looking at the disciplines one by one, I found that there is one where Alexandria does seem to have an advantage, namely mathematical physics.”

http://rankingwatch.blogspot.com/2010/09/citations-indicator-in-the-world.html

De plus, cette excellence en citations serait due à une seule personne, fait avoué par le THE :

Alexandria, which counts Ahmed H. Zewail, winner of the 1999 Nobel Prize for Chemistry, among its alumni, clearly produces some strong research. But it is a cluster of highly cited papers in theoretical physics and mathematics – and more controversially, the high output from one scholar in one journal – that gives it such a high score.

http://www.timeshighereducation.co.uk/story.asp?storycode=413528

Le THE n’ose pas donner son nom, puisqu’il s’agirait d’un chercheur très controversé. Un blog fait bientôt une suggestion plausible : Mohamed El Naschie


http://elnaschiewatch.blogspot.com/2010/09/caltech-mit-princeton-alexandria.html

Éditeur pendant de nombreuses années du journal Chaos, Solitons and Fractals (chez le prestigieux Elsevier), il y a publié un grand nombre de ses propres articles, avec un taux d’auto-citation important. La mise au jour initiale de ces irrégularités a été l’oeuvre du physicien John Baez, qui aurait été en conséquence menacé en justice par El Naschie. Les discussions sont encore disponibles sur le blog dédié à El Naschie.

http://elnaschiewatch.blogspot.com/2009/02/that-hard-to-find-baez-material.html

Le comité éditorial de Chaos, Solitons and Fractals a été dissout et le journal a été «refondé».

Mise à jour: El Naschie avait été identifié par Thomson Reuter pour un «new hot paper».
http://www.esi-topics.com/nhp/2006/september-06-MohamedElNaschie.html
(Merci à Michael Tuite: http://elnaschiewatch.blogspot.com/2010/12/michael-tuite-on-el-naschie-he-and.html)

Un autre exemple serait celui de Ji-Huan He, professeur à l’université de Donghua à Shanghai, Chine. ScienceWatch, une filiale de Thomson Reuteur, l’identifie sur le critère de ses citations nombreuses comme une star absolue, le hissant implicitement dans le top 10 mondial, tous domaines de la recherche scientifique confondus, et le citant aux cotés des futurs lauréats Nobel :

http://sciencewatch.com/inter/aut/2008/08-apr/08aprHe/
http://sciencewatch.com/ana/fea/10maraprFea/
http://sciencewatch.com/ana/fea/09maraprFea/
http://science.thomsonreuters.com/press/2010/worlds-hottest-researchers/
http://sciencewatch.com/dr/nhp/2008/08julnhp/08julnhpHe/

Un sujet récurrent dans les articles de He sont des téchniques de solution d’équations différentielles, en particulier par son «Homotopy perturbation method». Mais la valeur de ce travail semble en fait assez discutable. Par exemple, Fernandez analyse de la manière suivante ce type de méthode :

In a series of papers I have shown that most of the results produced by those methods are useless, nonsensical, and worthless.

http://arxiv.org/PS_cache/arxiv/pdf/0808/0808.2078v2.pdf

Dans un autre exemple, He publie un article intitulé «Determination of limit cycles for strongly nonlinear oscillators» dans «Physical Review Letters», l’un des meilleurs journaux en physique, ce qui devrait être une gage de qualité.

http://prl.aps.org/abstract/PRL/v90/i17/e174301 (abonnement réquis)

Mais un commentaire publié dans la foulée par S. Rajendran, S.N. Pandey, and M. Lakshmanan arrive à la conclusion dévastatrice suivante :

…unfortunately, the calculations regarding the limit cycle solution of the van der Pol oscillator contain several errors which once rectified make the method inapplicable to it and restrict the applicability of the method to systems which do not possess limit cycles.

http://prl.aps.org/abstract/PRL/v93/i6/e069401 (abonnement réquis)

Une explication alternative pour la «performance» du Ji-Huan He pourrait se baser sur sa sur-représentation éditoriale (il était éditeur dans une cinquantaine de journaux) et par une cultivation adroite des citations, ainsi que l’a exposé l’éditeur en chef du prestigieux journal SIAM (cet article fort intéressant est la source pour une bonne partie des informations présentées ici et montre en même temps à quel point le «facteur d’impact» d’un journal peut être manipulé) :

http://arxiv.org/pdf/1010.0278v3

Il est difficile d’éviter l’impression d’un raz-de-marée de mauvais journaux (que nous payons quand même dans nos abonnements groupés aux éditeurs) dans lesquels tout chercheur, s’il fait ce choix, peut publier et citer à volonté.

On pourrait penser que le décomptage des auto-citations d’individu, de journal et d’institut (qui s’impose) sauverait la bibliométrie de cette influence. Mais si plusieurs chercheurs s’organisent pour s’entre-citer dans des journaux différents, alors la pratique devient totalement indécélable par méthodes automatiques ! Et c’est déjà le cas : El Naschie et He se citent fréquemment, ainsi que quelques autres chercheurs.

La bibliométrie ne sera plus jamais pareil. Chaque fois qu’il faudra interpréter les chiffres, la question sera posée: ont-ils été «optimisés» ? De combien ? Comment savoir ?

Une partie de cette histoire a déjà été sujet d’un article au New York Times :
http://www.nytimes.com/2010/11/15/education/15iht-educLede15.html

Merci à : Clément

Bibliometry – already broken

You’re a decision maker in research – politician; civil servant at the department for Business, Innovation and Skills; or director of the BBSRC – and you need to evaluate researchers and universities in order to optimise your meagre budget. What to do? The standard method of asking other researchers has several grave defects: it takes a long time, costs a lot of money, the evaluating researchers may not show the required severity with their colleagues and, worst, the report will be subjective and probably incomprehensible. What’s needed are some simple indicators that are always available. The solution is to subscribe to Thomson Reuter, the world leader in citation analysis. A few mouse clicks will then tell you who of Mr. X and Mrs Y has been cited more. The principle is clear – better research is cited more often – and the interpretation child’s play; even the busiest decision maker can compare two numbers.

It’s easy to understand how, despite some criticism of its reliability, bibliometry has rapidly assumed such an important role in the evaluation of research. In many countries, any serious evaluation of research must be accompanied by a ream of bibliometric statistics.

However, in addition to the problems of bibliometry when research is carried out normally, it is necessary to consider the effects of behaviour designed to “optimise” citations. Two recent and dramatic cases highlight the extent of the practice, which undermines all automatic quality indicators based upon citations, be it for individual researchers, journals or universities.

The Times Higher Education (THE) publishes an annual world university ranking:

http://www.timeshighereducation.co.uk/world-university-rankings/

This year, the THE subcontracted a large part of their evaluation to Thomson Reuter (ISI), the world leader in citation analysis. The weight given to research citations was significantly higher in this year’s ranking.

But the final result contained a number of surprises. Amongst others, the University of Alexandria rose to 147th place, and was congratulated for becoming the first Arab university in the top 200. Unfortunately, it was too good to be true. It’s elevated ranking was due entirely to its research excellence (4th worldwide, ahead of Stanford and Harvard!) measured by citations. Further investigations showed that this excellence could only be demonstrated in one very narrow subject – mathematical physics:

“Some further investigation showed that while Alexandria’s citation record is less than stellar in all respects there is precisely one discipline, or subdiscipline or even subsubdiscipline, where it does very well. Looking at the disciplines one by one, I found that there is one where Alexandria does seem to have an advantage, namely mathematical physics.”

http://rankingwatch.blogspot.com/2010/09/citations-indicator-in-the-world.html

And in fact, this excellence was due to a single scholar, as admitted by the THE and Thomson Reuter:

Alexandria, which counts Ahmed H. Zewail, winner of the 1999 Nobel Prize for Chemistry, among its alumni, clearly produces some strong research. But it is a cluster of highly cited papers in theoretical physics and mathematics – and more controversially, the high output from one scholar in one journal – that gives it such a high score.

http://www.timeshighereducation.co.uk/story.asp?storycode=413528

The THE did not dare name the researcher, but a blog soon made a plausible suggestion : Mohamed El Naschie


http://elnaschiewatch.blogspot.com/2010/09/caltech-mit-princeton-alexandria.html

He was for many years editor in chief of the journal Chaos, Solitons and Fractals (an Elsevier journal), which published a large number of his own papers, with an abnormally high rate of self-citation. The alert was initially raised by the physicist John Baez, but, because of legal threats, those forum discussions can now only be found archived at a blog dedicated to debunking El Naschie.

http://elnaschiewatch.blogspot.com/2009/02/that-hard-to-find-baez-material.html

The editorial board of Chaos, Solitons and Fractals was dissolved and the journal relaunched.

Update: El Naschie has in the past been identified by Thomson Reuter for a “new hot paper”.
http://www.esi-topics.com/nhp/2006/september-06-MohamedElNaschie.html
(Thanks to Michael Tuite: http://elnaschiewatch.blogspot.com/2010/12/michael-tuite-on-el-naschie-he-and.html)

A second, striking example concerns Ji-Huan He, professor at the university of Donghua in Shanghai, China. ScienceWatch, a part of the Thomson Reuter group, identified He as a rising star, on occasion listing him in the top 10 worldwide (over the whole of science!) for the impact of his work and presenting him next to future Nobel laureates.

http://sciencewatch.com/inter/aut/2008/08-apr/08aprHe/
http://sciencewatch.com/ana/fea/10maraprFea/
http://sciencewatch.com/ana/fea/09maraprFea/
http://science.thomsonreuters.com/press/2010/worlds-hottest-researchers/
http://sciencewatch.com/dr/nhp/2008/08julnhp/08julnhpHe/

A recurring subject in He’s papers are techniques for solving differential equations, such as the “homotopy perturbation method”. However, the value of these techniques has been strongly criticised. For example, Fernandez concludes:

In a series of papers I have shown that most of the results produced by those methods are useless, nonsensical, and worthless.

http://arxiv.org/PS_cache/arxiv/pdf/0808/0808.2078v2.pdf

Ji-Huan He has published at least one paper in a very good journal: “Determination of limit cycles for strongly nonlinear oscillators” appeared in “Physical Review Letters”, one of the best physics journals. This should be a guarantee of quality.

http://prl.aps.org/abstract/PRL/v90/i17/e174301 (abstract; subscription required for full-text)

But in this case a subsequent comment published by S. Rajendran, S.N. Pandey, and M. Lakshmanan arrived at the following devastating conclusion:

…unfortunately, the calculations regarding the limit cycle solution of the van der Pol oscillator contain several errors which once rectified make the method inapplicable to it and restrict the applicability of the method to systems which do not possess limit cycles.

http://prl.aps.org/abstract/PRL/v93/i6/e069401 (abstract; subscription required for full-text)

Ouch!

An alternative explanation for He’s high citation count may possibly be found in his numerous editorial positions (about 50 at one time). It has been suggested that this allowed him to publish many papers citing himself often, as detailed in the following analysis by Arnold, editor of the prestigious SIAM journal (note that his excellent article is the source for much of the information provided here and also demonstrates the amazing extent of manipulation of journal impact factors):

http://arxiv.org/pdf/1010.0278v3

It is hard to avoid the impression of a tidal wave of crap journals (which we still pay for through grouped subscriptions) in which researchers, should they wish to do so, can publish and cite at will.

One might believe that the (absolutely necessary) removal of self-citations by individuals, journals and universities might save bibliometry from such influence. However, as soon as researchers from different universities organise to cite each other in different journals, the “optimisation” becomes totally undetectable by any automatic method. And this is already happening: El Naschie and He have cited each other very frequently.

Bibliometry will never be the same again. Whose figures have been “optimised”? By how much? How shall we know?

Parts of this story appeared in a New York Times piece:
http://www.nytimes.com/2010/11/15/education/15iht-educLede15.html

Thanks to: Clément

Posted in english, recherche | 2 Comments

Abolissons l’HDR !

(English version: Abolish the habilitation!)

L’Habilitation à Diriger des Recherches (HDR) incarne une bonne intention : assurer qu’un directeur de thèse ait une qualité et une expérience confirmées et ainsi protéger l’étudiant. Mais elle répresente en réalité une perte de temps pour le chercheur, un frein arbitraire sur son avancement et un instrument purement comptable pour gérer la pénurie de bourses de thèse.

Remarquons pour commencer que de nombreux pays n’ont pas l’HDR (Wikipédia). Notamment, ni les Etats Unis ni la Grande Bretagne n’ont d’équivalent. Il est difficile d’argumenter que ce manque soit nuisible pour la qualité de leur recherche ou pour la formation de leurs étudiants. En revanche, le pays exemplaire c’est Allemagne, ou l’Habilitation est l’instrument absolu du pouvoir, contrôlant l’accès aux rangs des Professeurs «C4». L’obtention de l’habilitation en Allemagne peut occuper et conditionner l’activité d’un chercheur pendant les meilleurs années de sa carrière. Il contribue ainsi très fortement au «brain drain» allemand (Ibid). Heureusement, nous n’en sommes pas là.

Comment obtenir une HDR en France ? Il faut d’abord demander la permission de la soutenir. Cette étape clef peut être contrôlée par un comité ou des fois par une seule personne. Parmi les critères pris en compte, il y a bien sur les publications, mais souvent aussi la preuve que le candidat a déjà encadré des thésards, ce qui a tendance à se mordre la queue. Ensuite le candidat rédige sa mémoire et organise une soutenance avec des amis, ce qui est certain d’aboutir positivement, mais nécessite encore un petit mois de travail.

Dans la procédure actuelle, l’évaluation du candidat est alors achevée au moment que la permission de soutenir est accordée. La mémoire et la soutenance sont parfaitement superflues. Sans doute les défenseurs de l’HDR diront qu’un mois de travail à perte serait salutaire, mais il est rare qu’un chercheur motivé par la recherche puisse dégager autant de temps libre facilement. Et l’effet psychologique d’être contraint à perdre son temps sur une activité que l’on sait inutile est difficile à supporter. (Si ce dernier point ne vous gène pas, analysez pourquoi vous trouvez bien d’obliger les gens à faire des choses inutiles.)

L’existence de l’HDR a également des effets pervers dans la distribution des bourses de thèse. Elle est la base du numerus clausus des écoles doctorales (imposé depuis le Ministère de la Recherche) limitant le nombre de bourses par HDR. Donc chaque (enseignant-)chercheur habilité aura son tour et certains étudiants seront contraints à faire des thèses avec les directeurs les plus médiocres. Ce qui équivaut déjà la fin de leur carrière dans la recherche. Notons qu’il serait tout à fait possible de limiter le nombre d’étudiants par chercheur statutaire (ou directeur de recherche ou professeur) pour obtenir le même résultat sans le travail. Mais on pourrait également réfléchir à renforcer l’utilisation des autres critères, tels que l’intérêt du projet, la qualité de l’étudiant, le devenir des étudiants précédents.

Un deuxième effet pervers c’est dans la promotion des (enseignants-)chercheurs. L’HDR est devenue quasi-obligatoire pour une promotion au corps des directeurs de recherche ou pour devenir professeur. Or avoir une HDR ne signifie qu’un comité (voire une seule personne) a permis la soutenance, sur des critères bien moins stringents qu’exige une commission de promotion CNRS/INSERM ou de recrutement de professeur. La commission ferait mieux de se concentrer sur la qualité scientifique du candidat et de se fier à son propre jugement.

En conclusion, l’HDR en France est une démarche redondante qui encourage l’évaluation superficielle par les commissions de promotion et peut contraindre les étudiants à faire des thèses avec des directeurs médiocres. Or à l’origine le but était de protéger l’étudiant.

Abolish the habilitation!

The ‘Habilitation à Diriger des Recherches’ (HDR; a qualification entitling the holder to supervise PhDs) reflects a good intention: to orotect students by ensuring that PhD supervisors have the required expertise and ability to guide them. In reality, however, it is a waste of researcher time, a bureaucratic obstacle to promotion and a purely numerical method for managing the shortage of PhD fellowships.

Many countries have no equivalent of the habilitation (Wikipédia), in particular neither the US nor the UK. However, it is difficult to argue that the quality of their science or their training has suffered from this lack. (Maybe the opposite would be closer to the truth.) In Germany, on the other hand, the ‘Habilitation’ is the instrument of absolute power, regulating access to the ranks of ‘C4’ professors. Obtaining this qualification can monopolise the best years of a researcher’s career, and the difficulties of the procedure are an important contributor to the German brain drain (Ibid). Thankfully, the French version is somewhat more benign.

How does one obtain an HDR in France? First you must obtain permission to apply. This key step is usually controlled by a committee or sometimes even a single person. Among the criteria taken into account one of course finds the number and quality of publications, but also proof of successful supervision of students. You might think that this is a little circular, but rest assured, the defenders of the HDR can trot out endless casuistic arguments on the fundamental difference between ‘direction’ (“I’m the boss”) and ‘encadrement’ (“you do the work”) of students. You are only allowed to do the latter without an HDR. The lucky HDR candidate then writes a kind of thesis of his collected works and other activities and organises a defence with a committee of a few friends and a small party to follow. All this is then bound to end positively, but requires maybe a month of work.

Following the current procedure, we see that no further evaluation of the candidate occurs once permission to apply has been obtained. The thesis and defence are entirely superfluous. Naturally the defenders of the HDR will argue that it is ‘good for you’ to write the thesis, but active researchers really struggle to free a month of their time, especially when they know that they are being forced to waste their time. (If this doesn’t bother you, please analyse why you like forcing people to waste their time.)

The existence of the habilitation has led to a number of other undesirable effects. Thus, it forms the basis of a quota on PhD fellowships (of which the Ministry of Research has the monopoly). Basically, everybody holding an HDR gets their turn to take a student, some of which are therefore forced to work with the most mediocre supervisors. This is tantamount to a stillborn research career in today’s ultra-competitive environment. A similar quota could easily be operated without the habilitation – per researcher or per professor or per ‘directeur de recherche’. This would achieve the same result without the work. Alternatively, one might consider radical alternatives such as reinforcing criteria based upon the success of previous students, the quality and interest of the project…

A second undesirable effect of the habilitation is found in the procedure for promotion of ‘chargés de recherche’ to ‘directeurs de recherche’ (within research organisations) or from ‘maitre de conférences’ to professor. Basically from associate professor (lecturer) to professor. The habilitation has become a requirement for this promotion. But, as we’ve seen, having the qualification means no more than an obscure committee has given its agreement and that the person had a month of time to waste. The committees evaluating the promotions usually have much more stringent criteria and should trust in their own judgement.

Thus, a procedure designed to protect students has become a waste of researcher time, forces students to do PhDs with mediocre supervisors and is a purely bureaucratic obstacle to promotion.

Posted in simplification | Leave a comment