Alexis St-Gelais, M. Sc., chimiste
Nous avons tout récemment discuté des différents types de littérature scientifique, ainsi que du processus de révision par les pairs. Dans l’ensemble, la révision par les pairs est considérée comme étant un grand pas vers la publication de résultats et de discussions de qualité au sein de la communauté scientifique, et en dehors. Hélas, comme pour toute activité impliquant des êtres humains, le procédé présente des défauts. En tant que tel, le seul fait qu’un manuscrit ait été publié dans un journal se réclamant d’une révision par les pairs (ou le laissant entendre) n’est pas suffisant pour baisser sa garde. Voici un certain nombre d’éléments dont on devrait être conscient avant de s’aventurer dans l’univers de la lecture scientifique.
L’argent attire les prédateurs
Il y a deux grands modèles d’affaires pour les journaux révisés par les pairs, qui sont, pour la plupart, opérés par des compagnies cherchant à réaliser un profit. Le modèle classique implique que la soumission et la révision d’un article soit gratuite, mais que les lecteurs paient un montant (souvent élevé) pour accéder aux publications. Dans les dernières années, un grand mouvement vers l’accès libre a commencé à émerger. Suivant cette philosophie, un article peut être lu gratuitement par quiconque, pour autant que les auteurs de l’étude aient défrayé un montant fixe (allant de quelques centaines à plusieurs milliers de dollars) pour couvrir les frais de publication. Les organismes subventionnaires européens ont notamment commencé à offrir des montants spécifiquement dédiés à couvrir ces frais, et exigent que ce modèle de publication soit adopté en échange de leur support financier.
Mais tout cela a induit un effet secondaire indésirable.
La plupart des scientifiques, pour le meilleur et pour le pire, sont lourdement jugés sur la base du nombre (et parfois, mais pas toujours, de la qualité) de leurs publications. Dans le monde académique, cela est considéré comme une bonne mesure de leur efficacité comme chercheurs. Cela crée un incitatif évident pour publier ou périr (« publish or perish »), un adage bien connu dans n’importe quelle discipline scientifique. Dans un contexte d’accès libre, des scientifiques cherchant désespérément à publier leurs travaux sont donc prêts à payer pour y arriver. C’est ainsi que les journaux prédateurs ont vu le jour.
Ces journaux sont des simulacres de publications sérieuses, opérant sous des noms induisant un faux sentiment de confiance. Ils offrent des frais relativement raisonnables pour couvrir les frais de publications – et non sans raison, puisque la plupart du temps, le processus de révision par les pairs est soit absent (et grossièrement simulé) ou abusivement complaisant. En réalité, n’importe quel manuscrit, si perclus de failles soit-il, sera publié, et le journal empochera l’argent. Avec de tels raccourcis, ils peuvent également offrir des délais de publication avantageux, et mettront la main sur à peu près n’importe quelle étude que des journaux décents auraient refusé de publier.
C’est ce pourquoi une liste de maisons d’édition prédatrices et une liste de journaux indépendants prédateurs sont régulièrement mises à jour. L’aspect le plus dommage de tout ceci est que des conclusions valides peuvent aboutir dans un journal prédateur (une maison d’édition prédatrice peut publier plusieurs journaux), et cela jette une ombre troublante sur des résultats par ailleurs recevables. Tout ce qui se trouve dans ces journaux ne devrait pas être rejeté en bloc, mais un haut niveau de sens critique est requis lors de leur lecture. Une liste complète des critères utilisés pour déterminer si un journal est prédateur a été établi par Jeffrey Beall, qui a donné son nom aux listes sus-mentionnées – les listes Beall.
Par franchise envers nos lecteurs, mentionnons que le concept de publication prédatrice n’est pas basé sur la science, mais sur des opinions. Certains remettent en question cette conception, et bien que plusieurs journaux soient sans aucun doute remplis d’incongruités, certains critères de prédation peuvent être remis en question et écrasent indûment des maisons d’édition émergentes n’ayant pas encore atteint leur maturité. On peut même avancer que le phénomène de publication prédatrice est un symptôme d’un problème sous-jascent – en voici un exemple (en anglais).
Les réviseurs sont humains
Les réviseurs ont leurs propres problèmes à gérer! Ils peuvent donc ne pas avoir suffisamment de temps pour adéquatement réviser le matériel qui est soumis à leur attention, et laisser des erreurs se glisser. On peut espérer que l’usage de plusieurs réviseurs augmente les chances qu’au moins l’un d’entre eux les repère.
Les réviseurs peuvent aussi entretenir des idées préconçues sur leur sujet de prédilection, et rejeter des conclusions nouvelles et valables parce qu’ils n’apprécient pas la manière dont elles interfèrent avec leurs propres vues. De nouveau, l’utilisation de plusieurs réviseurs diversifie les points de vue, ce qui peut avoir pour conséquence qu’un éditeur reçoive des décisions contradictoires. La tendance générale, toutefois, est à faire confiance à celui qui rejette plutôt qu’à celui qui accepte sans poser de questions.
Finalement, les réviseurs ne savent pas tout. Un statisticien devant réviser un article contenant, par exemple, la description d’une série de synthèses chimiques, puis la mesure des effets biologiques des produits obtenus et l’interprétation statistique de ces derniers, sera en mesure de bien juger du dernier élément, mais pas du reste du manuscrit. L’emploi de réviseurs avec des expertises complémentaires peut réduire ce problème.
Vous remarquerez que l’emploi de plusieurs réviseurs peut être un facteur favorable à l’émergence d’une révision par les pairs de qualité, mais il existe une limite pratique au nombre simultané de réviseurs pouvant être affectés à une seule étude. Il est par ailleurs de plus en plus difficile de dénicher assez de réviseurs pour faire face au flot grandissant de manuscrits générés par la pression de publier ou périr.
Cela dit, je conserve une conviction que le procédé de révision par les pairs a son utilisé. Je dois souligner que cette opinion n’est pas unanimement partagée. Par exemple, on peut lire la vision plutôt pessimiste de l’ancien édidteur du British Medical Journal, Richard Smith, sur la question.
Conflits d’intérêt
Les scientifiques font partie de la société. Ce ne sont pas des êtres éthérés, et la curiosité n’est pas toujours leur seule motivation à aller de l’avant. Des conflits d’intérêt peuvent surgir. Par exemple, l’un des coauteurs de notre récente étude sur Schinus molle est également un opérateur des installations de distillation. En conséquence, il possède un intérêt financier indirect à voir le produit que nous avons étudié arriver sur le marché, ce qui a été mentionné dans notre article. Cela ne devrait pas empêcher des scientifiques d’apporter des contributions valables aux connaissances générales, mais de tels cas devraient être clairement mentionnés en fin d’article. Avant de lire, vous devriez donc jeter un oeil aux déclarations d’intérêt en bas – et garder ce que vous y avez appris en tête pendant la lecture des conclusions.
Omettre de déclarer un conflit d’intérêt est un comportement hautement douteux. Ce serait le cas, par exemple, si un important distributeur d’huiles essentielles participait à une étude se rapportant à une huile qu’il vendrait ensuite en faisant la promotion des résultats compris dans l’article, mais sans en souffler un mot dans le texte. Malheureusement, la manière de déterminer si un conflit existe ou non demeure largement subjective.
Résultats invraisemblables
Je peux difficilement me souvenir du nombre de fois où j’ai levé les yeux au ciel en consultant un énième article rapportant des phtalates (en voici un choisi au hasard*) comme étant des constituants importants d’extraits de plantes ou d’huiles essentielles. Lorsque l’on devient familier avec un domaine particulier, on développe une impression générale de ce qu’il est plausible d’observer, et de ce qui ne l’est pas. Les phtalates ne sont pas produits par les plantes, et sont extrêmement abondants dans les plastiques, les solvants de laboratoire, et même les gants de protection! Les chances sont donc très, très fortes pour que la présence de phtalates dans une matrice provienne d’une contamination. Ainsi, même si on en détecte ou on en isole, on ne devrait pas les considérer comme naturels. Ainsi, chaque fois que je vois un phtalate dans une discussion ou un tableau de résultats, je commence à remettre en question l’article dans son ensemble. Repérer ce genre de conclusions inhabituelles devrait encourager le lecteur à faire preuve d’un sens critique accru. La même précaution s’appliquerait si un seul article présentait des données allant complètement à l’encontre de plusieurs autres, sans pour autant pouvoir le justifier ou le consolider sur la base de réplications suffisantes.
Il existe certainement nombre d’autres paramètres dont on devrait tenir compte en lisant de la littérature scientifique, et que je n’ai pas en tête actuellement. Ce que l’on devrait surtout retenir de tout cela, c’est que la prudence est toujours de mise lorsque l’on consulte des rapports scientifiques (ou tout écrit en découlant). De l’entraînement, du temps suffisant et des bases théoriques valables sont nécessaires pour devenir compétent dans cette activité. En cas de doute, la meilleure arme demeure toujours d’aller discuter avec d’autres personnes disposant d’une expertise suffisante, et de garder l’esprit ouvert, mais critique.
*Cet article est par le fait même publié dans un journal prédateur, et son contenu n’aurait pas dû être publié du tout considérant la nature hautement douteuse des identifications fournies dans le tableau. On dirait essentiellement une opération de copier/coller à partir d’une liste de résultats de recherche dans une base de données de spectrométrie de masse.
[simple-rss feed= »http://rss.nytimes.com/services/xml/rss/nyt/InternationalHome.xml » limit= »10″ show_date= »1″ hide_description= »0″ show_images= »1″ hide_url= »0″ amount_of_words= »10″]