Une échelle d'authenticité quantifiée et multi-zones

Compass to Publish utilise une liste de critères quantifiée pour évaluer le degré d'authenticité de revues en Open Access exigeant des frais de publication (APC - Article Processing Charges), que ceux-ci soient cachés ou affichés.

Le degré d'authenticité des revues testées est affiché sur une échelle allant de -20 (extrêmement frauduleux ) à +20 (aucune suspicion de fraude). Virtuellement, le score calculé par le test peut aller au-delà des bornes de cette échelle. Mais pour des raisons de lisibilité et de facilité d’utilisation, cet éventuel dépassement des bornes n’est pas affiché pour l’utilisateur.

L’échelle de score identifie 7 zones différentes pour catégoriser et nuancer le caractère potentiellement frauduleux des revues testées :

Rouge foncé	Au vu de vos réponses, il s'agit très probablement d'une fausse revue. Il convient sans doute de l'éviter.
Rouge médian	Cette revue est fort douteuse. Plusieurs signes semblent indiquer qu'il s'agit d'une fausse revue.
Rouge clair	Cette revue est à risque.
Jaune	Les éléments que vous avez pu indiquer ne permettent pas de déterminer si cette revue est fausse.
Vert clair	Le risque qu'il s'agisse d'une fausse revue semble assez limité.
Vert médian	Cette revue n'est très probablement pas une fausse revue.
Vert foncé	Vous pouvez être rassuré : tout semble indiquer qu'il n'y ait pas de risque que cette revue soit fausse.

Ces zones permettent ainsi de sortir de la logique purement binaire des listes de confiance et de listes prédatrices.

Quels critères ?

Le diagnostic de Compass to Publish s’opère sur base d’une liste de 26 critères formulés en questions. Ces critères originaux sont le fruit de l'analyse par l'équipe à la base de Compass to publish des pratiques d'un grand nombre d'éditeurs prédateurs. Ce travail s'est ensuite vu complété par une sélection qualitative de critères émanant de différentes procédures d’identification établies au sein de listes de confiance et de listes prédatrices, notamment :

• la liste des bonnes pratiques du Directory of Open Acess Journals (DOAJ) et celle des critères essentiels de base qui conditionnent une inclusion au sein du DOAJ
• la liste de critères pour l’identification de fausses revues établie par Eriksson & Helgesson (2016)
• la seconde version de la liste de critères (v1.1) établie par la société commerciale Cabell pour identifier les fausses revues

Parmi tous les critères identifiés initialement, n’ont en définitive été retenus que ceux qui se sont avérés :

• véritablement discriminants pour permettre une facilité et une rapidité d’utilisation ;
• suffisamment pertinents et clairs ;
• faciles à évaluer par les utilisateurs.

Certaines informations utiles dans ce cadre sont en effet souvent quasiment impossibles à vérifier, ou exigent une vérification extrêmement chronophage, ce qui aurait pu nuire au principe de facilité d’utilisation qui anime la philosophie et la logique de Compass to Publish.

Pondération de base

Chaque critère peut engendrer un ou plusieurs points positifs ou négatifs. La pondération de chaque critère varie selon :

• son degré de gravité (très grave, moyennement grave, mineur, …)
• son caractère subjectif ou objectif

Le détail de la pondération est disponible dans le tableau "Critères et pondération" repris ci-dessous.

Points de pénalité supplémentaires

En fonction des réponses formulées, des points de pénalité peuvent s’ajouter à une série de questions faisant partie d’un sous-groupe spécifique déterminé.

Ce sous groupe contient uniquement des questions dont les réponses témoignent objectivement d’une volonté de tromper ou d’un caractère frauduleux. Ces questions sont marquées d'un dans le tableau "Critères et pondération" ci-dessous.

Les points de pénalité supplémentaires sont attribués si le test enregistre au minimum 2 réponses aux questions de ce sous-groupe qui témoignent d’une volonté de tromper et/ou de pratiques douteuses.

Ces points de pénalité sont calculés comme suit :

Condition	Points de pénalité supplémentaires
Si 2 réponses à des questions de ce sous-groupe témoignent d’une volonté de tromper et/ou de pratiques douteuses;	-2
Si 3 réponses à des questions de ce sous-groupe témoignent d’une volonté de tromper et/ou de pratiques douteuses;	-4
Si 4 réponses à des questions de ce sous-groupe témoignent d’une volonté de tromper et/ou de pratiques douteuses;	-6
Si 5 réponses à des questions de ce sous-groupe témoignent d’une volonté de tromper et/ou de pratiques douteuses;	-8
Si 6 réponses à des questions de ce sous-groupe témoignent d’une volonté de tromper et/ou de pratiques douteuses;	-10

Les points de pénalité supplémentaires ont pour objectif:

• de faire ressortir les revues cherchant à tromper délibérément les auteurs et la communauté scientifique
• de mettre en perspective l'éventuelle présence de "faux positifs" au sein de listes de confiance et/ou de bases de données bibliographiques légitimes
  

Critères et pondération

1. Listes de confiance

2. Listes de revues considérées comme prédatrices (souvent appelées blacklists)

3. Contrefaçons

4. Référencement et métriques

5. Comité de rédaction (editorial board) et révision par les pairs (peer review)

6. Contenus et présentation

7. Pratiques de communication