Article

Que peut-on faire pour réduire la criminalité? Comment traiter les délinquants afin de prévenir les récidives? Quelles sont les méthodes de prévention contre la criminalité les plus efficaces? Les citoyens, les représentants du gouvernement, les preneurs de décisions, les praticiens, les chercheurs, les enseignants et les média méritent que l'on réponde à ces questions. Ils devraient pouvoir accéder facilement à l'information probante la plus rigoureuse et la plus récente sur les effets des interventions visant à réduire la criminalité et les infractions. La meilleure information sur « ce qui fonctionne », devrait pouvoir être facilement accessible à ceux qui en ont besoin.

Ces dernières années, un certain nombre de revues systématiques et de méta-analyses ont été réalisées afin d'établir « ce qui fonctionne » en matière de réduction de la criminalité. En fait, ce type d'approche n'est pas nouveau, dès les années 50, Kirby (1954) y avait recours pour la prévention de la délinquance. Toutefois, la technique s'est grandement améliorée depuis une trentaine d'années (Petrosino, 2005). Le présent essai explique ce qu'est une revue systématique puis présente un réseau international qui produit des revues systématiques et des méta-analyses rigoureuses et continuellement actualisées sur ce qui fonctionne en matière de réduction de la criminalité et d'amélioration du système judiciaire. Créé par la Campbell Collaboration, ce réseau s'appelle le « Groupe Crime et Justice de la Collaboration Campbell». Il s'agit d'un réseau international de chercheurs, de preneurs de décisions, de praticiens et d'autres intervenants qui collaborent à la réalisation de revues systématiques de recherches de haut niveau sur les effets d'interventions en criminologie.

Ces revues systématiques sont mises à jour en tenant compte des nouvelles études, des critiques et de l'évolution des méthodologies. Leur dissémination se fait au moyen de l'édition électronique, Internet, le Web (http://www.campbell.gse.upenn.edu.) et des modes de publication plus traditionnels. De par son réseau international, le groupe Crime et Justice prend en compte les évaluations effectuées dans le monde entier pour la réalisation et la dissémination de ses revues systématiques

Qu'est-ce qu'une revue systématique? C'est la synthèse des évaluations publiées ou issues de la littérature grise, élaboré à partir de méthodes rigoureuses de repérage. On y retrouve également une section consacrée aux méthodes et aux résultats. Le compte rendu systématique est aussi détaillé, précis et structuré que les rapports de haut niveau traitant des recherches qui ont été analysées. L'objectif de ce travail étant de permettre aux organismes de mieux décider en connaissance de l'expérience passée, des nouvelles politiques d'intervention. Parmi les caractéristiques et principes associés aux revues systématiques de ce genre, citons les suivants :

1) Objectifs explicites : permettent de clarifier l'objet de la revue systématique. Ainsi, un objet de recherche clairement identifié et formulé est nécessaire. Par exemple, « Quels sont les effets de la surveillance par circuits fermés de télévision sur la délinquance? »

2) Critères d'éligibilité explicites : les rédacteurs doivent expliquer en détail et justifier pourquoi ils ont inclus certaines études et en ont rejeté d'autres. Quel était le niveau de qualité minimum exigé au niveau méthodologique? A-t-on privilégié un seul type d'évaluation (expériences randomisées, groupes de contrôle, pre, post-test, etc.)? Le groupe-témoin devait-il comprendre un certain type de participants (enfants, adultes, etc.)? Quels types d'interventions ont été prises en considération? Quels types de données résultantes devaient être intégrées dans les études? Tous les critères et toutes les règles appliqués aux fins de la sélection d'études admissibles doivent être clairement expliqués dans le rapport final.

3) Revue de la littérature existante  : Les partis pris peuvent compromettre les résultats d'un compte rendu de plusieurs façons et les rédacteurs doivent donc expliquer clairement comment ils s'y sont pris pour réduire les risques que leur recherche d'études soit influencée par de tels partis pris. Qu'ont-ils fait pour tenter de recenser des études rapportées ailleurs que dans des revues scientifiques? Toutes les bases de données bibliographiques explorées doivent être clairement citées afin que toute lacune en matière de couverture du domaine étudié puisse être identifiée. Ainsi, est-il primordial que chaque étape de la revue soit détaillée de façon explicite.

4) Chaque étude est considérée en fonction de critères d'admissibilité et les exclusions doivent être justifiées. Les recherches permettent d'identifier de nombreuses références d'études potentiellement pertinentes ainsi que de nombreuses revues scientifiques contenant de telles références. Chacun des textes relatifs à ces recherches potentiellement pertinentes doit être examiné en vue de déterminer s'il répond aux critères d'admissibilité établis pour le compte rendu. La liste complète des études exclues et l'énoncé des motifs de leur exclusion doivent être mis à la disposition des lecteurs.

5) Constitution d'un ensemble de données le plus exhaustif  possible. Le rédacteur doit tenter, en règle générale, d'obtenir toutes les évaluations répondant aux critères d'admissibilité. De plus, toutes les données pertinentes au regard des objectifs liés au compte rendu doivent être soigneusement extraites des rapports sélectionnés puis codées et informatisées. Il arrive que des documents originaux relatifs à une étude ne fassent pas mention de renseignements importants. Dans la mesure du possible, le rédacteur doit tenter d'obtenir ces renseignements auprès des auteurs du rapport original.

6) Lorsque cela est possible, des techniques quantitatives peuvent être utilisées pour réaliser une méta-analyse afin de mesurer les effets de l'intervention. Bien qu'il règne encore une certaine confusion au sujet de la signification de ces termes, il est utile de faire la distinction entre une revue systématique et une méta‑analyse. Cette dernière a recours à un processus d'analyse statistique ou quantitatif des résultats de recherches antérieures. Comme elle requiert un résumé statistique des données (ampleur des effets, etc.), il faut regrouper des évaluations d'interventions suffisamment semblables. Il ne servira peut-être pas à grand-chose, de rapporter des effets d'ampleur moyenne ayant été établis à l'aide d'un très petit nombre d'études. Cela étant dit, les méthodes quantitatives peuvent être d'un précieux secours au chercheur quand viendra le moment de déterminer l'effet moyen d'une intervention ou d'un traitement donnés et la variabilité des effets entre les différentes études.

Il peut arriver toutefois que le nombre d'études satisfaisant aux critères d'admissibilité soit insuffisant et que, par ailleurs, les définitions opérationnelles des interventions qui en font l'objet ou les divers modes de réalisation des études en question varient trop entre eux pour qu'il soit possible d'effectuer une méta‑analyse formelle sans qu'il y ait un risque que celle-ci porte à confusion.

7) Rapport structuré et détaillé. La version finale d'une revue systématique ou d'une méta-analyse est structurée et détaillée de manière à permettre au lecteur de comprendre chaque phase de la recherche, les décisions qui ont été prises et les conclusions qui ont été tirées. L'objectif étant de permettre au lecteur de répliquer la même étude dans un souci de précision scientifique (Wolf, 1986; Lipsey & Wilson, 2001).

Petrosino (2000) a été mandaté par le National Health Service du Royaume‑Uni pour repérer, colliger et résumer des revues systématiques de recherches sur les effets d'interventions relatives à la criminalité, à la toxicomanie ou à l'alcoolisme. Il s'est servi de diverses techniques pour repérer des revues systématiques pertinentes. Il a notamment effectué des recherches électroniques dans 18 bases de données bibliographiques et sur le Web, cherché des références dans les bibliographies de certains revues systématiques, et communiqué avec des chercheurs pour obtenir leurs revues systématiques ou ceux d'autres auteurs qui se trouvaient dans leurs dossiers. Il s'est aussi livré à un examen méticuleux des revues systématiques déjà rassemblées et analysées par d'autres chercheurs tels que Lipsey et Wilson (1993), Lösel (1995) et Palmer (1994).

Petrosino (2000) a trouvé 205 références de revues systématiques de recherches sur les effets d'interventions relatives à la criminalité, à la toxicomanie ou à l'alcoolisme. Il les a catégorisées de la façon suivante: interventions préventives relatives à la criminalité, à la toxicomanie ou à l'alcoolisme (84), programmes visant à lutter contre la criminalité, la toxicomanie ou l'alcoolisme ou à les traiter (95), amélioration du système pénal et du système de santé mentale (12), interventions auprès de victimes de crimes (12) et revues systématiques portant sur deux ou plusieurs de ces questions (2). Soixante-douze revues systématiques dont le sujet était la prévention et la répression de la criminalité traitaient de « ce qui fonctionne » en matière de méthodes correctionnelles, lesquelles représentaient de loin le domaine le plus souvent abordé. C'est d'ailleurs pourquoi nous allons nous concentrer sur ce domaine après une brève présentation de l'histoire récente de la criminologie et de l'influence des revues systématiques sur cette discipline.

La méta-analyse effectuée par Andrews et ses collègues (1990) s'est révélée particulièrement marquante en Amérique du Nord. Ces chercheurs ont classé les traitements correctionnels en deux catégories, à savoir « appropriés » et « inappropriés ». Les traitements appropriés font intervenir la prestation de services aux cas à risque plus élevé, le ciblage des besoins criminogènes et le recours à des techniques (p. ex. cognitivo-comportementales, etc.) adaptées aux besoins des bénéficiaires. Andrews et ses collègues sont arrivés à la conclusion que les traitements étaient efficaces alors que les sanctions pénales et les techniques appropriées avaient des effets négatifs (les groupes-témoin ayant obtenu de meilleurs résultats que le groupe expérimental). Parmi les organismes ayant été influencés par cette recherche, citons le National Institute of Corrections américain qui s'en est inspiré pour donner des conseils techniques à des administrations mettant en oeuvre des programmes correctionnels.

De même, Redondo, Sanchez-Meca et Garrido (1999), qui travaillent en Espagne, ont analysé 32 études européennes effectuées entre 1980 et 1991, dont l'objet était de vérifier les effets de certains traitements sur les récidives. Ils ont fait mention d'une réduction moyenne du taux de récidive de 12 % par rapport à un groupe de référence quasi‑expérimental ou à la période antérieure aux vérifications. Nous noterons à cet égard qu'aucune expérience randomisée ne faisait partie de leur échantillon de 32 études. Quoi qu'il en soit, les résultats globaux obtenus s'apparentent à ceux de la plupart des méta‑analyses rapportées à ce jour, dans la mesure où ils démontrent que les interventions correctionnelles sont généralement efficaces pour réduire le nombre de récidives. De plus, ces chercheurs ainsi que la plupart des autres rédacteurs de revues systématiques (Antonowicz et Ross [1994], Lipsey et Wilson [1998], etc.) en sont arrivés à la conclusion que le traitement correctionnel le plus efficace était l'acquisition de compétences cognitivo-behaviorales.

Le succès obtenu par la Cochrane Collaboration dans le domaine de la production de revues systématiques sur la prestation de soins de santé a suscité de l'intérêt à l'échelle internationale pour la création d'une organisation comparable qui servirait à réaliser des revues systématiques sur les effets d'interventions à caractère social ou éducatif. Il fut ainsi décidé de créer la Collaboration Campbell (nommée en l'honneur du psychologue disparu Donald Campbell) à l'occasion d'une rencontre à laquelle participaient plus de 80 personnes provenant de 12 pays et qui s'est tenue à Philadelphie en février 2000.

Dans la foulée des succès de la Cochrane Collaboration, la Campbell Collaboration prépare des revues systématiques systématiques et rigoureux d'information probante de haut niveau sur « ce qui fonctionne ». Comme cette information est en évolution constante, les revues systématiques sont mises à jour tous les deux ans de manière à tenir compte des nouvelles études. Les objectifs du groupe Crime et Justice de la Collaboration Campbell sont de prendre en compte l'ensemble des études d'évaluation effectuées dans le monde entier pour la réalisation de ses revues systématiques et d'en informer un public le plus large possible par le biais de la traduction dans différentes langues. Les publics visés sont les praticiens, les organismes de financement, les associations professionnelles, les preneurs de décisions, les professeurs et leurs étudiants, le grand public.

Lors de la réunion de février 2000, la Campbell Collaboration a constitué un comité directeur de la criminalité et de la justice (CDCJ) et lui a confié le mandat de coordonner le travail du groupe Crime et Justice. De manière générale, la mission du groupe consiste à superviser la préparation, la réalisation et la dissémination des revues systématiques de recherches sur les effets d'interventions dans le champ de la criminologie ou de la justice pénale, l'accent étant surtout mis sur les revues systématiques d'interventions visant à prévenir ou à réduire la criminalité ou la délinquance. Il s'agit de mesurer les effets des interventions pour informer les tribunaux, la police, les organismes de probation ou de libération conditionnelle, les établissements carcéraux. Pour de plus amples renseignements au sujet du Campbell Crime and Justice Group, voir Farrington et Petrosino (2000).

Les personnes qui réalisent des revues systématiques à la Campbell Collaboration doivent s'engager suivre la démarche suivante :

    
1.         
   Mettre à jour régulièrement (tous les deux ans) la revue systématique de manière à y incorporer les nouvelles études , à répondre à des critiques ou à mettre en oeuvre des méthodes plus avancées.
       
    
2.         
   Se soumettre à un rigoureux processus d'examen du contenu rédactionnel réalisé non seulement par des chercheurs mais aussi par des preneurs de décisions, des praticiens et des citoyens, de sorte à s'assurer que la revue systématique réponde à des normes scientifiques élevées et puisse être comprise par des gens qui ne proviennent pas du milieu universitaire.
       
    
3.         
   Garantir des processus de réalisation de revues systématiques qui sont ouverts et transparents de manière à permettre aux utilisateurs de commenter et de critiquer chacune de leurs étapes, du protocole de recherche à sa réalisation finale.
       
    
4.         
   Utiliser les méthodes de recherche les plus rigoureuses afin d'assurer le recensement de toutes les études pertinentes aux fins de leur inclusion ou de leur exclusion éventuelle (pour éviter que seules les études rapportées dans des périodiques et des livres faciles à trouver soient recensées).
       
    
5.         
   Couvrir la documentation provenant du monde entier et non pas seulement celle du monde anglophone.
       
    
6.         
   Coder et informatiser les principales caractéristiques de chaque étude d'évaluation sélectionnée pour faire l'objet d'une revue (de manière à ce que toute personne consultant le compte rendu puisse classer les études selon certaines caractéristiques telles que la taille de l'échantillon, le mode de conception et l'ampleur des effets)
       
    
7.         
   Faire état de façon explicite du compte-rendu final afin que les lecteurs puissent comprendre les décisions prises à chaque stade, les raisons y ayant présidé et les fondements des conclusions.
       
    
8.         
   Rendre le compte rendu accessible à un public plus large que celui des collègues qui lisent les publications scientifiques et dont ils font par ailleurs aussi la critique, et ce, par le biais de la publication et de la diffusion électronique du compte rendu sur des sites d'organismes œuvrant dans les domaines des politiques, de la pratique et des médias.
       

Le groupe Crime et Justice est composé de 18 membres provenant de 14 pays, nommément David P. Farrington (Royaume-Uni, président), D. Weisburd (Israël, co-président), Ulla V. Bondeson (Danemark), Vicente Garrido (Espagne), Peter Grabosky (Australie), Jerry Lee (USA), Friedrich Lösel (Allemagne), Lawrence W. Sherman (USA), Chuen-Jim Sheu (Taïwan), Richard E. Tremblay (Canada), Hiroshi Tsutomi (Japon), Peter van der Laan (Pays-Bas), David Wilson (USA), Jacqueline Mallender (Royaume-Uni), Martin Killias (Suisse), John Shepherd (Royaume-Uni) Catherine Blaya (France). Mayo Evans est coordonnateur alors que David Weisburd agit comme représentant auprès du comité directeur de la Collaboration Campbell . Le groupe Crime et Justice est ou a été subventionné par divers organismes tels que l'Institut National de la Justice des Etats-Unis (US National Institute of Justice), le Département Canadien de la Justice (Canadian Department of Justice), le Ministère de l'Intérieur Britannique (UK Home Office) la Fondation Smith-Richardson, le Bureau d'Assistance de Justice des Etats-Unis (US Bureau of Justice Assistance), le Centre de Criminologie Jerry Lee (Jerry Lee Center of Criminology).           Afin de favoriser la participation à l'échelle internationale, une réunion sur deux a lieu à Paris et ce souvent à l'occasion des réunions de la Société Internationale de Criminologie (2000; 2004) et aux Etats-Unis (à l'occasion des conférences annuelles de la Société Américaine de Criminologie). Le groupe a sélectionné quinze secteurs de recherche essentiels :

    
1.         
   justice réparatrice
       
    
2.         
   programmes éducatifs à l'intention des parents
       
    
3.         
   perfectionnement des aptitudes et habiletés des enfants
       
    
4.         
   couvre-feu à l'intention des jeunes
       
    
5.         
   camps de type militaire pour les jeunes
       
    
6.         
   surveillance électronique
       
    
7.         
   programmes d'apprentissage cognitivo-behavioral à l'intention des délinquants
       
    
8.         
   programmes axés sur la religion à l'intention des détenus
       
    
9.         
   durée d'emprisonnement
       
    
10.         
    ordonnances de services communautaires
        
    
11.         
    traitement des psychopathes
        
    
12.         
    télévision en circuit fermé
        
    
13.         
    amélioration de l'éclairage des rues
        
    
14.         
    surveillance de quartier
        
    
15.         
    surveillance policière des zones sensibles.
        

Il avait été décidé dans un premier temps d'adopter une approche dynamique pour solliciter des revues systématiques plutôt qu'une approche réactive (c'est-à-dire donner suite à des propositions non sollicitées), et ce, pour quatre motifs. Premièrement, il fallait que les premiers revues systématiques portent sur des domaines ciblés particulièrement importants pour les politiques, la pratique ou la recherche. Deuxièmement, il importait de gérer le volume de travail et la correspondance compte-tenu des ressources limitées qui étaient disponibles pour ces fonctions. Troisièmement, il fallait asseoir la réputation du groupe en affectant des chercheurs renommés à la rédaction des premieres revues systématiques. Enfin, nous devions nous assurer que les revues systématiques soient terminées en temps opportun. Nous étions conscients de la nécessité d'obtenir rapidement des résultats qui nous permettraient de démontrer la pertinence de notre initiative. Notre politique est de choisir un sujet restreint pour chaque revue systématique. L'ensemble des revues systématiques couvre un large éventail de sujets criminologiques.

Des rédacteurs potentiels sont invités à préparer une proposition de revue systématique selon la démarche explicitée précédemment et inspirée du protocole utilisé pour les revues systématiques de la Cochrane Collaboration. La Collaboration Campbell a créé ses propres normes en janvier 2001.

Les rédacteurs potentiels ont reçu une liste de contrôle provisoire pour le processus d'extraction de données dans le but de leur suggérer de coder et d'informatiser les sujets suivants pour chaque étude :

    
1.         
   chercheurs principaux
       
    
2.         
   références complètes de tous les rapports d'évaluation
       
    
3.         
   financement
       
    
4.         
    dates de publication
       
    
5.         
   conception de l'étude
       
    
6.         
   caractéristiques des unités expérimentales (âge et sexe des participants, taux de criminalité antérieurs)
       
    
7.         
   taille de l'échantillon
       
    
8.         
   hypothèses et interventions
       
    
9.         
   détail de la mise en œuvre
       
    
10.         
    comment les variables indépendantes et extérieures ont été contrôlées de manière à permettre la détermination de l'impact de l'intervention
        
    
11.         
    qui a assuré la prestation des programmes
        
    
12.         
    quelles étaient les conditions de contrôle (dans la mesure où il est rarement possible de compter sur un groupe-témoin qui ait jamais été traité)
        
    
13.         
    qui sait quoi à propos de l'intervention
        
    
14.         
    mesure des variables dépendantes (dossiers officiels relatifs à des crimes, infractions déclarées par leur auteur, etc.)
        
    
15.         
    mesures de la criminalité ou de la perpétration d'infractions avant et après le coup
        
    
16.         
    période de suivi subséquente à l'intervention
        

Depuis la création du groupe et suite à la réunion de San Francisco en novembre 2000, d'autres sujets de revues systématiques ont été proposés:

    
1.         
   programmes relatifs à la victimisation récurrente
       
    
2.         
   traitement des délinquants sexuels
       
    
3.         
   interventions relatives à des cas de violence conjugale
       
    
4.         
   programmes de réinsertion sociale à l'intention des délinquants incarcérés
       
    
5.         
   programmes axés sur le sport et les loisirs
       
    
6.         
   traitement post-pénal des délinquants juvéniles
       
    
7.         
   tribunaux traitant les cas d'infractions relatives à la drogue
       
    
8.         
   traitement de la toxicomanie en milieu carcéral
       
    
9.         
   interventions à l'intention des jeunes violents et dangereux
       
    
10.         
    interventions destinées aux auteurs d'actes violents commis à l'aide d'une arme à feu
        

Un dépliant du Crime and Justice Group a été élaboré par Anthony Petrosino. Un site Web a aussi été créé pour le Groupe par John Myrtle de l'Australian Institute of Criminology. Il fut décidé d'héberger un registre central des études au Fels Center of Government à Philadelphie.

Plus de 120 personnes provenant de 16 pays ont contacté le groupe et manifesté leur intérêt pour ses activités. Nombre d'entre elles souhaitent contribuer à la réalisation de revues systématiques ou à l'examen de propositions. Nous les tenons informées de tous les développements pertinents. Un conseil consultatif informel de 30 personnes a aussi été constitué. Ces personnes ont été invitées à suggérer des sujets de revues systématiques et à trouver des sources de financement. Le Jerry Lee Crime Prevention Symposium, tenu en avril 2001 et dont le sujet était les revues systématiques d'interventions d'ordre criminologique (Systematic Reviews of Criminological Interventions), peut être considéré comme l'assemblée constitutive du groupe Crime et Justice. Les actes du colloque ont été publiés dans les Annales de l'Académie Américaine de Sciences Politiques et Sociales (Annals of the American Academy of Political & Social Science (2001). A ce jour, le groupe Crime et Justice a un porte-feuille de 40 titres de méta-analyses et a publié dans diverses revues dont le Journal of Experimental Criminology (Weisburd, 2005).

Malgré un succès grandissant, plusieurs problèmes importants ont été identifiés. Le premier d'entre eux, qui est peut-être aussi le plus important et le plus épineux, concerne la question de savoir quels sont les critères méthodologiques qui devraient orienter la sélection des études d'évaluation qui font l'objet de revues systématiques. Plusieurs membres du groupe soutiennent que seules les expériences randomisées devraient être analysées étant donné que c'est ce type d'expérience qui permet de démontrer de la façon la plus convaincante les effets d'interventions (en plus de présenter le plus haut degré de validité interne). Mais si l'on décide que les expériences randomisées constituent la norme suprême, on devra inévitablement exclure la plupart des interventions aréolaires (plutôt que des interventions destinées aux individus) et qui traitent des effets d'interventions telles que la surveillance de quartier ou le recours à la télévision en circuit fermé. Lors de la présentation de David Farrington, Anthony Petrosino et Lawrence Sherman pour le Comité des directeurs d'instituts de criminologie en novembre 2000, certains des directeurs présents ont suggéré de réviser la norme méthodologique de sélection à la baisse afin d'éviter que des évaluations importantes soient exclues. Le comité directeur a réaffirmé la nécessité d'obtenir la meilleure information probante disponible et qu'il ne servait à rien d'apprendre que « les chercheurs n'avaient pu tirer aucune conclusion étant donné que toutes les études comportaient des lacunes ».

Les évaluations d'interventions ne sont pas toutes soumises aux mêmes normes méthodologiques. La validité interne et la validité externe représentent deux des normes les plus importantes de ce type (Cook et Campbell [1979]). La validité interne renvoie au degré auquel une étude démontre sans ambiguïté qu'une intervention (procédure de justice réparatrice, etc.) a eu un impact sur un phénomène (perpétration d'infractions, etc.). La validité externe, en revanche, concerne le degré auquel l'effet d'une intervention sur un phénomène peut être généralisé et reproduit dans diverses conditions même si les définitions opérationnelles de l'intervention et de son résultat, les personnes, les milieux, varient. Le rédacteur d'une revue systématique a la responsabilité de déterminer les critères qui permettront de sélectionner ou de rejeter une étude.

La validité interne est maximisée (ou, inversement, ce qui menace son intégrité est minimisé) dans le cadre d'une expérience randomisée dans la mesure où ce genre d'expérience permet de s'assurer que l'échantillon expérimental (personnes, secteurs de localités, etc.) bénéficiaire de l'intervention est comparable en tous points au groupe de contrôle. Il va de soi que les expériences randomisées représentent la « norme suprême » si elles sont réalisées avec la plus grande rigueur. Mais si des problèmes de mise en oeuvre (maintien des attributions randomisées, attrition différentielle, passage d'une situation de contrôle à des conditions expérimentales, etc.) surviennent, la validité interne de l'étude concernée pourra s'en trouver réduite. On s'attend à ce que les rédacteurs codent les problèmes de mise en oeuvre de ce genre et tentent d'établir, par exemple, quels types de techniques de gestion de projets pourraient le mieux permettre d'éviter de tels problèmes.

Toutes proportions gardées, une étude d'intervention pour laquelle les expériences et les contrôles sont appariés ou encore égalisés d'un point de vue statistique (à l'aide, par exemple, d'un indice de prévision) avant l'intervention, présentera un degré de validité interne inférieur à celui d'une expérience randomisée. La validité interne d'une étude d'intervention effectuée sans groupe témoin est souvent inférieure étant donné que cette étude ne traite pas de plusieurs facteurs défavorables à cette validité interne, tels que les antécédents historiques (on peut croire que l'évolution des résultats est peut-être attribuable à des événements autres que l'intervention), l'aboutissement ou la persistance de tendances préexistantes, les effets des essais effectués et des instruments de mesure utilisés, et la régression vers la valeur moyenne.

Les considérations applicables varient selon que l'étude d'intervention est axée sur des lieux ou des personnes. Il est rare qu'une expérience randomisée puisse servir à évaluer des interventions axées sur des lieux dans la mesure où il est très difficile de soumettre à des conditions expérimentales ou de contrôle un nombre suffisamment élevé de secteurs choisis au hasard pour ensuite égaliser ces conditions en ce qui concerne toutes les variables extérieures possibles, et ce, avant l'intervention (dans les limites de la fluctuation statistique).

Dans le cadre d'études axées sur des lieux, la validité interne est habituellement maximisée en tenant compte de la valeur préalable et subséquente d'un phénomène (la criminalité, etc.) dans des lieux expérimentaux et des lieux de contrôle comparables. Qui mieux est, l'effet d'une intervention visant à réduire la criminalité peut être examiné à la suite d'un contrôle (suivant une équation de régression, par exemple) non seulement du taux de criminalité antérieur mais aussi d'autres facteurs influençant ce taux. On peut aussi sélectionner deux lieux distincts et choisir au hasard celui qui deviendra le secteur expérimental. Il est évidemment préférable de disposer de plusieurs paires de lieux plutôt que d'une seule. Une étude d'intervention effectuée sans lieu de contrôle comparable (c'est-à-dire en se contentant de mesurer la criminalité avant et après l'intervention tel qu'on le fait dans le cadre d'un pre-post test pour lequel un seul groupe est utilisé) n'a qu'une faible validité interne car elle n'aborde pas les éléments préalablement mentionnés. Une étude de séries temporelles interrompues est plus probante que le pre-post test axé sur un seul groupe, surtout si l'on compare une série temporelle expérimentale à une série temporelle de contrôle.

Le groupe Crime et Justice requiert que les chercheurs qui réalisent des revues systématiques d'interventions choisissent des études dont la validité interne est élevée. Mais il est aussi possible de présenter des études dont la validité interne est moins élevée tout en fournissant une information détaillée à leur sujet (taille de l'échantillon, conception, ampleur des effets, etc.). Cela permettra la discussion sur les critères de sélection ou de rejet des études au moment de la discussion attendue entre le(s) rédacteur(s) et le(s) lecteurs. A cet égard, les mises à jour telles que mentionnées préalablement peuvent très bien entraîner la modification des rapports des études retenues ou rejetées.

La validité externe sera quant à elle évaluée en fonction de la mesure dans laquelle les études sélectionnées font état de résultats semblables. Il importe d'établir la taille de l'effet des interventions selon les contextes de leur mise en oeuvre. D'autres types de validités (validité conceptuelle, validité des conclusions statistiques, etc.) seront présentés par les rédacteurs dans le cas de chaque étude. Ces derniers pourront aussi tenter de tirer des conclusions au sujet de l'« ingrédient actif » d'une intervention ou à propos des liens causals entre les interventions et les résultats.

Le fait que la sélection des études soit fonction d'une validité interne élevée ne signifie pas que seules les expériences randomisées soient sélectionnées. Cela pourrait être le cas pour une intervention ayant donné lieu à de nombreuses expériences randomisées (l'acquisition de compétences cognitivo-behaviorales, par exemple). Mais il est plutôt rare que l'on effectue des expériences de ce genre dans le but d'évaluer des interventions d'ordre criminologique. Si les revues systématiques ne traitaient que d'expériences randomisées, elles ne couvriraient qu'une petite fraction de l'ensemble des principales questions touchant aux politiques et à la pratique en criminologie. Lorsque peu d'expériences randomisées sont recensées, on s'attend à ce que les rédacteurs choisissent de parler tant d'études randomisées que d'études non randomisées dans des revues systématiques détaillées tout en faisant état de divers modes de recherche dans des sections différentes.

En ce qui concerne les interventions axées sur des secteurs ou des zones géographiques, il est peu probable que les rédacteurs puissent rendre compte d'expériences randomisées. Le cas échéant, ils doivent sélectionnent les études d'interventions quasi‑expérimentales de haut niveau telles que celles présentant des mesures préalables et postérieures des résultats obtenus dans des secteurs expérimentaux et des secteurs de contrôle. Mais ils peuvent aussi dresser une liste sommaire d'études effectuées avant et après l'expérience et pour lesquelles aucun secteur de contrôle ou encore des secteurs de contrôle non comparables ont été utilisés. Cette liste figure ensuite dans le compte rendu final.

La réalisation d'une revue systématique a pour principal objectif de fournir l'information la plus précise possible au sujet des effets d'une intervention d'ordre criminologique et éventuellement à mettre en garde quant à la méthodologie employée ou aux conséquences neutres voire négatives sur les bénéficiaires du programme évalué. Si certaines recherches sont inadéquates, au vu de leur validité interne ou en raison d'une autre lacune, il incombe au rédacteur de le mentionner et de faire des recommandations au sujet des recherches qui devraient être effectuées dans le futur. L'un des objectifs des revues systématiques étant d'identifier les failles dans les connaissances actuelles ainsi que les principales questions devant être traitées. Il s'agit d'amener le public à s'intéresser davantage aux problèmes d'ordre méthodologique et à l'amélioration de la qualité des méthodologies employées dans le domaine de la recherche sur les interventions en criminologie.

Le financement de telles recherches est une difficulté non des moindres. Les subventions jusqu'alors obtenues par le groupe Crime et Justice couvrent le salaire du coordonnateur ainsi que certains frais liés à la tenue des réunions et la participation à des conférences. Le groupe s'attendait à ce que le manque de financement soit un frein à la réalisation des revues systématiques de la Collaboration Campbell. Toutefois, certains rédacteurs potentiels sont prêts à passer outre l'absence de support financier devant l'importance de ces revues systématiques. Une indemnisation est cependant proposée sous la forme de $1 000 pour un protocole approuvé et $2 000 pour une méta-analyse rédigée et acceptée.

Un troisième problème, lié à la motivation des rédacteurs, découle de l'inquiétude suscitée par la possibilité que les universitaires accordent peu d'intérêt aux revues systématiques de la Campbell Collaboration si cela ne leur laisse pas assez de temps pour rédiger des articles. Ils sont en effet, dans bien des pays, soumis à une politique de rendement en termes de publication qui influence leur avancement de carrière. C'est pourquoi le groupe Crime et Justice non seulemement publie de façon électronique les résultats des revues mais aussi sous forme de revue papier.

Le quatrième problème rencontré consiste en la coordination des revues systématiques, y compris celles produites par d'autres entités faisant partie de la Collaboration Campbell et celles attribuables à la Collaboration Cochrane . Le groupe Cochrane de psychologie développementale, de psychosociologie et des problèmes d'apprentissage élabore des revues systématiques sur des sujets comparables (traitement des délinquants sexuels, etc.). Nous avons donc décidé d'aller de l'avant en ce qui concerne la réalisation de nos propres revues systématiques, et de voir en quoi elles se distinguent de celles du groupe de la Collaboration Cochrane, qui s'intéresse davantage aux questions relatives aux traitements médicaux et aux traitements de santé.

Le cinquième problème concerne la question suivante : assurer les tâches inhérentes au maintien de la qualité élevée des revues systématiques. Il faudrait, à cette fin, soumettre les propositions et les versions finales de revues systématiques à un processus d'arbitrage et mettre à niveau le réseau et l'infrastructure du groupe Crime et Justice. Le travail quotidien pour l'organisation des activités du groupe est déjà très lourd. C'est pourquoi il fut tout d'abord décidé de réaliser un nombre relativement modeste de revues systématiques. Nous craignons de faire de la publicité sur une grande échelle dans le but d'inviter des gens à produire bénévolement certains revues systématiques car nous pensons que cela pourrait donner lieu à toutes sortes d'irrégularités et, par conséquent, engendrer un monstre indomptable. Cela étant dit, en raison du nombre de revues nécessaires, nous devons passer à la vitesse supérieure et considérer les propositions de revues systématiques non sollicitées en accroîssant la participation des membres de la communauté scientifique.

Une sixième difficulté est liée à la nomination des membres du groupe qui sont en principe élus pour une durée de trois ans. Tous les membres du Comité directeur de la Collaboration Campbell doivent travailler à l'élaboration de procédures de nomination et de remplacement des membres du groupe, le président s'assurant que le comité tienne compte d'un large éventail de connaissances spécialisées et de pays, et qu'il ait la capacité de superviser efficacement la réalisation de revues systématiques.

Enfin, les personnes les plus compétentes et les plus motivées pour réaliser une reuve systématique ont souvent déjà étudié le sujet de la dite revue ce qui pourrait biaiser l'étude. On peut composer avec ce problème en encourageant la collaboration entre des chercheurs ayant déjà étudié un sujet donné et d'autres ne l'ayant jamais étudié. L'organisation d'ateliers d'initiation à l'élaboration de revues systématiques nous semble pertinente.

La plupart des personnes qui ont été invitées à ce jour à faire des revues systématiques viennent des États-Unis. Il importe de solliciter plus de revues systématiques et plus de contributions (y compris en termes de services de traduction) auprès de personnes issues d'autres pays. Pour constituer un registre d'études, il est nécessaire de s'entendre sur un ensemble commun d'éléments qui devront être codés et informatisés dans tous les revues systématiques. Il nous semble aussi nécessaire de trancher la question de savoir à quel point on devrait encourager tous les rédacteurs de revues systématiques à procéder à une méta-analyse ou bien à produire un autre résumé quantitatif de conclusions. Idéalement, l'information sur les coûts et avantages devrait figurer dans toutes les revues systématiques (si elle est disponible), et le groupe Crime et Justice devrait élaborer un plan directeur (prévoyant la classification et l'organisation systématiques de tous les types d'interventions pouvant faire l'objet d'une revue) et éliminer les incohérences dans la mise en œuvre de programmes d'intervention à l'aide des revues systématiques sollicitées.

Il nous semble également important de déterminer quelle quantité de recommandations concernant l'adoption de politiques peut figurer dans les revues systématiques de la Collaboration Campbell. Bien que ces recommandations pourraient être utiles à des organismes de financement, certains membres du groupe Crime et Justice estiment que le contenu des revues systématiques devrait se limiter à des conclusions scientifiques. Il est de même primordial de s'assurer que ces revues systématiques puissent être comprises par un large public. Il sera donc nécessaire de solliciter à cette fin, les commentaires du public mais aussi de preneurs de décisions et de praticiens. À ce jour, nous avons principalement rendu compte d'interventions visant à réduire la criminalité et les infractions. Une évolution de notre travail pourrait consister en la réalisation de revues systématiques d'interventions conçues pour améliorer la gestion ou l'exploitation du système judiciaire. Notre éventail de sujets pourrait aussi englober l'importance des liens entre certains facteurs de risque et la perpétration d'infractions ou la vérification de certaines théories criminologiques. Il est possible que ces orientations entraînent la création de comités spécifiques.

Nous espérons que les revues systématiques évolueront significativement par rapport aux revues systématiques produites antérieurement par la National Academy of Sciences[1] américaine et d'autres chercheurs (Goldblatt et Lewis [1998], Sherman et al. [1997], etc.). Les revues systématiques font état de façon explicite et rigoureuse des méthodes qui sont employées pour leur réalisation, elles s'appuient sur des dépouillements exhaustifs d'une production documentaire provenant d'un plus grand nombre de pays étrangers et elles fournissent une information détaillée sur les critères d'inclusion et d'exclusion, les sources consultées, les bases de données explorées ainsi que des tableaux détaillés et des codages d'études. Elles font également l'objet de contrôles de qualité stricts, elles révisées et critiquées tout en étant régulièrement mises à jour et diffusées. Qui plus est, tout le monde peut accéder à l'information produite par voie électronique.

Le Comité directeur du groupe Crime et Justice de la Campbell Collaboration a rapidement progressé. Parmi les réalisations, il lui a été décerné le premier Prix Donald Campbell par la Collaboration Campbell en 2000. Ceci dit, nous espérons que des entités autres que la Campbell Collaboration développeront des revues d'ordre criminologique. Nous souhaitons de même que les normes élevées que nous avons établies et que nous mettons en application, vaudront aux revues systématiques de la Collaboration Campbell d'être considérées comme du plus haut niveau. Il est à souhaiter que le recours accru à ce type de revues aura pour effet d'améliorer la qualité des rapports sur les études d'interventions. Bien que la tâche qui nous attend soit importante, les revues systématiques d'interventions d'ordre criminologique présentent un potentiel énorme et pourraient donc contribuer à l'avancement des connaissances ainsi qu'à la progression future des secteurs des politiques et de la pratique. Il nous semble primordial mettre à la disposition de tout le monde les connaissances les plus édifiantes sur l'efficacité de certaines interventions visant à réduire la criminalité, et ce, sans tarder. Une telle initiative bénéficierait à tous les citoyens de tous les pays du monde.

Nous tenons grandement à remercier le Home Office et son directeur de la Recherche et de la Statistique Paul Wiles d'avoir appuyé les travaux du Comité directeur du groupe Campbell Crime et Justice. Anthony Petrosino a par ailleurs reçu une subvention de la Mellon Foundation, laquelle subvention était destinée au programme d'initiatives en faveur des enfants du Centre d'évaluation de la American Academy of Arts and Sciences[2].

[1] Académie Nationale des Sciences.

[2] Académie Américaine des Arts et des Sciences