Sélection de la langue

Recherche

Vérification des renseignements sur le rendement des projets

Table des matières (Septembre 2011)

Sommaire

Le Plan de vérification fondé sur le risque approuvé pour 2011-2014 de Diversification de l’économie de l’Ouest Canada (DEO) englobait la vérification des renseignements sur le rendement du projet.

La vérification avait pour but de déterminer dans quelle mesure le Ministère est parvenu à concevoir et mettre en œuvre des mécanismes de contrôle pour la collecte et l’utilisation de renseignements sur le rendement des projets. DEO doit présenter des résultats mesurables pour expliquer ses dépenses et ses investissements. Le Ministère a donc besoin de données fiables à l’échelle des projets. Les résultats et l’observation découlant de cette vérification seront intégrés dans un autre effort de vérification, sur les données sur le rendement ministériel, prévu pour la fin 2011-2012.

La vérification des renseignements sur le rendement des projets portait sur les processus et les systèmes pertinents utilisés pendant le dernier exercice financier 2010-2011.

 

Résultats

De façon générale, le Ministère a établi un cadre détaillé de normes, de procédures et de mécanismes de contrôle pour la détermination, la collecte et l’utilisation des renseignements sur le rendement des projets.

Certaines difficultés relatives à la collecte et l’utilisation des renseignements sur le rendement des projets en ce qui a trait au processus décisionnel et à la production de rapports viennent de la structuration du système de mesure organisée autour d’un trop grand nombre d’indicateurs et de l’utilisation répandue d’indicateurs uniques. L’harmonisation des résultats des projets avec les rapports ministériels est donc difficile et les résultats de certains efforts de collecte de données peuvent s’avérer inutiles.

Les mécanismes de contrôle qui entourent la collecte et la saisie de renseignements sur le rendement dans le système de gestion des projets fonctionnaient convenablement, sauf quelques légères exceptions liées aux rapports d’étape. Afin de garantir la fiabilité des renseignements sur le rendement des rapports d’étape remis par les bénéficiaires de fonds, on se fie grandement à la connaissance qu’a le personnel régional de ses clients et des projets ainsi qu’à son expérience professionnelle et son jugement.

Le Ministère a entrepris diverses initiatives visant à simplifier ses processus de mesure des résultats et de production de rapports.

Déclaration d’assurance

Selon mon avis professionnel à titre de dirigeant principal de la vérification, on a mené suffisamment de procédures de vérification adéquates et rassemblé suffisamment de renseignements pour conclure que le Ministère a élaboré un cadre détaillé de normes, de procédures et de mécanismes de contrôle pour la détermination, la collecte et l’utilisation des renseignements sur le rendement des projets. Il convient toutefois de simplifier le cadre et de mieux l’intégrer afin de faciliter son application et d’améliorer la production de rapports.

L’assurance est fondée sur une comparaison des conditions, qui existaient à ce moment, par rapport aux critères de vérification préétablis déterminés en collaboration avec la direction. L’assurance s’applique aux politiques, aux processus et aux mécanismes de contrôle examinés. On a rassemblé les preuves conformément aux politiques, aux directives et aux normes du Conseil du Trésor sur la vérification interne du gouvernement canadien. On a rassemblé suffisamment de données pour prouver à la haute direction la véracité des conclusions tirées de la vérification.

Donald MacDonald
Dirigeant principal de la vérification

Introduction

Diversification de l’économie de l’Ouest Canada doit montrer des résultats mesurables pour expliquer ses dépenses et ses investissements. Le Ministère doit donc recueillir des renseignements sur le rendement ou les résultats pour les projets qu’il finance, par le biais de subventions et de contributions. Il utilise également les données sur le rendement des projets qu’il collecte pour montrer l’atteinte des résultats ministériels généraux.

Cette vérification ciblait les données sur les résultats à l’échelle de chaque projet. Une autre vérification prévue pour la fin 2011-2012 ciblera les renseignements ministériels sur le rendement. On intègrera les résultats de la présente vérification dans la planification de la vérification des renseignements ministériels sur le rendement, étant donné que les résultats du projet pourraient servir de fondement pour le rapport sur le rendement du Ministère dans son ensemble.

Objectif de la vérification

Cet effort visait à déterminer dans quelle mesure le Ministère est parvenu à concevoir et à mettre en œuvre des mécanismes de contrôle pour les éléments suivants :

  • La sélection, la collecte et la validation des renseignements sur le rendement des projets;
  • L’utilisation de renseignements sur le rendement pour le processus décisionnel et la production de rapports sur les résultats.

En évaluant la qualité des renseignements sur le rendement des projets, la vérification a permis d’évaluer les mécanismes de contrôle permettant de garantir la pertinence, la fiabilité et la rapidité des renseignements.

Principaux risques

La direction conçoit des mécanismes de contrôle pour gérer les risques. La vérification portait sur les processus et les mécanismes de contrôle que la direction a conçus pour atténuer les principaux risques suivants afin de s’assurer que des mécanismes de contrôle étaient en place et efficaces :

  • Les indicateurs du rendement choisis ne sont pas adéquatement liés aux résultats;
  • Trop grand nombre d’indicateurs du rendement sélectionnés;
  • Erreurs et retards dans la collecte et la saisie de données sur le rendement des projets;
  • Utilisation limitée ou incohérente des renseignements sur le rendement des projets dans le processus décisionnel.

Portée de la vérification

La vérification portait sur les processus et les systèmes existants relatifs aux renseignements sur le rendement des projets et utilisés pendant le dernier exercice financier achevé (2010-2011).

La vérification portait sur les programmes directs de subvention et de contribution étant donné que les processus de gestion des données sur les projets peuvent varier d’un programme à l’autre. La vérification ne portait pas sur les renseignements ministériels généraux sur le rendement, comme il est indiqué plus haut.

Remerciements

Les vérificateurs souhaitent remercier la direction et le personnel de l’administration centrale et des régions pour leur rapide collaboration et leur soutien à l’équipe de vérification pendant la période des travaux.

Observations et recommandations

Sélection et utilisation des indicateurs et des renseignements sur le rendement des projets

Critères : Il existe un solide processus de sélection de mesures adéquates du rendement des projets harmonisées avec les objectifs ministériels.

Critères : On utilise les renseignements sur le rendement des projets pour le processus décisionnel et la production de rapports sur les résultats.

Le Ministère a établi, en fonction de son architecture des activités de programmes (AAP), un cadre détaillé pour les agents de projets afin de déterminer la façon dont il convient de mesurer les résultats des projets. Le cadre indique les activités essentielles des programmes, les sous-activités et les indicateurs de rendement normalisés (souvent appelés indicateurs de l’AAP), qui ensemble servent de fondement pour la production de rapports sur le rendement et la reddition de comptes des projets et du Ministère.

L’AAP actuelle indique 68 indicateurs qui peuvent être utilisés pour mesurer le rendement des projets dans le cadre des quatre activités de programme du Ministère et des dix-huit sous-activités. Le grand nombre d’indicateurs quantitatifs laisserait sous entendre un haut degré de différentiation et de précision des produits au sein des activités du Ministère. Toutefois, les agents de projets interrogés ont signalé que bon nombre des indicateurs étaient trop généraux ou ambigus et faisaient l’objet de différentes interprétations de la part des agents et des promoteurs au moment de mesurer les résultats des projets.

Les lignes directrices sur l’AAP contraignent actuellement les agents de projets à harmoniser leurs projets sur une seule sous-activité et conseillent de choisir entre un et quatre indicateurs de l’AAP classés dans la sous-activité choisie. En plus des soixante huit indicateurs normalisés de l’AAP, le Ministère permet également aux agents de projets d’utiliser d’autres indicateurs uniques pour les aider à mieux définir les résultats pour l’éventail de projets que le Ministère réalise. Ces indicateurs uniques ne sont pas jugés obligatoires et on ne recueille pas les données connexes sur les résultats pour produire des rapports ministériels.

Pendant notre examen des vingt et un dossiers de projets, nous avons constaté que les agents de projets choisissaient en règle générale un ou deux indicateurs normalisés de l’AAP par projet. Dans l’échantillon testé, il y avait trente-cinq indicateurs uniques créés contre vingt-six indicateurs normalisés de l’AAP sélectionnés. L’usage répandu d’indicateurs uniques est dans une certaine mesure en réaction à l’opinion des agents de projets selon laquelle le cadre de l’AAP continue d’évoluer et qu’il ne représente pas encore tout à fait ce que mesure réellement le rendement de leurs projets. Il est aussi en partie employé pour résoudre le problème d’ambiguïté des indicateurs actuels. Les employés régionaux jugent également les indicateurs uniques essentiels pour relater les réussites liées à leurs projets. Le fait de ne pas harmoniser un projet à la sous-activité la plus adéquate a également eu pour résultat que certains indicateurs de l’AAP étaient jugés uniques, parce qu’ils se trouvaient à l’extérieur de la sous-activité avec laquelle le projet était harmonisé.

Le choix d’indicateurs et d’objectifs est un processus itératif auquel participent le personnel régional et les promoteurs de projets. Les agents de projets tiennent également compte des facteurs comme la capacité des promoteurs et leur subtilité à surveiller les résultats des projets et à produire des rapports ainsi que le fardeau de la production de rapports. Malgré l’examen et l’approbation des indicateurs et des objectifs des projets par la direction, il existe certains risques que le choix d’indicateurs et d’objectifs soit démesurément déterminé par des questions autres que celles qui sont les plus importantes pour la mesure des résultats et la reddition de comptes. Les agents de projets trouvent également qu’il est difficile de fixer des objectifs lorsque les projets comportent des services, couvrent plusieurs années ou englobent plusieurs stades de développement et de réalisation. D’autres instructions et une formation supplémentaire pourraient s’avérer un atout.

D’une part, le système officiel de rapport sur le rendement à l’échelle ministérielle repose sur l’AAP et les indicateurs normalisés approuvés. D’autre part, les agents qui participent à l’administration quotidienne des programmes du Ministère mettent amplement l’accent sur les indicateurs uniques de mesure des résultats des projets. Il faudrait réduire la divergence des méthodes qui en découlent sur le plan opérationnel et ministériel afin de favoriser une meilleure harmonisation des résultats des projets avec les rapports ministériels et de concentrer les efforts de collecte de données sur ce que le Ministère juge nécessaire pour ses activités et ses rapports. La collecte et le traitement de données sur les indicateurs uniques, en plus de la collecte de données sur un grand éventail d’indicateurs de l’AAP, sont très gourmands en ressources.

Selon le guide du Secrétariat du Conseil du Trésor du Canada pour établir un cadre de stratégie de mesure du rendement, « la stratégie de mesure du rendement est plus susceptible d’être mise en œuvre si le nombre d’indicateurs est raisonnable » 1. De nombreuses choses peuvent être mesurables, mais elles ne sont toutefois pas essentielles à la réussite du Ministère. Un petit nombre d’indicateurs pourrait également aider à rester concentré sur les facteurs essentiels pour le Ministère. Selon le vérificateur général du Canada : « Parce qu’elle crée des problèmes et contribue à frustrer les intervenants, la complexité excessive est l’un des principaux facteurs de risque qui menace la réussite des efforts de mise en œuvre de la gestion axée sur les résultats. Plus un système est facile à utiliser et à mettre en application, plus les intervenants seront portés à l’adopter et à l’apprécier.» 2

Au cours des deux dernières années, le Ministère a réalisé plusieurs initiatives visant à examiner et à modifier son AAP et ses cadres de mesure du rendement. Il a récemment publié un guide de référence, Mesure du rendement : Subventions et contributions, pour aider les agents à appliquer le cadre de l’AAP de façon plus cohérente. On a également mis sur pied un groupe de travail composé de représentants de l’administration centrale et des régions pendant l’exercice financier afin d’examiner les difficultés, les solutions possibles et les améliorations à apporter à la mesure du rendement et à la production de rapports. La fixation d’objectifs régionaux et la collecte de renseignements régionaux visent également à contribuer à mieux lier les renseignements sur le rendement au processus décisionnel et à la production de rapports sur les résultats.

Recommandation 1 : Le Ministère doit continuer de simplifier son cadre pour la collecte et l’utilisation des renseignements sur le rendement des projets comme suit :

  • En veillant à une solide harmonisation des résultats des projets par le biais d’un ensemble clair et intégré de mesures du rendement;
  • En limitant le nombre de mesures du rendement;
  • En offrant régulièrement de la formation au personnel sur le cadre et son application.

Collecte, examen et saisie des données sur le rendement des projets

Critères : Des mécanismes de contrôle adéquats existent pour collecter rapidement des données sur le rendement, veiller à leur fiabilité et les saisir correctement.

Les bénéficiaires doivent produire des rapports sur l’évolution de leurs projets en fonction du calendrier des activités et des indicateurs du rendement indiqués dans l’accord de contribution signé avec le Ministère. Le Ministère a déterminé comme exigences de base que les rapports d’étape doivent être publiés « au moins deux fois par année  qu’une demande de remboursement soit soumise ou non. Aucun paiement ne sera versé avant d’avoir reçu un rapport d’étape. Le système de gestion de projets comporte une alerte de report et une fonction de production de rapports pour les rapports d’étape en retard.

La plupart des agents de projets connaissent les normes susmentionnées, mais ne les respectent pas toujours. Sur les vingt et un échantillons testés, dans trois cas, les rapports d’étape étaient publiés moins souvent que deux fois par année. Dans trois autres cas, les rapports d’étape étaient publiés moins souvent que le nombre de demandes de remboursement soumises. Dans tous les cas toutefois, les rapports d’étape finaux avaient été documentés.

Les agents de projets examinent les renseignements sur le rendement contenus dans les rapports d’étape afin de déterminer s’ils sont raisonnables et conformes aux exigences établies dans l’accord de contribution. Les gestionnaires doivent également examiner périodiquement les données sur le rendement. S’il y a des anomalies évidentes, des incohérences avec les précédents rapports, des erreurs apparentes ou des problèmes de rendement, les agents de projets doivent normalement chercher des éclaircissements auprès du client. En vertu de la politique ministérielle, un projet n’est pas nécessairement jugé en défaut s’il n’atteint pas les résultats escomptés.

Les visites sur le terrain et les vérifications ponctuelles sont un autre outil dont les agents de projets peuvent se servir à leur discrétion. Toutefois, on se fie principalement à la connaissance qu’ont les agents de leurs clients et des projets, ainsi qu’à leur expérience et leur jugement. Les étapes réelles suivies pour examiner la fiabilité des données sur le rendement des rapports d’étape peuvent donc varier d’un agent de projets à l’autre.

Les renseignements sur les principaux résultats qui se trouvent dans les rapports d’étape envoyés par les bénéficiaires de fonds ont été convenablement saisis dans la plupart des projets évalués. On a noté certaines petites exceptions où les explications des différences de résultats signalés par les clients et saisis dans le système de gestion par les agents de projets n’étaient pas tout de suite visibles.

Le système de gestion de projets est doté de mécanismes de vérification pour la saisie de données dans les champs texte, date et nombre. Un avis d’erreur s’affiche si les résultats du rendement ne sont pas saisis sous la forme de nombres. Ces mécanismes permettent d’éviter les erreurs de saisie. Un mécanisme de contrôle du système permet également de s’assurer que l’agent de projets a rempli les sections clés du rapport final afin de pouvoir conclure un projet. On a jugé adéquates les procédures de secours pour récupérer les données sur le rendement saisies dans le système.

___________________________

1 Pour soutenir des évaluations efficaces : Guide d’élaboration de stratégies de mesure du rendement, Secrétariat du Conseil du Trésor du Canada, 2009

2 Mise en œuvre de la gestion axée sur les résultats : leçons tirées de la documentation, vérificateur général du Canada, mars 2000

Conclusion

Le Ministère a conçu un cadre détaillé de normes, de procédures et de mécanismes de contrôle pour la détermination, la collecte et l’utilisation de renseignements sur le rendement des projets, mais il convient de simplifier le cadre et de mieux l’intégrer afin de faciliter son application et d’améliorer la production de rapports.

Résumé des conclusions
Critères de la vérification Résultats de la vérification
Sélection et utilisation des indicateurs et des
renseignements sur le rendement des projets
Critères partiellement atteints
Collecte, examen et saisie des données sur
le rendement des projets
Critères principalement atteints

 

Stratégies et méthodes de vérification

Planification

On a entamé la planification de la vérification en mai 2011 et on a achevé les travaux sur le terrain en août 2011. Les employés du Ministère ont participé selon les besoins du processus de vérification afin de permettre la détermination des principaux risques, des critères de vérification, des éléments de contrôle et des stratégies de vérification.

Normes et méthode

On a utilisé les normes de vérification interne du gouvernement canadien pour la vérification. La vérification était fondée sur la preuve et elle fournissait une certitude de vérification qui est entièrement corroborée. On a communiqué le fondement et les attentes de la vérification à la direction qui les a acceptés. On a rassemblé des preuves par le biais d’une analyse des risques, d’entretiens, d’examens de la documentation sur le système et les processus, d’examen de dossiers de projets et d’examen des données sur le système de gestion des projets.

Échantillonnage

Pour la vérification interne, on a utilisé le logiciel d’échantillonnage IDEA pour sélectionner de façon aléatoire vingt et un projets dans le système de gestion des projets afin de mettre à l’épreuve et de confirmer les processus et les mécanismes de contrôle. La méthode et la taille de l’échantillon ont permis de veiller à ce que toutes les régions et les programmes importants soient représentés dans notre échantillon.

Équipe de vérification

Équipe de verification
Nom Title
Donald MacDonald dirigeant principal de la vérification
Hemendra Shah directeur principal responsable de la vérification
Kathy Locke gestionnaire de la vérification
Christine Kasianiuk vérificatrice

 

Date de modification :