Diversification de l'économie de l'Ouest Canada
Symbole du gouvernement du Canada

Liens de la barre de menu commune

Observations et recommandations

Sélection et utilisation des indicateurs et des renseignements sur le rendement des projets

Critères : Il existe un solide processus de sélection de mesures adéquates du rendement des projets harmonisées avec les objectifs ministériels.

Critères : On utilise les renseignements sur le rendement des projets pour le processus décisionnel et la production de rapports sur les résultats.

Le Ministère a établi, en fonction de son architecture des activités de programmes (AAP), un cadre détaillé pour les agents de projets afin de déterminer la façon dont il convient de mesurer les résultats des projets. Le cadre indique les activités essentielles des programmes, les sous-activités et les indicateurs de rendement normalisés (souvent appelés indicateurs de l’AAP), qui ensemble servent de fondement pour la production de rapports sur le rendement et la reddition de comptes des projets et du Ministère.

L’AAP actuelle indique 68 indicateurs qui peuvent être utilisés pour mesurer le rendement des projets dans le cadre des quatre activités de programme du Ministère et des dix-huit sous-activités. Le grand nombre d’indicateurs quantitatifs laisserait sous entendre un haut degré de différentiation et de précision des produits au sein des activités du Ministère. Toutefois, les agents de projets interrogés ont signalé que bon nombre des indicateurs étaient trop généraux ou ambigus et faisaient l’objet de différentes interprétations de la part des agents et des promoteurs au moment de mesurer les résultats des projets.

Les lignes directrices sur l’AAP contraignent actuellement les agents de projets à harmoniser leurs projets sur une seule sous-activité et conseillent de choisir entre un et quatre indicateurs de l’AAP classés dans la sous-activité choisie. En plus des soixante huit indicateurs normalisés de l’AAP, le Ministère permet également aux agents de projets d’utiliser d’autres indicateurs uniques pour les aider à mieux définir les résultats pour l’éventail de projets que le Ministère réalise. Ces indicateurs uniques ne sont pas jugés obligatoires et on ne recueille pas les données connexes sur les résultats pour produire des rapports ministériels.

Pendant notre examen des vingt et un dossiers de projets, nous avons constaté que les agents de projets choisissaient en règle générale un ou deux indicateurs normalisés de l’AAP par projet. Dans l’échantillon testé, il y avait trente-cinq indicateurs uniques créés contre vingt-six indicateurs normalisés de l’AAP sélectionnés. L’usage répandu d’indicateurs uniques est dans une certaine mesure en réaction à l’opinion des agents de projets selon laquelle le cadre de l’AAP continue d’évoluer et qu’il ne représente pas encore tout à fait ce que mesure réellement le rendement de leurs projets. Il est aussi en partie employé pour résoudre le problème d’ambiguïté des indicateurs actuels. Les employés régionaux jugent également les indicateurs uniques essentiels pour relater les réussites liées à leurs projets. Le fait de ne pas harmoniser un projet à la sous-activité la plus adéquate a également eu pour résultat que certains indicateurs de l’AAP étaient jugés uniques, parce qu’ils se trouvaient à l’extérieur de la sous-activité avec laquelle le projet était harmonisé.

Le choix d’indicateurs et d’objectifs est un processus itératif auquel participent le personnel régional et les promoteurs de projets. Les agents de projets tiennent également compte des facteurs comme la capacité des promoteurs et leur subtilité à surveiller les résultats des projets et à produire des rapports ainsi que le fardeau de la production de rapports. Malgré l’examen et l’approbation des indicateurs et des objectifs des projets par la direction, il existe certains risques que le choix d’indicateurs et d’objectifs soit démesurément déterminé par des questions autres que celles qui sont les plus importantes pour la mesure des résultats et la reddition de comptes. Les agents de projets trouvent également qu’il est difficile de fixer des objectifs lorsque les projets comportent des services, couvrent plusieurs années ou englobent plusieurs stades de développement et de réalisation. D’autres instructions et une formation supplémentaire pourraient s’avérer un atout.

D’une part, le système officiel de rapport sur le rendement à l’échelle ministérielle repose sur l’AAP et les indicateurs normalisés approuvés. D’autre part, les agents qui participent à l’administration quotidienne des programmes du Ministère mettent amplement l’accent sur les indicateurs uniques de mesure des résultats des projets. Il faudrait réduire la divergence des méthodes qui en découlent sur le plan opérationnel et ministériel afin de favoriser une meilleure harmonisation des résultats des projets avec les rapports ministériels et de concentrer les efforts de collecte de données sur ce que le Ministère juge nécessaire pour ses activités et ses rapports. La collecte et le traitement de données sur les indicateurs uniques, en plus de la collecte de données sur un grand éventail d’indicateurs de l’AAP, sont très gourmands en ressources.

Selon le guide du Secrétariat du Conseil du Trésor du Canada pour établir un cadre de stratégie de mesure du rendement, « la stratégie de mesure du rendement est plus susceptible d’être mise en œuvre si le nombre d’indicateurs est raisonnable » 1. De nombreuses choses peuvent être mesurables, mais elles ne sont toutefois pas essentielles à la réussite du Ministère. Un petit nombre d’indicateurs pourrait également aider à rester concentré sur les facteurs essentiels pour le Ministère. Selon le vérificateur général du Canada : « Parce qu’elle crée des problèmes et contribue à frustrer les intervenants, la complexité excessive est l’un des principaux facteurs de risque qui menace la réussite des efforts de mise en œuvre de la gestion axée sur les résultats. Plus un système est facile à utiliser et à mettre en application, plus les intervenants seront portés à l’adopter et à l’apprécier.» 2

Au cours des deux dernières années, le Ministère a réalisé plusieurs initiatives visant à examiner et à modifier son AAP et ses cadres de mesure du rendement. Il a récemment publié un guide de référence, Mesure du rendement : Subventions et contributions, pour aider les agents à appliquer le cadre de l’AAP de façon plus cohérente. On a également mis sur pied un groupe de travail composé de représentants de l’administration centrale et des régions pendant l’exercice financier afin d’examiner les difficultés, les solutions possibles et les améliorations à apporter à la mesure du rendement et à la production de rapports. La fixation d’objectifs régionaux et la collecte de renseignements régionaux visent également à contribuer à mieux lier les renseignements sur le rendement au processus décisionnel et à la production de rapports sur les résultats.

Recommandation 1 : Le Ministère doit continuer de simplifier son cadre pour la collecte et l’utilisation des renseignements sur le rendement des projets comme suit :

  • En veillant à une solide harmonisation des résultats des projets par le biais d’un ensemble clair et intégré de mesures du rendement;
  • En limitant le nombre de mesures du rendement;
  • En offrant régulièrement de la formation au personnel sur le cadre et son application.

Collecte, examen et saisie des données sur le rendement des projets

Critères : Des mécanismes de contrôle adéquats existent pour collecter rapidement des données sur le rendement, veiller à leur fiabilité et les saisir correctement.

Les bénéficiaires doivent produire des rapports sur l’évolution de leurs projets en fonction du calendrier des activités et des indicateurs du rendement indiqués dans l’accord de contribution signé avec le Ministère. Le Ministère a déterminé comme exigences de base que les rapports d’étape doivent être publiés « au moins deux fois par année  qu’une demande de remboursement soit soumise ou non. Aucun paiement ne sera versé avant d’avoir reçu un rapport d’étape. Le système de gestion de projets comporte une alerte de report et une fonction de production de rapports pour les rapports d’étape en retard.

La plupart des agents de projets connaissent les normes susmentionnées, mais ne les respectent pas toujours. Sur les vingt et un échantillons testés, dans trois cas, les rapports d’étape étaient publiés moins souvent que deux fois par année. Dans trois autres cas, les rapports d’étape étaient publiés moins souvent que le nombre de demandes de remboursement soumises. Dans tous les cas toutefois, les rapports d’étape finaux avaient été documentés.

Les agents de projets examinent les renseignements sur le rendement contenus dans les rapports d’étape afin de déterminer s’ils sont raisonnables et conformes aux exigences établies dans l’accord de contribution. Les gestionnaires doivent également examiner périodiquement les données sur le rendement. S’il y a des anomalies évidentes, des incohérences avec les précédents rapports, des erreurs apparentes ou des problèmes de rendement, les agents de projets doivent normalement chercher des éclaircissements auprès du client. En vertu de la politique ministérielle, un projet n’est pas nécessairement jugé en défaut s’il n’atteint pas les résultats escomptés.

Les visites sur le terrain et les vérifications ponctuelles sont un autre outil dont les agents de projets peuvent se servir à leur discrétion. Toutefois, on se fie principalement à la connaissance qu’ont les agents de leurs clients et des projets, ainsi qu’à leur expérience et leur jugement. Les étapes réelles suivies pour examiner la fiabilité des données sur le rendement des rapports d’étape peuvent donc varier d’un agent de projets à l’autre.

Les renseignements sur les principaux résultats qui se trouvent dans les rapports d’étape envoyés par les bénéficiaires de fonds ont été convenablement saisis dans la plupart des projets évalués. On a noté certaines petites exceptions où les explications des différences de résultats signalés par les clients et saisis dans le système de gestion par les agents de projets n’étaient pas tout de suite visibles.

Le système de gestion de projets est doté de mécanismes de vérification pour la saisie de données dans les champs texte, date et nombre. Un avis d’erreur s’affiche si les résultats du rendement ne sont pas saisis sous la forme de nombres. Ces mécanismes permettent d’éviter les erreurs de saisie. Un mécanisme de contrôle du système permet également de s’assurer que l’agent de projets a rempli les sections clés du rapport final afin de pouvoir conclure un projet. On a jugé adéquates les procédures de secours pour récupérer les données sur le rendement saisies dans le système.

___________________________

1 Pour soutenir des évaluations efficaces : Guide d’élaboration de stratégies de mesure du rendement, Secrétariat du Conseil du Trésor du Canada, 2009

2 Mise en œuvre de la gestion axée sur les résultats : leçons tirées de la documentation, vérificateur général du Canada, mars 2000