Diversification de l'économie de l'Ouest Canada
Symbole du gouvernement du Canada

Liens de la barre de menu commune

Méthode

Portée du travail

L’évaluation du programme des Centenaires comportait plusieurs méthodes de collecte de données, décrites ci-dessous. L’évaluation visait principalement les réussites et la rentabilité. Les objectifs de l’évaluation et les principaux points d’évaluation sont présentés au tableau 2-1.

Tableau 2-1  Points d’évaluation du programme des Centenaires
  Points d’évaluation
Pertinence

3.1  Dans quelle mesure le besoin précis que le programme visait à combler existe-t-il toujours?

3.2  Y a-t-il chevauchement ou dédoublement des efforts entre le programme des Centenaires et d’autres programmes, politiques ou initiatives offerts par d’autres intervenants?

Atteinte des résultats

Résultat stratégique

De quelle façon et dans quelle mesure le programme des Centenaires a-t-il amélioré le développement économique des collectivités et favorisé des collectivités économiquement viables dans les régions de l’Ouest canadien?

Résultats attendus

4.1 Dans quelle mesure les projets ont-ils atteint leurs cibles en matière de rendement?

4.2 Dans quelle mesure les projets ont-ils permis de faire participer davantage la collectivité?

4.3 Dans quelle mesure les projets ont-ils amélioré et renforcé l’économie des collectivités?

4.4 Dans quelle mesure les projets ont-ils créé des possibilités de coordination et de collaboration entre les collectivités et le gouvernement?

Résultat final

4.5 Dans quelle mesure les projets ont-ils permis d’intensifier les activités économiques qui améliorent la compétitivité des collectivités de l’Ouest canadien?

Résultats inattendus

4.6 Y a-t-il eu des résultats positifs ou négatifs inattendus découlant des activités du programme des Centenaires?

Efficience et économie manifestes

5.1 Dans quelle mesure les activités du programme des Centenaires ont-elles été rentables?

5.2 Existe-t-il d’autres approches ou solutions plus rentables ou plus efficientes qui permettraient d’atteindre les objectifs?

5.3 Quels facteurs ont soutenu la réussite du programme? Lesquels lui ont nui?

Activités d’évaluation

Consultations préliminaires

Des consultations préliminaires ont été menées auprès d’agents ministériels pendant l’élaboration du cadre d’évaluation et des guides d’entrevue. Ces consultations ont également porté sur la disponibilité des données. Les agents ont été consultés pour créer des études de cas et la liste des intervenants clés à interroger. Ces consultations ont également permis d’obtenir certains renseignements préliminaires sur l’évaluation.

Examen des documents et de la documentation

L’évaluation comportait l’examen de documents et de documentation renfermant des renseignements pertinents au programme des Centenaires. L’objectif principal de l’examen était d’évaluer les répercussions du programme.

Trois types de documents ont été évalués et analysés durant l’évaluation :

  • Documents généraux (p. ex. présentations au CT, documents qui décrivent l’historique du programme des Centenaires, justification, modèle théorique, etc.).
  • Documentation sur le programme et les politiques (p. ex. Rapports ministériels sur le rendement, base de données ministérielle, dossiers des projets).
  • Documentation sur d’autres célébrations de centenaires.

Deux échantillons différents, mais qui se rejoignent néanmoins, de collectivités de la Saskatchewan, ont aussi permis d’évaluer la partie communautaire du programme :

  1. Examen d’un échantillon de dossiers :un échantillon représentatif de 99 collectivités de la Saskatchewan a été choisi pour l’examen des dossiers, durant les travaux sur le terrain en Saskatchewan (voir la section 2.2.3 ci-dessous).

  2. Échantillon de collectivités :nous avons interrogé des représentants de 202 des 723 collectivités de la Saskatchewan ayant reçu un financement dans le cadre de l’initiative communautaire afin d’obtenir des renseignements sur les résultats. Les évaluateurs souhaitaient interroger des représentants des 99 collectivités visées par l’examen des dossiers, mais seulement 69 collectivités ont accepté de participer (voir la section 2.2.4 ci-dessous).

Examen des dossiers et analyse des données des projets des centenaires

À l’aide d’un modèle d’extraction de données personnalisées, l’équipe d’évaluation a analysé toutes les données sur les projets des centenaires figurant dans la base de données du Ministère (InfoQuest/Portail de projets) et tout autre système ministériel de collecte de données, y compris les dossiers. L’examen de la base de données et l’examen des dossiers sur les projets de l’Alberta ont été terminés en juillet 2009. Le travail sur le terrain, y compris l’examen des dossiers en Saskatchewan, a été terminé en août 2009. Tous les projets de l’Alberta et les initiatives d’immobilisations stratégiques de la Saskatchewan étaient liés à la sous-activité de développement communautaire, dans le cadre de l’activité de programme Planification, développement et adaptation de l’économie des collectivités. La base de données établissait un lien entre la sous-activité de développement des collectivités et les projets de 682 collectivités de la Saskatchewan, tandis que la sous-activité relative aux biens durables s’appliquait aux 12 collectivités restantes. Pour confirmer l’exactitude de la sous-activité liée aux biens durables, on a procédé à l’examen des dossiers de 11 des 12 collectivités durant le travail sur le terrain en Saskatchewan, et il a été constaté que les renseignements qui figuraient dans les dossiers étaient les mêmes que ceux figurant dans la base de données. Le tableau 2-2 indique le type de collectivités, en fonction de l’état d’avancement du projet, pour les projets communautaires en Saskatchewan. Le financement offert aux collectivités allait de 680 $ à 685 820 $. La moitié des collectivités ont reçu un financement de 8 720 $ ou moins.

Tableau 2-2  Nombre d’habitants, montant du financement et état des projets communautaires en Saskatchewan, par type de collectivité
  Type de collectivités Total
Autochtone Francophone
Nombre de projets 51 8 723
État d’avancement du projet      
  Aide retirée 17 0 29
  Projet terminé 34 8 694
       Niveau de financement ($)      
       =< 2 000 1   101
      2 001 - 4 000 1 1 87
      4 001 - 6 000 2 1 71
      > 6 000 30 6 435

Remarque : Le type de collectivités a été établi à l’aide des listes des agents de projet; les collectivités qui correspondent à deux catégories (p. ex. autochtones et rurales) figurent dans chaque catégorie dans le tableau, mais ne sont comptées qu’une fois dans le total.

L’équipe d’évaluation a examiné tous les renseignements figurant dans la base de données et dans les dossiers relativement aux sept projets d’immobilisations durables en Alberta, aux quatre projets présentant l’image de marque du centenaire de l’Alberta et aux six initiatives d’immobilisations stratégiques en Saskatchewan. Les renseignements de la base de données sur les 723 projets communautaires en Saskatchewan ont été examinés. Au total, 99 collectivités de la Saskatchewan ont été choisies en vue de l’examen des dossiers durant le travail sur le terrain en Saskatchewan. Un échantillon de 99 projets communautaires a été constitué; il s’agissait de déterminer s’il existait un écart entre les dossiers et la base de données[2]à partir d’un échantillon représentatif des collectivités. Plus particulièrement, l’échantillon comportait 11 collectivités dont l’activité était liée à un « bien durable », 13 communautés des Premières nations, 4 collectivités francophones et un échantillon stratifié de 71 collectivités choisies aléatoirement en fonction du niveau de financement à l’aide d’une méthode de répartition proportionnelle[3]. Les échantillons des communautés des Premières nations et des collectivités francophones ont également été constitués en fonction du niveau de financement. L’échantillon de 71 collectivités comportait 13 collectivités ayant reçu jusqu’à 2 000 $, 10 collectivités ayant reçu entre 2 001 $ et 4 000 $, neuf collectivités ayant reçu entre 4 001 $ et 6 000 $, et 67 collectivités ayant reçu plus de 6 000 $. 

Enquête auprès des collectivités

Un échantillon représentatif (selon les niveaux de financement) de 202 des 723 collectivités de la Saskatchewan ayant reçu un financement dans le cadre de l’initiative communautaire a été visé par des entrevues. Les estimations provenant d’un échantillon de 202 collectivités sont exactes à plus ou moins 7 %, 19 fois sur 20. L’enquête portait sur 10 communautés autochtones et deux collectivités francophones, et l’accent a été mis sur les 99 collectivités ayant fait l’objet d’un examen des dossiers de projet (déjà décrit à la section 2.2.3 ci-dessus). Sur les 202 entrevues, 60 portaient sur des projets faisant partie de l’échantillon de 99 projets ayant fait l’objet d’un examen des dossiers.

Les consultants ont élaboré et mis à l’essai préalablement le guide d’entrevue, et ont mené les 202 entrevues. Toutes les entrevues ont été faites par téléphone entre octobre et novembre 2009. Lorsque les coordonnées des personnes-ressources n’étaient pas disponibles ou n’étaient plus à jour, les consultants ont utilisé des annuaires pour trouver les coordonnées des municipalités faisant partie de l’échantillon, et ont demandé à parler à la personne ou aux personnes qui géraient les projets financés dans le cadre du programme des centenaires ou qui avaient pris part à ces projets. Les participants étaient des employés actuels ou des anciens employés des municipalités qui avaient participé directement aux activités des projets et qui disaient bien connaître le projet. Seulement une entrevue a été menée pour chaque projet; par conséquent, chaque entrevue représente une seule municipalité et un seul projet. Les représentants des projets communautaires devaient indiquer, à l’aide d’une échelle de 1 à 5 où 1 représente Aucune répercussion, 3, Quelques répercussions et 5, Répercussions majeures, dans quelle mesure leur projet avait engendré des répercussions.

Entrevues auprès d’intervenants clés internes et externes

Une population cible de 45 intervenants clés a été choisie. Il a été possible de réaliser 29 des 45 entrevues prévues (taux de participation de 64 %). Le groupe d’intervenants clés comprenait notamment :

  • Dix employés ministériels responsables du programme des Centenaires et appartenant à la direction du Ministère.
  • Onze promoteurs des principaux projets du centenaire financés en Alberta (trois projets présentant une image de marque du centenaire et huit projets d’immobilisations durables).
  • Cinq promoteurs de projets d’immobilisations stratégiques en Saskatchewan.
  • Trois autres représentants de ministères ayant pris part au programme des Centenaires.

L’analyse des intervenants clés devait porter sur au moins un représentant de chaque projet majeur. Certains des principaux promoteurs de projets du Musée royal de l’Alberta, du Théâtre Persephone et du parc Prairieland de Saskatoon n’ont pu prendre part aux entrevues. Puisque ces intervenants avaient été interrogés dans le cadre des études de cas, les réponses qu’ils avaient alors fournies ont été utilisées dans le cadre de l’analyse des intervenants clés pour compléter les données. Si l’on additionne les 16 entrevues auprès d’intervenants clés et les trois entrevues réalisées dans le cadre des études de cas, en tout, 19 entrevues ont été menées auprès des promoteurs de projets représentant tous les projets de grande envergure mis en œuvre en Alberta et en Saskatchewan, à l’exception du parc Rotary Challenger de Calgary (les intervenants ayant refusé de participer). Les résultats fournis par les intervenants clés sont présentés à la section 4 du présent rapport et combinent les réponses des 19 entrevues menées auprès des promoteurs. Les résultats présentés à la section 4 comprennent la note moyenne accordée par les participants à la contribution de leurs projets à diverses répercussions  (l’échelle allait de 1 à 5, où 1 représentait Aucune répercussion, 3, Quelques répercussions et 5, Répercussions majeures). Les entrevues auprès des intervenants clés ont été réalisées de la façon suivante :

  1. Étape 1 :  Élaboration et examen des guides d’entrevue et des listes de coordonnées. Des guides d’entrevue distincts ont été préparés pour chaque groupe de répondant.
  2. Étape 2 :  Mise à l’essai préalable des guides d’entrevue.
  3. Étape 3 :  Entrevue auprès de 29 employés de DEO et intervenants.
  4. Étape 4 :  Présentation des résultats des entrevues par type de répondants.

 

Tableau 2-3 :  Description des répondants
Type de répondants Nombre % du total
Employés de DEO 10 34 %
Autres employés gouvernementaux 3 10 %
Promoteurs des principaux projets financés dans le cadre du programme 16 55 %
Total 29 100 %

Études de cas

Les études de cas utilisées dans le cadre de l’évaluation et choisies par les agents de programme représentaient l’éventail de projets financés et contenaient des renseignements détaillés sur la réussite du programme et les défis et obstacles rencontrés. Au total, six études de cas ont été menées; celles-ci portaient sur trois des sept projets d’immobilisations durables en Alberta et trois des six initiatives d’immobilisations stratégiques en Saskatchewan. Chaque étude de cas était composée d’un examen du dossier et des documents et d’entrevues par téléphone ou en personne. Pour chaque étude de cas, un ou deux intervenants ont été interrogés. La liste des projets visés par une étude de cas est présentée ci-dessous.

Projet Région Ville Nombre d’entrevues

Parc Prairieland de Saskatoon

Saskatchewan

Saskatoon

2

Parc patrimonial Wanuskewin

Saskatchewan

Saskatoon

1

Théâtre Persephone

Saskatchewan

Saskatoon

2

Musée Glenbow

Alberta

Calgary

1

Musée des beaux-arts de l’Alberta

Alberta

Edmonton

2

Musée royal de l’Alberta

Alberta

Edmonton

2

Limites de la méthode

  • Examen des dossiers de projet : Il existait certaines différences entre les renseignements saisis dans la base de données et les renseignements figurant dans les dossiers; cela a nui à la présentation de renseignements exacts en matière de rendement et de finances. Dans le cas d’un projet d’immobilisations en Alberta, les renseignements financiers figurant dans des dossiers et dans la base de données n’étaient pas les mêmes, et des rapports finaux ou intérimaires importants étaient manquants dans le cas de six projets d’immobilisations stratégiques en Saskatchewan. De plus, 101 des 694 projets communautaires en Saskatchewan n’avaient pas d’indicateurs de rendement, et la base de données ne contenait pas suffisamment de renseignements pour permettre de déterminer si les objectifs en matière de rendement avaient été atteints dans le cas des 593 projets restants. Toutefois, les résultats de ces projets étaient consignés dans les dossiers examinés. La base de données de projets du Ministère était nouvelle, et le personnel devrait traiter un grand nombre de projets dans des délais serrés, tout en apprenant à utiliser la base de données. Pour des raisons d’efficience, le Ministère a décidé de documenter les projets avec diligence dans les dossiers, mais ne l’a pas fait dans la base de données.

  • Enquête auprès des collectivités : Les représentants des projets plus fructueux, ainsi que ceux des projets plus importants sur le plan de la taille et du budget étaient plus susceptibles d’accepter de participer aux entrevues, comparativement aux représentants des projets moins fructueux et de moins grande envergure ayant un budget plus limité. Pour réduire les répercussions potentielles de cette limite, l’équipe a comparé les principales conclusions des entrevues en fonction des montants de financement et des différences présentées. De plus, la distribution du financement au sein de l’échantillon était semblable à celle observée pour les municipalités. Puisque bon nombre des projets étaient terminés en 2006, un grand nombre de personnes-ressources ayant travaillé sur ces projets avaient changé d’organisme, avaient pris leur retraite ou ne se souvenaient pas précisément des résultats du projet. L’équipe a fait son possible pour obtenir les coordonnées à jour des personnes-ressources et joindre les représentants à leur nouveau travail. Enfin, certains participants aux projets avaient de la difficulté à se rappeler les résultats du projet, compte tenu du budget relativement peu élevé et de la longue période qui s’était écoulée depuis la mise en œuvre du projet. Au besoin, les participants ont pu se rafraîchir la mémoire ou consulter d’anciens documents. Les entrevues n’ont pas été menées auprès de participants qui ne se souvenaient pas bien des projets. Le taux de participation à l’enquête était faible (29 %).

  • Études de cas : Les études de cas permettent une analyse approfondie qui ne peut être réalisée que dans ce contexte. Compte tenu des frais que supposent les études de cas et du temps qu’il faut y consacrer, l’objectif était de bien choisir les cas qui décriraient le mieux le contexte. Alors que l’échantillon quantitatif doit être représentatif et généralisable, l’échantillon d’études de cas n’était pas aléatoire et devait nous permettre de comprendre les processus complexes sous-tendant un petit nombre de projets. Les entrevues réalisées dans le cadre des études de cas étaient fondées sur la perception des répondants et leur souvenir au moment de l’évaluation. Il se peut donc que les résultats soient faussés. En plus des altérations liées aux rappels, il est possible qu’il y ait eu des erreurs de mesure liées à l’utilisation de questionnaires qui n’ont pas été mis à l’essai sur le plan de la validité ou de la fiabilité. Par exemple, la signification d’un certain nombre de termes, comme développement économique des collectivités, compétitivité des collectivités et capacités communautaires n’était pas nécessairement la même pour tous les répondants. De plus, certaines questions ont dû être reformulées pour qu’elles puissent s’appliquer aux résultats futurs des projets qui n’étaient pas terminés. Pour compenser les altérations potentielles, les études de cas réalisées dans le cadre de l’évaluation ne constituent qu’une source de données qui vient s’ajouter aux autres sources de données utilisées.

  • Entrevues auprès des intervenants clés : Le fait que les coordonnées des personnes-ressources n’étaient plus à jour a limité la capacité de l’équipe de réaliser des entrevues auprès des intervenants clés. Une grande partie des projets présentant l’image de marque du centenaire en Alberta était terminée en 2006. Bon nombre de promoteurs de ces projets ne travaillaient plus pour l’organisme en question, avaient pris leur retraite ou ne se souvenaient pas clairement des résultats du projet. Seulement 29 entrevues auprès d’intervenants clés ont été réalisées, y compris 16 auprès de personnes-ressources externes au Ministère.

  • Il est difficile d’estimer les répercussions réelles des activités du Ministère puisqu’il n’existe pas de données de base comparables et que, à long terme, il est difficile de séparer les contributions du programme des Centenaires des contributions de ses partenaires financiers, et que bien d’autres facteurs peuvent avoir influé sur les résultats du fait que bien des années ont passé. L’évaluation s’appuie sur une analyse axée sur la contribution pour déterminer si les activités du programme des Centenaires ont contribué à l’atteinte des objectifs. L’analyse axée sur la contribution ne vise pas à établir les répercussions uniques des activités du programme, mais plutôt à indiquer si ces activités contribuaient à l’atteinte des résultats stratégiques et dans quelle mesure.