Diversification de l'économie de l'Ouest Canada
Symbole du gouvernement du Canada

Liens de la barre de menu commune

Approche et méthode d’évaluation

Les évaluateurs ont consulté les gestionnaires de programme afin d’élaborer un modèle logique sur lequel repose cette évaluation théorique. L’évaluation fait appel à un concept quasi expérimental, étayé par un groupe témoin non équivalent. Afin d’optimiser l’objectivité et la pertinence des conclusions, les évaluateurs ont recueilli les commentaires du personnel du programme tout au long du processus d’évaluation. 

Activités menées dans le cadre de l’évaluation

Consultations préliminaires

Des consultations préliminaires ont été menées avec les agents du Ministère afin d’élaborer le cadre d’évaluation et les guides d’entrevue, et de discuter de la disponibilité de données utiles. Nous avons également consulté ces agents pour dresser une liste des personnes à interviewer et des études de cas. Grâce à ces consultations, nous avons aussi obtenu des données d’évaluation préliminaires.

Examen de la documentation et de la littérature

L’évaluation repose également sur un examen de la documentation et de la littérature contenant de l’information pertinente sur les initiatives. Les trois types de documents suivants ont été évalués et analysés :

  • Documentation de base générale (p. ex. présentations au CT, documents qui décrivent l’historique, le bien-fondé et la théorie de l’IDEC et de l’IAA, etc.);
  • Documentation sur les programmes et les politiques (p. ex. rapports ministériels sur le rendement, base de données ministérielle, dossiers des projets);
  • Littérature sur les programmes d’adaptation communautaires, pratiques exemplaires relativement à la conception de tels programmes et documents sur le dendroctone du pin ponderosa.

Examen des dossiers

À l’aide d’un modèle d’extraction de données personnalisé, l’équipe d’évaluation a analysé toute l’information contenue dans les bases de données ministérielles (portail de projets et système financier GX) et d’autres systèmes de collecte de données ministériels, ainsi que dans les dossiers sur papier. L’examen de la base de données s’est terminé en juillet 2010 et l’examen des dossiers en Colombie-Britannique, en août 2010. Au départ, la sous-activité déclarée pour 140 des 144 projets de l’IDEC était liée au développement communautaire, alors la sous-activité des autres projets était liée à la planification communautaire (1 projet) ou à l’adaptation communautaire (3 projets). La sous-activité « adaptation communautaire » a par la suite été changée pour « développement communautaire » et de nouveaux indicateurs de l’architecture d’activités de programmes ont été ajoutés. Tous les projets d’aéroport étaient liés à la sous-activité du développement communautaire.

Parmi les 144 projets financés dans le cadre de l’IDEC, 83 (58 %) étaient en cours et devaient se terminer le 31 mars 2011. Quatre-vingt-six projets (60 %) mettaient l’accent sur le renforcement des capacités communautaires, 37 (26 %), sur la diversification économique, 19 (13 %) sur l’infrastructure économique et les deux autres, sur l’exploitation forestière à valeur ajoutée. Il y a eu relativement peu de projets d’exploitation forestière à valeur ajoutée financés dans le cadre de l’IDEC puisque les producteurs et les exportateurs de bois d’oeuvre n’étaient pas admissibles à un financement en raison des restrictions imposées à ces entreprises et à leurs filiales dans le cadre de l’Accord sur le bois d’oeuvre. Cinquante des projets financés étaient liés au tourisme (études sur le développement du tourisme et études de faisabilité, principalement). D’autres projets reposaient sur des études liées au développement économique communautaire (19), sur le développement de l’industrie forestière (17), sur le développement de zones industrielles (15), sur la formation (10) et sur le développement de l’agriculture (9).

Au moment où l’on a procédé à la collecte des données pour la présente évaluation, les agents de liaison du Ministère pour les projets concernant les aéroports avaient été réaffectés à d’autres tâches au sein du bureau régional. Par conséquent, les dossiers sur papier des bureaux de Vancouver ont été notre seule source d’information sur ces projets.

Retourner au haut de la pageHaut de la page

Analyse comparative

L’évaluation comprenait un examen des programmes comparables à ces deux initiatives, notamment :

  1. Un examen de la littérature sur des programmes similaires menés dans les régions touchées par l’infestation de dendroctone du pin ponderosa;
  2. Quatorze entrevues avec des fonctionnaires qui prennent part ou qui ont pris part à des programmes similaires d’adaptation économique;
  3. Une analyse des résultats afin d’élaborer un profil des programmes similaires, d’examiner l’IDEC et l’IAA en les comparant à ces programmes et de dégager des pratiques exemplaires pour l’élaboration de programmes futurs, ainsi que les répercussions éventuelles dont il faudra tenir compte;
  4. Un examen de la littérature concernant les pratiques exemplaires liées à la conception de programmes d’adaptation économique.

L’examen a permis de conclure qu’il n’existe pas de programme d’adaptation idéal convenant à toutes les situations; cependant, l’étude des programmes comparables a permis de dégager les facteurs de succès de ces programmes. Tel que mentionné plus loin dans le présent rapport, l’IDEC et l’IAA intègrent certains de ces facteurs de succès, mais les sujets interrogés affirment que d’autres, comme le suivi, ont été plus difficiles à mettre en oeuvre, voire totalement négligés.

Entrevues avec des intervenants internes et externes

Les évaluateurs ont mené 49 entrevues : 

  • 13 entrevues avec le personnel du Ministère participant à l’exécution de l’IDEC et de l’IAA. Ces 13 répondants ont été retenus en fonction de leur participation à ces programmes et de leurs connaissances;
  • 19 entrevues avec les employés de 16 des 19 organismes du Programme de développement des collectivités qui ont pris part à l’IDEC. Même si nous avons tenté d’obtenir la participation des 19 organismes, 3 ont décliné notre invitation;
  • 10 entrevues avec des représentants d’autres ministères et intervenants qui ont participé à l’IDEC/IAA ou qui connaissent ces initiatives. Ces 10 représentants ont été retenus suite à notre étude de la littérature et grâce à un sondage en « boule de neige ». Ils ont participé à l’exécution d’autres programmes et services visant des collectivités similaires;
  • 7 entrevues avec des experts du domaine de l’adaptation et de la diversification communautaire. Il s’agit d’universitaires et de professionnels sélectionnés en fonction de leurs connaissances sur les questions d’adaptation et de diversification communautaire en C.-B., plus particulièrement dans le contexte de l’infestation de dendroctone du pin ponderosa.

Sondage auprès des promoteurs

Dans le cadre du sondage auprès des promoteurs, nous avons tenté de contacter au moins un promoteur pour chacun des projets financés. Nous avons réussi à communiquer avec les représentants de 105 des 144 (79 %) projets de l’IDEC, et avec ceux des 3 (100 %) projets de l’IAA. Nous avons également communiqué avec des promoteurs de projets non financés 1) dans chaque zone; 2) dans chacune des quatre catégories de demandeurs de financement : indépendant, petite et moyenne entreprise, collectivité autochtone et autorité municipale, et 3) qui ont été refusés à l’étape de la déclaration d’intérêt ou du dépôt des propositions.

Les consultants ont élaboré et prétesté le questionnaire, et mené des entrevues téléphoniques avec 18 promoteurs de projets financés, y compris :

  1. Les promoteurs de l’Initiative de diversification économique des collectivités : un échantillon représentatif de 114 promoteurs de 105 projets financés dans le cadre de l’IDEC (38 menés par des organisations indépendantes, 36, par des organisations autochtones, 31, par les autorités municipales et 67 % dans la zone 2);
  2. Les promoteurs de l’Initiative d’amélioration des aéroports : quatre promoteurs des trois projets aéroportuaires financés (un répondant de Kamloops, un de Kelowna et deux de Prince George).

Les consultants ont élaboré et prétesté le questionnaire et mené des entrevues téléphoniques avec 98 promoteurs de projets qui n’ont pas reçu de financement, dont : 48 projets menés par des organisations indépendantes, 22, par des petites et moyennes entreprises, 16, par des organisations autochtones et 12 par les autorités municipales. Les évaluateurs ont tenté de communiquer avec tous les promoteurs qui ont déposé une déclaration d’intérêt; cependant, seulement 98 représentants étaient disposés à participer à une entrevue au moment de l’évaluation. 

La collecte de données s’est échelonnée sur une période de quatre semaines, entre le début de novembre jusqu’au début de décembre 2010, et nous avons obtenu les coordonnées des répondants grâce à la base de données de projet du Ministère. La plupart des promoteurs avec qui nous avons communiqué étaient des gestionnaires, des directeurs, des propriétaires d’entreprise et des membres de la direction d’organisations municipales, de bandes autochtones et d’autres organismes communautaires.

Les résultats des entrevues et du sondage rapportés aux sections 3 et 4 du présent rapport comprennent les réponses aux questions visant à évaluer la pertinence et le rendement des initiatives en fonction d’une échelle de 1 à 5, où 1 correspond à « aucune incidence », 3, à « une certaine incidence » et 5, à « une incidence marquée ».

Retourner au haut de la pageHaut de la page

Études de cas

Les études de cas pour l’IDEC ont été sélectionnées par l’agent de programme afin de représenter différents défis et obstacles observés dans les deux zones et en lien avec les quatre objectifs du programme. En tout, huit études de cas ont été effectuées pour l’IDEC. Comme nous ne pouvions pas recourir aux services d’un agent de programme lors de la collecte de données concernant l’IAA, l’équipe d’évaluation a retenu le projet de l’aéroport de Prince George, qui est le plus important des trois projets. En tout, 17 intervenants ont été interrogés pour les 8 études de cas de l’IDEC et 2, pour l’étude de cas de l’IAA.

Évaluation des résultats

Pour mieux étayer les répercussions socio-économiques de l’IDEC/IAA, nous avons exploré la faisabilité de deux options :

  • Option 1 : utiliser des indicateurs socio-économiques communautaires, avant et après l’initiative, pour les collectivités touchées de la C.-B., provenant notamment de Statistique Canada ou tirés de la littérature sur le dendroctone du pin ponderosa. Ces indicateurs devaient permettre de mesurer les répercussions socio-économiques de l’IDEC/IAA.
  • Option 2 : recourir à des collectivités témoins, aux fins de comparaison.

Comme bon nombre des projets reposaient sur la production de rapports et que nous manquions de temps pour faire une collecte de données régionales à partir de sources de données existantes, l’option 1 n’a pas été retenue. La méthode suivante a été établie pour l’option 2 :

  1. Trente-et-un projets de l’IDEC ont été dégagés en fonction des sept secteurs suivants : 1) développement touristique (7 collectivités); 2) études de faisabilité d’un plan énergétique (7 collectivités); 3) stratégies de développement économique communautaire (5 collectivités); 4) revitalisation du centre-ville (3 collectivités); 5) étude de faisabilité sur l’exploitation forestière (3 collectivités); 6) étude sur l’aménagement du territoire (3 collectivités) et 7) étude de faisabilité sur l’agriculture (3 collectivités).
  2. La collectivité associée à chacun des 31 projets de l’IDEC a été jumelée à une collectivité témoin qui a également été touchée par l’infestation de dendroctone du pin ponderosa, mais qui n’a pas obtenu de financement pour ce secteur en vertu de l’IDEC (elle peut cependant avoir obtenu un financement pour un autre secteur). Les collectivités étaient jumelées en fonction de la région, de la population, de leur statut de collectivité autochtone et de leur niveau de dépendance envers la forêt.
  3. Quatre aéroports (non financés dans le cadre de l’IAA) ont été retenus aux fins de comparaison et jumelés aux 3 projets d’aéroports financés dans le cadre de l’IAA en fonction de volumes de passagers similaires en 2008 (à l’embarquement et au débarquement). Les quatre aéroports sont les suivants : Victoria, Abbotsford, Comox et Fort St John. Pendant la durée du Programme fédéral sur le dendroctone du pin ponderosa, ces aéroports ont entrepris divers travaux de rénovation, visant notamment à améliorer les voies d’accès et l’éclairage, et à acquérir des équipements.
  4. Entrevues avec les représentants des 31 collectivités témoins et de tous les aéroports retenus aux fins de comparaison.

Retourner au haut de la pageHaut de la page

Groupes de discussion

Tous les employés du Ministère responsables des initiatives et tous les employés des organismes du Programme de développement des collectivités qui ont pris part à l’exécution des initiatives ont été invités à participer à l’un des deux groupes de discussion qui ont eu lieu à Vancouver, au début de janvier 2011. Les seize participants aux groupes de discussion comprenaient six employés du Ministère et dix employés des organismes du PDC. Les employés du Ministère étaient présents en personne et les employés des organismes du PDC ont participé par vidéoconférence. 

Un consultant a présenté les résultats des recherches aux participants et ensuite animé les discussions. Les objectifs de cet exercice étaient de revoir et de confirmer ces résultats et de trouver des façons d’améliorer l’efficacité et l’efficience de programmes similaires qui pourraient être déployés au cours des années à venir.

Limites de la méthode

Examen des dossiers de projet. Il s’est révélé difficile de déterminer lesquels des 144 projets de l’IDEC étaient incomplets en juillet 2010 : la base de données du Ministère en dénombrait 83, alors que celle du bureau de la Colombie-Britannique en dénombrait 51. Nous avons observé quelques incohérences de nature financière concernant les trois projets de l’Initiative d’amélioration des aéroports. Plus précisément, 1) aéroport de Kamloops : dans le rapport le plus récent du client (septembre 2009), le coût du projet était estimé à 24,34 M$, cependant, le système financier et la base de données du Ministère affichaient toujours la valeur originale de 18 500 000 $; 2) aéroport de Kelowna : un petit écart entre le coût du projet mis à jour sur la page d’information du portail de projets (7,82 M$) et le coût original de 7,97 M$ indiqué dans le reste de la documentation du portail de projets, ainsi que dans l’entente de contribution modifiée. Les coûts totaux des projets diffèrent dans le système financier et la base de données du Ministère pour 71 projets de l’IDEC modifiés et un projet de l’IAA, sans doute parce que le système financier n’avait pas été mis à jour. Par conséquent, nous avons utilisé la base de données du Ministère pour calculer le « levier financier ». Également, le montant versé pour l’aéroport de Kelowna selon le portail de projets (1,35 M$) ne correspond pas au montant affiché dans le système financier (1,12 M$) (30 juin 2010).  

Études de cas. Les études de cas permettent d’effectuer une analyse approfondie qui serait autrement impossible. Compte tenu du temps et des dépenses que suppose la réalisation d’une étude de cas, notre but était de sélectionner des cas pour leur potentiel descriptif du contexte. Même si les échantillons quantitatifs doivent être représentatifs et généralisables, la sélection d’un échantillon d’études de cas n’est pas faite au hasard et vise plutôt à éclairer les processus complexes qui sous-tendent un nombre restreint de projets. Les entrevues menées à cet égard reposaient sur l’expérience des répondants, leurs perceptions et leurs souvenirs des projets au moment de l’évaluation; les résultats de ces entrevues peuvent donc être biaisés. Certains répondants, par exemple, n’ont commencé à participer au projet qu’après le processus de demande, ce qui ne nous a pas permis de recueillir de l’information sur le processus de demande lié à ce projet particulier. Il y avait également un chevauchement avec les sondages auprès des promoteurs, puisque les même 19 promoteurs ont participé à la fois au sondage et aux entrevues liées aux études de cas. En plus du biais de rappel possible, il existe également une possibilité d’erreur de mesure liée à l’utilisation de questionnaires dont la validité ou la fiabilité n’a pas été testée. Par exemple, la définition de termes comme « capacité communautaire » et « infrastructure économique » était ouverte à l’interprétation. Pour compenser cette possibilité de biais, les études de cas de cette évaluation ne sont qu’une source de données qui vise à compléter les autres.

Entrevues. Les représentants de certains projets financés avaient changé d’organisation, pris leur retraite ou ne se souvenaient plus très bien des détails des projets. Nous avons tenté de mettre à jour nos coordonnées et donné aux sujets interrogés le temps de revoir la documentation sur les projets avant l’entrevue. Bon nombre des projets financés étaient toujours en cours et les sujets interrogés ont tenté d’en estimer les répercussions, lorsque c’était possible. Des 49 sujets interrogés, six ont pu nous fournir de l’information sur l’Initiative d’amélioration des aéroports, information qui se limitait à un aspect particulier de l’Initiative : un des aéroports, une période en particulier (notamment, la fin du programme) ou une activité (p. ex. la production de rapports, le suivi). Par conséquent, l’information fournie à la section 3 concerne à la fois l’IDEC et l’IAA; comme cette information se trouve déjà à la section 3, elle n’est pas reprise dans la section 4. Le seul employé du Ministère qui connaissait très bien l’Initiative d’amélioration des aéroports n’était pas disponible pour participer à une entrevue au cours de la période de collecte des données; cette personne a pris part à une entrevue vers la fin du processus d’évaluation et l’information que nous en avons tirée a été intégrée à la section 4.  

Sondages auprès des promoteurs. Les principales difficultés étaient les suivantes : 1) dans huit cas, nous avons obtenu de l’information sur plusieurs projets au cours d’une seule entrevue, ce qui a pu créer un biais ou une généralisation des réponses. Pour cette raison, chaque répondant a été comptabilisé comme un seul point de donnée, sans égard au nombre de projets auxquels il a participé; 2) pour les projets non financés, certaines entreprises/organisations n’existaient plus au moment de l’évaluation. Cela signifie que certains des répondants les plus touchés par le fait de ne pas avoir obtenu de financement ont été exclus du sondage. Nous avons communiqué avec un vaste échantillon de promoteurs de projets non financés pour écarter ce risque; 3) de nombreux projets venaient de se terminer ou étaient toujours en cours, ce qui ne laissait pas suffisamment de temps aux promoteurs pour en évaluer les répercussions économiques. Les questions ont donc été formulées de façon à recueillir les opinions des répondants concernant les répercussions économiques possibles des projets qui n’étaient pas encore terminés (ou qui venaient de se terminer). 

Évaluation des résultats. La taille de l’échantillon des promoteurs de projets similaires était relativement restreinte : 26 des 31 collectivités témoins ont accepté de participer à une entrevue, dont 16 avaient entrepris des projets similaires. La plupart de ces projets sont toujours en cours et peu de résultats ont été rapportés pour ces projets. Neuf des projets étaient des études, dont l’unique résultat est la production d’un rapport. Les recommandations issues de ces rapports doivent être mises en oeuvre avant que l’on puisse en mesurer les répercussions. En outre, la plupart des projets ont été lancés récemment, et seulement 6 des 16 projets étaient terminés au moment de l’entrevue. Même dans les cas où les projets étaient terminés, il est encore trop tôt pour observer des résultats concrets. Les projets ne sont peut-être pas directement comparables : les projets choisis dans les collectivités témoins relevaient du même secteur, mais avaient une orientation différente, notamment en ce qui a trait à la nature de l’étude ou de la recherche ou du type d’infrastructure élaborée.   

Attribution. La détermination des effets nets des activités du Ministère est difficile parce que nous ne disposons pas de données de base comparables et qu’à long terme, il est difficile de démêler les contributions de l’IDEC/IAA de celles de leurs partenaires financiers, et de dégager les nombreux autres facteurs qui ont une incidence sur les résultats à très long terme. Cette évaluation fait appel à une analyse axée sur la contribution pour déterminer si les activités menées dans le cadre des initiatives ont contribué à la réalisation des objectifs. L’analyse axée sur la contribution ne vise pas à déterminer les répercussions uniques des programmes, mais plutôt à indiquer si et dans quelle mesure ces répercussions ont joué un rôle dans la concrétisation des résultats stratégiques.