Diversification de l'économie de l'Ouest Canada
Symbole du gouvernement du Canada

Liens de la barre de menu commune

Méthode d’évaluation

La présente section décrit la conception et la méthode retenues dans le cadre de l’évaluation.

Principales sources de renseignements

Le projet a été mené en deux phases. Au cours de la première phase, des entrevues initiales et un examen des fichiers et des documents ont été réalisés en vue de l’élaboration d’un plan d’évaluation détaillé. Ce plan exposait les stratégies et méthodes devant servir à la deuxième phase du projet. La recherche sur le terrain réalisée à la deuxième phase comportait différents volets, soit un examen exhaustif de la documentation, des entrevues, des études de cas et des discussions en groupe.

1.  Examen de la documentation

Un examen exhaustif des documents et dossiers relatifs aux EPDEO ainsi que de documents pertinents compte tenu des activités menées dans le cadre des ententes a été réalisé. Cet examen a englobé différentes activités, dont :

  • La réalisation d’un examen détaillé des documents pertinents, y compris le Cadre de gestion et de responsabilisation axé sur les résultats concernant les EPDEO, des notes d’information, des bases de données de projet, des rapports finaux sur les projets et le rapport de l’évaluation de 2008 du EPDEO.
     
  • L’établissement du profil des EPDEO à la lumière des objectifs de programme, des activités, des extrants, des résultats escomptés, du modèle de prestation, du budget et du modèle logique établissant les liens de causalité entre les objectifs, les activités, les extrants et les résultats.
     
  • La réalisation d’un examen du cadre d’évaluation préparé par le Ministère, où sont précisés les éléments d’évaluation, les questions, les indicateurs et les sources de données devant servir à l’évaluation.
     
  • La réalisation d’un examen des documents relatifs à des ententes semblables conclues dans d’autres régions. Une attention particulière a été accordée aux ententes auxquelles ont pris part le gouvernement fédéral et des gouvernements provinciaux ou territoriaux et dont les objectifs avaient trait au développement ou à la diversification économique.
     
  • La réalisation d’un examen de documents relatifs à d’autres programmes qui ont été lancés dans l’Ouest du Canada et qui avaient des objectifs semblables à ceux des EPDEO. Ces programmes ont été retenus à la suite d’un examen de la documentation et d’entrevues auprès des informateurs clés, dont des fonctionnaires fédéraux et provinciaux.

2.  Entrevues auprès d’informateurs clés

Dans le cadre de l’évaluation, des entrevues ont été menées auprès de 143 informateurs clés, parmi lesquels des fonctionnaires de DEO, des fonctionnaires provinciaux travaillant aux EPDEO, des experts du développement économique, d’autres intervenants, des représentants d’autres programmes lancés dans l’Ouest du Canada, des représentants d’ententes similaires dans d’autres régions, des promoteurs de projets, des promoteurs de projets dérivés et des promoteurs ayant fait une demande, mais n’ayant pas obtenu de financement.

Le tableau ci-dessous donne le nombre visé d’entrevues et le nombre d’entrevues réalisées dans chacune des catégories d’informateurs clés, ainsi qu’une brève description de chacun des échantillons de répondants clés. Comme le montre le tableau, l’objectif était de réaliser entre 121 et 135 entrevues auprès d’informateurs clés.

Tableau 6 : Échantillon des informateurs clés interrogés
Informateurs clés Entrevues réalisées Objectif initial Description de l’échantillon
Fonctionnaires de DEO 26 25 Échantillonnage raisonné avec critère. Les fonctionnaires de DEO ont été sélectionnés à la lumière de leur connaissance des activités liées aux EPDEO et de leur participation à ces activités, en tenant compte de leur répartition régionale. Globalement, 28 fonctionnaires ont été retenus et 26 ont été interviewés. De ces 26 fonctionnaires, 4 étaient membres d’un comité de gestion et 22 étaient des agents ou des directeurs de programme de DEO en région. Ces 26 fonctionnaires travaillaient en Alberta (7), en Colombie-Britannique (7), au Manitoba (6) et en Saskatchewan (5).
Fonctionnaires provinciaux 10 9 Échantillonnage raisonné. Les participants ont été sélectionnés en raison de leur participation aux EPDEO. Parmi les 10 fonctionnaires interviewés, 3 travaillaient en Alberta, 4 en Colombie-Britannique, 2 en Saskatchewan et 2 au Manitoba.
Experts du développement économique 6 De 8 à 10 Échantillonnage raisonné. Une recherche sur Internet et un examen de la documentation ont permis de repérer 10 grands établissements d’enseignement et de recherche et groupes de réflexion canadiens dans le domaine de l’économie. Nous avons communiqué avec chacun des organismes afin qu’ils fassent part de l’état de leurs connaissances spécialisées concernant le développement économique de l’Ouest du Canada en général, et les EPDEO en particulier. Six experts qui considéraient en savoir suffisamment pour être utiles ont été interviewés.
Autres intervenants 15 De 13 à 16 Échantillonnage raisonné avec critère. Nous avons repéré 73 associations sectorielles, groupes de développement économique, organismes de recherche et organismes sans but lucratif présents dans les régions, secteurs et projets pertinents dans le cadre des EPDEO. Nous avons communiqué avec chacun de ces organismes afin de déterminer leur niveau de connaissance au sujet du Ministère et des EPDEO et de jauger leur volonté de participer.
Représentants d’autres programmes lancés dans l’Ouest du Canada 4 De 4 à 5 Échantillonnage raisonné et sondage cumulatif. Une recherche sur Internet, un examen de la documentation et des recommandations de la part d’informateurs clés ont permis de repérer des programmes finançant des initiatives similaires dans l’Ouest du Canada. Nous avons interviewé des personnes responsables de la prestation ou de la gestion de ces programmes.
Représentants d’ententes similaires dans d’autres régions 4 De 4 à 5 Échantillonnage raisonné. Nous avons repéré des programmes fédéraux et provinciaux similaires et en avons retenu cinq dont les objectifs se rapprochaient le plus de ceux des EPDEO. Quatre entrevues ont été réalisées auprès de représentants de ces autres programmes.
Promoteurs de projets 50 35 Recensement. Nous avons tenté de communiquer avec tous les promoteurs de projets, et avons réalisé des entrevues auprès de promoteurs de 50 des 65 projets repérés. Parmi les 50 promoteurs, 9 représentaient des projets financés en Alberta, 14 représentaient des projets financés en Colombie-Britannique, 12 représentaient des projets financés au Manitoba et 15 représentaient des projets financés en Saskatchewan.
Promoteurs de projets dérivés 19 De 15 à 20 Échantillonnage raisonné et sondage cumulatif. Lors des entrevues auprès de promoteurs de projets, nous avons demandé à ces derniers d’identifier d’autres projets et initiatives ayant vu le jour dans la foulée des activités de projet ainsi que des organismes ayant grandement tiré parti de la mise en œuvre de leur projet. Nous avons ainsi pu réaliser 19 entrevues auprès des 20 organismes et projets ainsi repérés.
Promoteurs ayant fait une demande, mais n’ayant pas obtenu de financement 9 De 8 à 10 Recensement. On nous a fourni une liste de 19 promoteurs ayant fait une demande, mais n’ayant pas obtenu de financement dans le cadre des EPDEO (soit parce que leur demande a été refusée, soit parce qu’ils ont retiré leur demande). Nous avons communiqué avec chacun de ces promoteurs (sauf ceux ayant aussi présenté une demande ayant été approuvée, car ces promoteurs ont été inclus dans le groupe des promoteurs de projets). Globalement, 9 entrevues ont pu être réalisées.
Total 143 De 121 à 135  

Toutes les entrevues ont été réalisées par téléphone. Dans la mesure du possible, une copie du questionnaire a été envoyée aux répondants avant l’entrevue.

Haut de la pageHaut de la page

3.  Études de cas

Les études de cas figuraient parmi les principales sources de renseignements dans le cadre de cette évaluation. Des études de cas ont été réalisées pour huit projets financés par le Ministère. Ces projets ont été choisis de façon à brosser un portrait d’ensemble des initiatives en tenant compte de la province, du type et de la taille des projets et du genre d’organisme promoteur. Le choix des projets qui feraient l’objet d’une étude de cas a également reposé sur l’état d’avancement des projets (soit terminés ou en cours), la volonté des promoteurs de participer et les renseignements fournis par les fonctionnaires concernant les projets.

Voici des renseignements supplémentaires au sujet des études de cas :

  • Deux projets par province ont été retenus.
     
  • Les études de cas portaient sur des projets qui étaient très avancés au moment de l’évaluation. Des huit projets, quatre étaient terminés, deux avaient reçu de 90 à 100 % du financement approuvé par le Ministère, un avait reçu de 70 à 80 % du financement approuvé, et un avait reçu de 50 à 60 % du financement approuvé.
     
  • Les études de cas comprenaient un ensemble de projets réalisés dans les domaines de la technologie, du développement des marchés et du commerce, et de la productivité des entreprises. Les huit projets étaient ainsi classés : amélioration de la productivité des entreprises (3); développement des marchés et du commerce (1) et adoption et commercialisation de la technologie (4).
     
  • Elles comprenaient projet d’envergure modeste réalisé à l’extérieur d’une zone urbaine (dans le Nord du Manitoba) et deux grands projets (financement de plus de 2 millions de dollars accordé par le Ministère). Concernant le financement fourni par le Ministère, deux projets ont reçu une approbation de financement de 2 à 6 millions de dollars, quatre devaient recevoir entre 1 et 2 millions de dollars, un avait reçu une approbation de financement se situant entre 500 000 $ et 1 million de dollars et un devait recevoir moins de 500 000 $.
     
  • Elles portaient sur des projets dont les promoteurs étaient divers : trois universités, un organisme de services, un partenariat public-privé, un conseil sectoriel, un organisme de tourisme provincial et un organisme de recherche provincial.

Dans le cadre des études de cas, l’équipe d’évaluation a recueilli et examiné des sources de renseignements généraux, notamment des propositions de projets, des rapports d’étape, des rapports d’achèvement et d’autres sources de renseignements sur les projets, en plus de réaliser des entrevues auprès d’agents de projets responsables des dossiers à DEO. L’équipe d’évaluation a aussi effectué des visites sur place dans le cadre de six des huit études de cas, ce qui lui a permis de constater les travaux entrepris et s’est penchée sur des documents mesurant les retombées et les extrants obtenus depuis le début des projets. L’équipe d’évaluation a par ailleurs réalisé des entrevues auprès des promoteurs ayant participé aux projets et auprès d’autres personnes ayant participé aux projets ou en ayant senti les effets. Comme le montre le tableau ci-dessous, 42 entrevues ont été réalisées dans le cadre des études de cas.

Tableau 7 : Entrevues réalisées dans le cadre des études de cas, selon le type de participant
Entrevues réalisées dans le cadre des études de cas, EPDEO III
Type de participant Nombre d’entrevues
Promoteurs de projets 8
Agents de projets de DEO 8
Autres participants 14
Utilisateurs des extrants des projets 12
Total 42

Les renseignements tirés des études de cas ont été analysés et sont résumés dans les principales constatations énoncées dans le présent rapport.

4.  Discussions en groupe

Dans le cadre de l’évaluation, quatre discussions en groupe ont eu lieu dans les bureaux de Winnipeg, de Saskatoon, d’Edmonton et de Vancouver de DEO. Les participants étaient issus du Ministère, des différentes provinces et d’autres sphères choisies. Un aperçu des questions possibles a été envoyé aux participants avant les séances afin qu’ils puissent s’y préparer. Les sujets de discussion différaient quelque peu d’un lieu à l’autre, selon la composition des groupes, les intérêts des participants et la pertinence de certaines questions dans leur province. En tout, 37 personnes ont pris part aux discussions en groupe.

Tableau 8 : Participants aux discussions en groupe, selon le type d’informateur clé
Type d’informateur clé Winnipeg Saskatoon Edmonton Vancouver Total
Promoteurs/autres intervenants 5 5 3 4 17
Fonctionnaires de DEO 1 4 5 4 14
Fonctionnaires provinciaux 1 1 2 2 6
Total 7 10 10 10 37

Les participants ont été choisis en fonction de leur connaissance des activités menées dans le cadre des EPDEO et de leur participation à ces activités. La plupart ont également été interviewés lors des entrevues menées auprès des informateurs clés. Tous les participants ont été invités par courriel et par téléphone à participer à ces séances d’une durée de deux heures.

5.  Analyse et présentation des données

Les données obtenues au moyen de chacune des méthodes décrites plus haut ont été résumées aux fins de l’étude de chacune des questions d’évaluation pertinentes. La stratégie d’analyse des données a notamment fait intervenir une triangulation de différentes sources de renseignements. Entre autres, les résultats tirés de chaque méthode d’enquête ont été extraits pour chaque question d’évaluation et validés entre eux. Cette démarche tient compte des forces et des limites de chaque méthode d’enquête.

Obstacles et limites de l’évaluation

Plusieurs obstacles se sont dressés au cours de l’évaluation. Toutefois, ceux-ci ont pu être surmontés grâce à différentes techniques. Voici une liste des principaux obstacles :

  • Moment de l’évaluation. Pour ce qui est de l’efficacité, l’évaluation a porté sur les résultats immédiats et à moyen terme. Cela dit, la plupart des projets retenus venaient tout juste de recevoir le financement accordé, si bien que le temps écoulé n’était pas suffisant pour dire la mesure dans laquelle les résultats escomptés à moyen terme étaient en voie d’être atteints. Bon nombre d’activités de projet étaient toujours en cours ou venaient tout juste d’être terminées et leurs effets ne pouvaient pas encore être mesurés à ce moment. Par ailleurs, l’incidence d’un bon nombre de leçons tirées, de stratégies testées, de modèles élaborés et de résultats obtenus ne peut être mesurée qu’à long terme.
     
  • Changement de personnel dans certains organismes promoteurs ayant reçu du financement ou ayant présenté une demande sans obtenir de financement. Des responsables d’une demande n’ayant pas débouché sur un financement ou ayant été à la tête de projets approuvés n’ont pu être interviewés parce qu’ils n’étaient plus en poste au moment de l’évaluation. Pour surmonter cet obstacle, l’équipe d’évaluation a tenté d’interviewer d’autres représentants qui, au sein des organismes concernés, étaient le plus au fait des activités réalisées dans le cadre des projets. Avant de mener les entrevues, toutefois, l’équipe s’est assurée que les représentants avaient une connaissance suffisante des activités réalisées dans le cadre des projets.
     
  • Manque de connaissances et faible sensibilisation au sujet des EPDEO parmi les autres intervenants et les experts du développement économique. Bon nombre des experts du développement économique contactés en vue d’une entrevue n’étaient pas au courant de l’existence des EPDEO. Pour surmonter cet obstacle et réaliser le nombre d’entrevues visé, l’équipe d’évaluation a allongé la liste de contacts afin qu’elle comprenne un grand nombre d’organismes. Parmi les 73 autres intervenants contactés, 15 ont pu être interviewés par l’équipe. Parmi les 10 organismes de recherche et groupes de réflexion contactés, 6 ont pu être interviewés.
     
  • Risque d’introduction d’un biais attribuable aux répondants. Les résultats de l’évaluation reposent en partie sur l’opinion de personnes ayant un intérêt direct dans le programme et ayant ainsi pu donner des réponses biaisées concernant les résultats du programme. Plusieurs mesures ont été prises pour réduire l’effet du biais attribuable aux répondants et valider les résultats tirés des entrevues. Notamment : i) les intervieweurs ont présenté aux participants l’objectif, la conception et les méthodes sur lesquelles reposait l’évaluation, en plus de les rassurer quant au caractère strictement confidentiel des réponses fournies; ii) les entrevues ont été réalisées par téléphone par des intervieweurs qualifiés; iii) les répondants devaient justifier les notes attribuées, notamment en fournissant une description des activités particulières ayant contribué aux résultats mentionnés; iv) les incidences d’activités en particulier ont été confirmées au moyen d’analyses de documents, d’études de cas et de cercles d’apprentissage.
     
  • Difficultés associées au repérage de représentants de programmes similaires et à l’organisation d’entrevues avec ceux-ci. L’équipe d’évaluation a dû faire de longues recherches sur Internet et maints appels téléphoniques pour repérer des représentants de programmes similaires qui en savaient suffisamment sur leur programme respectif et qui étaient en mesure de prendre part à une entrevue. Pour réussir, l’équipe a fait parvenir aux représentants de l’information au sujet des EPDEO et de l’évaluation, et leur a expliqué l’importance de leur participation tout en les assurant du caractère confidentiel des entrevues.
     
  • Manque d’information concernant les programmes similaires. Il a été difficile de trouver de l’information pertinente concernant les programmes similaires. En particulier, il a été difficile d’obtenir des renseignements propres à chacun des programmes (p. ex., description de la conception et de la prestation des programmes, budget et coûts administratifs, système de mesure du rendement, critères d’évaluation et de sélection). Les renseignements fournis en ligne sont maigres pour la plupart des programmes, et certains programmes n’ont jamais été soumis à une évaluation (ou les résultats d’une éventuelle évaluation n’ont pas été rendus publics). Pour surmonter cet obstacle, l’équipe d’évaluation a, pendant les entrevues, demandé aux représentants des programmes similaires de présenter de la documentation et des ressources fournissant de plus amples renseignements concernant les programmes.
     
  • Lors de l’examen des résultats des discussions en groupe, il importe de garder à l’esprit que les résultats sont le reflet des opinions des participants. Les participants aux séances de discussion ne sont pas nécessairement représentatifs de l’ensemble de ceux ayant participé au programme. Compte tenu de la nature des discussions en groupe, les grandes conclusions tirées de cet exercice ne signifient pas que tous les participants se sont prononcés sur les différentes questions, et même si cela était le cas, cela ne signifierait pas que tous les participants étaient d’accord avec les opinions exprimées par les autres.
     
  • Lors des études de cas, il a été difficile d’obtenir des renseignements supplémentaires de la part des promoteurs de projets. Dans le cadre des études de cas, il a fallu communiquer souvent avec les promoteurs afin de valider les résultats, obtenir des renseignements supplémentaires et clarifier certains aspects et certaines conclusions. Comme la plupart des promoteurs de projets ont un horaire très chargé, il était difficile de trouver le bon moment pour leur demander des renseignements supplémentaires. Pour surmonter cet obstacle, l’équipe d’évaluation a fait des tentatives répétées de communication auprès les promoteurs, faisant appel à différents modes de communication (p. ex., téléphone et courriel) et leur expliquant à quel point leur contribution à l’évaluation était cruciale.