Diversification de l'économie de l'Ouest Canada
Symbole du gouvernement du Canada

Liens de la barre de menu commune

Section 2 : Approche, conception et méthodologie de l'évaluation

Le modèle logique sur lequel cette évaluation fondée sur la théorie repose4 a été élaboré par le groupe chargé de la mesure du rendement au Ministère, qui s’est inspiré des commentaires formulés par une équipe interrégionale ayant une expertise en matière de productivité et de croissance des entreprises. Ce modèle logique a favorisé le peaufinage du Cadre de mesure du rendement, qui, par la suite, a été approuvé par la sous-ministre. Un modèle de recherche non expérimentale recoupant plusieurs sources de données a été jugé approprié et suffisant pour répondre aux objectifs de l’étude. Le Ministère a retenu les services d’une firme de consultants pour recueillir les données des entrevues avec les informateurs clés, des sondages et des groupes de discussion; l’unité chargée de l’évaluation a analysé et intégré les conclusions tirées de toutes les sources consultées dans un rapport définitif. Pour maximiser l’objectivité et la pertinence des conclusions, l’évaluation a été guidée par un comité directeur, dirigé par un sous-ministre adjoint et par des représentants des trois bureaux régionaux, et a été menée en consultation avec les hauts fonctionnaires.

2.1 Activités de l'étude d'évaluation

Consultations préliminaires

Des consultations préliminaires ont été menées avec le comité directeur et la haute direction pour mettre au point le cadre et la méthodologie d’évaluation.

Revue de la documentation de référence et des documents

Trois types de documents ont été revus dans le cadre de l’évaluation :

  • Documents d’information générale (p. ex., présentations au Conseil du Trésor, stratégie de mesure du rendement des programmes, sites Web, documents décrivant l’évolution des programmes, leur raison d’être et leur théorie);
     
  • Bases de données et site Web du Ministère;
     
  • Documentation de référence sur les tendances et les pratiques exemplaires en matière de productivité et de croissance des entreprises.

Examen des dossiers

Dans le cadre de l'évaluation, toutes les données financières et les données sur le rendement contenues dans les bases de données du Ministère ont été revues (Portail des projets et système d'information financière GX). Quatre-vingt-sept projets, représentant 90 millions de dollars en investissement du Ministère, ont été approuvés entre le 1er avril 2009 et le 31 mars 2014. En décembre 2015, 63 projets (79 %) étaient terminés ou leur dernière demande avait été approuvée. La majorité des projets ont été approuvés en vertu du Programme de diversification de l'économie de l'Ouest (57 projets représentant un financement total de 55 millions de dollars de la part du Ministère) ou des Ententes de partenariat pour le développement économique de l'Ouest (25 projets représentant un financement total de 32 millions de dollars de la part du Ministère). Voici les sous-activités qui ont été définies pour la plupart des projets : Amélioration de la productivité des entreprises (59 projets), Productivité et croissance des entreprises (15 projets) ou Adoption et commercialisation de la technologie (10 projets) (Tableau 2.1).

 

Tableau 2.1 Nombre de projets axés sur la productivité et la croissance des entreprises qui ont été approuvés, et financement accordé, par sous-programme, d'avril 2009 à avril 2014
Projets selon le sous-
programme
TOTAL DEO Alberta Colombie-
Britannique
Saskatchewan Manitoba
Nbre M$ Nbre M$ Nbre M$ Nbre M$ Nbre M$
Amélioration de la
productivité des entreprises
59 53 15 15 30 28 10 5 4 5
Productivité et croissance
des entreprises
15 12 2 1 3 3 8 7 2 1
Adoption de la technologie 10 22 1 0,15 7 15 1 0,3 1 6
Accès au capital5 2 4 0 0 0 0 1 2 1 2
Collaboration de l'industrie 1 0,1 1 0,1 0 0 0 0 0 0
Total 87 91 19 16 40 46 20 14 8 14

Remarque : Les chiffres étant arrondis, leurs sommes ne correspondent pas nécessairement aux totaux.

 

Sondage auprès des clients

En tout, 99 promoteurs de projet ont été contactés pour répondre à un sondage visant à recueillir des données sur les résultats et sur la situation économiques qui n'étaient pas contenues dans les bases de données du Ministère; il a été impossible de joindre 18 d'entre eux, et 59 (73 %) ont répondu au sondage. Les promoteurs de projet devaient fournir les coordonnées des intervenants clés (participants) qui tiraient des avantages directs des projets subventionnés, tels que des personnes ayant reçu une formation dans le cadre d'un projet; 23 participants (53 %) ont répondu au sondage. L'échantillon comprenait également 19 des 65 clients (37 %) qui avaient déposé une demande, mais n'ont pas reçu de subvention; ces clients représentaient un éventail d'organismes, tels que des chambres de commerce locales et des associations industrielles ou professionnelles. La répartition régionale des répondants au sondage allait comme suit : 43 % (Colombie-Britannique), 26 % (Alberta), 22 % (Saskatchewan) et 10 % (Manitoba).

Entrevues avec les informateurs clés

Les consultants ont élaboré et prétesté les questionnaires avant de mener, par téléphone, des entrevues individuelles avec les informateurs clés. La plupart des informateurs clés ont été sélectionnés en fonction de leur connaissance des programmes et de leur niveau d’adhésion à l’égard des programmes. Des 160 informateurs clés invités, 74 ont participé aux entrevues. L’objectif fixé était de 40 % (au moins 25 entrevues) quant aux entrevues avec les personnes les moins susceptibles d’avoir un fort intérêt personnel dans les programmes; 28 entrevues (38 %) ont été menées auprès de ce sous-groupe. Les informateurs clés ont été distribués également d’une région à l’autre : 21 (Colombie-Britannique), 16 (Alberta), 18 (Saskatchewan), 17 (Manitoba) et le reste provenant de l’administration centrale ou d’Ottawa. Les critères de sélection et les tailles des échantillons sont résumés ci-dessous.

  • Promoteurs de projet et demandeurs non subventionnés. Tous les promoteurs et les demandeurs ont été contactés pour qu’ils répondent à un sondage en ligne. Un sous-groupe de participants au sondage a par la suite été choisi, en fonction des résultats du sondage et de leur participation aux programmes de productivité et de croissance des entreprises, pour participer à des entrevues. En tout, 20 personnes ont été interrogées (12 promoteurs de projet et 8 demandeurs non subventionnés).
     
  • Partenaires financiers. Les organismes retenus sont ceux qui : 1) représentaient divers types de partenaires financiers (fédéral, provincial, secteur privé); 2) participaient au plus grand nombre de projets ou accordaient les sommes les plus importantes à titre de subvention; 3) participaient aux programmes de productivité et de croissance des entreprises; 4) n’étaient pas des promoteurs de projet subventionnés ou des demandeurs non subventionnés dans le cadre de la présente évaluation. En tout, 10 organismes ont été interrogés.
     
  • Autres organismes gouvernementaux et communautaires. Les organismes retenus sont ceux qui : 1) représentaient des organismes provinciaux, fédéraux ou communautaires chargés de la prestation des programmes de productivité et de croissance des entreprises; 2) n’étaient pas des promoteurs de projet, des demandeurs non subventionnés ou des partenaires financiers dans le cadre de la présente évaluation. En tout, 18 organismes ont été interrogés.
     
  • Autres intervenants et experts. Les personnes qui ont été retenues sont celles qui : 1) étaient des intervenants et des experts en matière de productivité et de croissance des entreprises (milieu universitaire, associations industrielles, autres); 2) n’étaient pas des promoteurs de projet, des demandeurs non subventionnés ou des partenaires financiers dans le cadre de la présente évaluation; 3) autres recommandations et commentaires de la part des représentants ministériels. En tout, 10 intervenants et experts ont été interrogés.
     
  • Représentants ministériels. Les représentants ministériels ont recommandé certains membres du personnel et de la direction aux consultants. Ceux qui ont été retenus sont ceux qui : 1) représentaient une variété de domaines de spécialité et d’ancienneté; 2) connaissaient le mieux les programmes. En tout, 16 membres du personnel ont été interrogés.

Groupes de discussion

Les consultants ont animé trois groupes de discussion en janvier 2015, soit un en Colombie-Britannique, un en Alberta et un en Saskatchewan et au Manitoba. Le groupe de discussion de la Saskatchewan et du Manitoba a été tenu en personne à Saskatoon; les participants du Manitoba ont pu y assister au moyen d’une vidéoconférence et d’une téléconférence simultanées. Les participants ont été sélectionnés en fonction de leur connaissance des programmes et de leur participation à ces derniers, ainsi que de leur connaissance des besoins des PME de la région. En tout, 28 représentants, dont sept membres du personnel du Ministère, ont participé aux trois groupes de discussion : huit provenaient de la Colombie-Britannique, huit de l’Alberta et 12 de la Saskatchewan et du Manitoba.

Un consultant a présenté les résultats de la recherche sur le terrain aux groupes de discussion avant d’animer les discussions. Les groupes de discussion avaient pour objectif de passer en revue et de valider les résultats préliminaires. Les sujets de discussion variaient légèrement d’un endroit à l’autre, selon la composition des groupes, les champs d'intérêt des participants et la pertinence de certaines questions pour ce territoire.

Analyse économique

Le consultant a obtenu les données relatives aux dépenses et aux équivalents temps plein (ETP) pour les 87 projets à l’étude au Ministère. Ces données ont servi au calcul des coûts de fonctionnement et d’entretien (F et E) et des coûts de subventions et de contributions (S et C) en tant que pourcentage des dépenses totales; des coûts de S et C par ETP et des coûts de F et E par projet approuvé.

Les ratios de levier ont été estimés en soustrayant le montant du financement total accordé aux projets des coûts totaux, et en divisant le montant obtenu par le financement total du projet. Afin d'évaluer les résultats par rapport aux coûts de financement, les résultats du projet et les données administratives ainsi que les résultats des enquêtes ont été utilisés pour déterminer les effets agrégés des projets à ce jour pour ce qui est des principaux indicateurs, tels que, par exemple, le nombre d'entreprises créées, maintenues ou agrandies, le nombre d'emplois créés ou maintenus et l'augmentation des ventes. Les ratios de levier et les autres mesures ont ensuite été comparés aux autres programmes de subventions et contributions6 relevant d'initiatives de diversification et de développement économiques similaires.

2.2 Limites de la méthodologie

Entrevues avec les informateurs clés : Les groupes d'informateurs clés qui participent directement aux programmes étaient souvent au fait des retombées d'un ou de plusieurs projets, sans avoir un portrait exhaustif des projets et des domaines financés dans le cadre du sous-programme. Les représentants ministériels peinaient également à distinguer les retombées des partenaires du Réseau de services aux entreprises de l'Ouest canadien7 de celles des projets financés en vertu du sous-programme. Afin d'atténuer cette contrainte, les représentants devaient justifier les notes qu'ils accordaient en donnant des exemples de projets; les informateurs clés qui étaient moins au fait des programmes du Ministère et de leurs retombées devaient cerner les besoins et les défis principaux auxquels étaient confrontées les PME ainsi que le rôle que le Ministère était appelé à jouer pour répondre à ces besoins. Pour minimiser la déviation systématique des réponses données par les informateurs clés, 38 % des informateurs clés étaient, en fait, des personnes qui étaient moins susceptibles d'avoir un fort intérêt personnel dans les programmes, comme d'autres experts et représentants gouvernementaux ou communautaires.

Enquêtes : Les conclusions de l’évaluation sont, d’une part, fondées sur les perspectives de ceux qui possèdent un intérêt particulier dans les programmes et qui pourraient avoir une certaine partialité dans les réponses qu’ils ont données à l’égard des résultats des programmes. Pour réduire l’incidence de la partialité des répondants et valider les résultats des entrevues, la lettre et le questionnaire d’enquête expliquaient clairement aux participants l’objectif de l’évaluation, sa conception et la méthodologie employée, et la stricte confidentialité des réponses. De plus, les répondants devaient justifier les notes qu’ils avaient accordées, notamment en décrivant des activités précises qui avaient contribué aux résultats déclarés. Dans le cadre de nombreux projets, il n’y avait aucun intervenant clé (c.-à-d. participants) et, par conséquent, le nombre de participants sondés était faible. Pour relever ce défi, les réponses des participants ont servi de complément aux réponses des promoteurs; elles ont apporté des exemples et des détails de domaines dans lesquels certains projets ont atteint des résultats donnés ou ont donné lieu à des projets ou des investissements de suivi.

Groupes de discussion : Les groupes de discussion ont permis de valider et d’interpréter les résultats de l’évaluation. La discussion des groupes traduit l’opinion de certains de leurs participants et pourrait ne pas être représentative de l’opinion de tous ceux qui ont participé au programme.

Efficacité et économie : La modification de l’architecture d’alignement des programmes du Ministère en 2013 supposait que les dépenses de 2009 à 2013 devaient être estimées et que, par conséquent, elles ne seraient pas directement comparables à celles de 2013-2014. C’est pourquoi l’analyse n’examine que les dépenses de 2013-2014. L’utilisation des données d’une seule année restreint la validité générale et l’utilité des conclusions en ce qui a trait à la stabilité (c.-à-d., des coûts de S et C importants au cours d’une année par rapport à une autre année) et aux tendances. De plus, il y avait peu de données disponibles sur les résultats des projets en cours de réalisation, des projets récemment approuvés et des projets qui étaient achevés, mais pour lesquels aucun suivi n’avait été effectué pour en déterminer les retombées à long terme. De plus, en raison de l’information limitée sur le contexte et la justification sous-jacents aux écarts constatés, l’analyse a porté sur une comparaison, plutôt qu’une explication, des variations de l’économie et de l’efficacité. Dans la mesure du possible, les écarts d’efficacité et d’économie ont été interprétés en fonction des avis émis par les informateurs clés ou des considérations des programmes. Enfin, étant donné que la taille et la complexité des projets varient considérablement d'un sous-programme à l'autre, il était difficile de repérer des sous-programmes ministériels similaires aux fins de comparaison.

Attribution : Si l’on souhaite saisir les retombées et les résultats supplémentaires au fur et à mesure de l’évolution des projets, ces derniers doivent idéalement être suivis à long terme. Cependant, cette façon de faire ne pourrait complètement régler le problème de l’attribution, puisque les résultats à long terme tiennent compte d’une multitude de facteurs interdépendants. À ce titre, la présente étude est fondée sur une théorie du changement, laquelle suppose que la réalisation des retombées à court et à moyen terme, au fil du temps, donne lieu aux résultats à long terme. Le recours à des questions standardisées a permis d’améliorer la validité et la fiabilité des réponses. De plus, tant les indicateurs objectifs que subjectifs (et, par conséquent, les méthodes de collecte de données quantitatives et qualitatives) ont été utilisés pour aborder avec exactitude les concepts multidimensionnels.

 


[4] Secrétariat du Conseil du Trésor du Canada. « Approches d'évaluation axées sur la théorie : Concepts et pratiques ». 2012. Ce document définit une approche d'évaluation axée sur la théorie comme une approche fondée sur une théorie du changement. Une théorie du changement suppose la description et l'explication des liens de causalité entre les extrants et les divers niveaux des résultats d'un modèle logique.

[5] Les deux projets ont été réalisés en vertu du Programme de développement des collectivités et soutenaient le fonds d'investissement des sociétés d'aide au développement des collectivités.

[6] Les données comparatives sont tirées d'évaluations menées par l'Agence de promotion économique du Canada atlantique, l'Agence de développement économique du Canada pour les régions du Québec, Emploi et Développement social Canada, l'Agence fédérale de développement économique pour le Sud de l'Ontario, Industrie Canada, le Conseil national de recherches et Diversification de l'économie de l'Ouest Canada.

[7] Le Réseau de services aux entreprises de l'Ouest canadien englobe les organismes suivants : Entreprises Canada, les bureaux de l'Initiative pour les femmes entrepreneurs, le Réseau de services aux entreprises autochtones et les Organisations francophones à vocation économique.