Diversification de l'économie de l'Ouest Canada
Symbole du gouvernement du Canada

Liens de la barre de menu commune

Approche et méthode d'évaluation

La présente évaluation est axée sur la théorie, c'est à dire qu'elle utilise la théorie du programme comme guide. Elle fait appel à un concept quasi expérimental, étayé par un groupe témoin non équivalent. Afin d'optimiser l'objectivité et la pertinence des conclusions, les évaluateurs se sont appuyés sur un comité directeur formé de cadres supérieurs et d'experts externes de l'innovation. Ils ont également recueilli les commentaires du personnel du programme tout au long du processus d'évaluation.

Activités menées dans le cadre de l'évaluation

Consultations préliminaires

Des consultations préliminaires ont été menées auprès du personnel ministériel régional afin de dresser la liste complète des projets, la liste des principales personnes interrogées et de préciser les études de cas. Le comité directeur de l'évaluation ainsi que la haute direction du Ministère ont revu le cadre d'évaluation. Ces consultations ont également permis d'obtenir des données d'évaluation préliminaires.

Revue de la documentation et de la littérature

Quatre groupes de documents ont été examinés dans le cadre de l'évaluation :

  • De la documentation de base générale (présentations au Conseil du Trésor, documents décrivant les programmes d'innovation, la raison d'être, la théorie, etc.);
     
  • Des rapports ministériels3;
     
  • Des documents sur les programmes et les politiques (rapports ministériels sur le rendement, base de données ministérielle, dossiers des projets);
     
  • Littérature sur les programmes d'innovation et les pratiques exemplaires.

Examen des dossiers

À l'aide d'un modèle d'extraction de données personnalisé, l'équipe d'évaluation a analysé toute l'information contenue dans les bases de données ministérielles (portail de projets et système financier GX) telle qu'on la trouve dans l'outil de production des rapports du Ministère (centre des rapports de DEO). L'étude incluait tous les projets dont le financement avait été approuvé entre le 1er avril 2007 et juin 2011, fin de l'examen de la base de données. Un échantillon de neuf projets4 de la région de l'Alberta a été établi pour l'étude des dossiers papier dont le but était de : 1) valider l'exactitude de l'information de la base de données; et 2) déterminer s'il y avait dans les dossiers papier de l'information supplémentaire sur les résultats justifiant l'étude de tous les dossiers papier dans les quatre régions. L'échantillon contenait une information exacte et complète, ce qui semblait indiquer qu'il était inutile d'examiner davantage les dossiers. Cette décision supposait que les dossiers des quatre régions respectaient des normes semblables d'exactitude et de caractère complet de l'information. Entre le 1er avril 2007 et juin 2011, 202 projets d'innovation, totalisant 306 M$ de financement ministériel, ont été approuvés. En juin 2011, 98 (49 %) projets étaient terminés ou avaient fait approuver leur dernière demande de remboursement. La majorité des projets ont été approuvés au titre du Programme de diversification de l'économie de l'Ouest (154 projets pour un total de 176 M$ en financement ministériel) et de sa sous composante des Ententes de partenariat pour le développement économique de l'Ouest (36 projets pour un total de 59 M$ en financement ministériel). Environ les deux tiers des projets précisaient comme sous activité soit l'Infrastructure du savoir (57 projets), soit l'Adoption et la commercialisation des technologies (70 projets) (Tableau 2.1).

Dans les provinces de la Colombie-Britannique, de l'Alberta et de la Saskatchewan, les niveaux de dépenses en innovation étaient plus élevés en 2007-2008 et en 2010-2011 que durant l'intervalle entre ces deux exercices. Les dépenses en innovation du Manitoba diminuaient chaque année. Dans les plans d'activités régionaux, chaque région faisait ressortir ses secteurs clés, ou grappes, à financer en priorité; mais les données montrent une répartition semblable des projets entre les secteurs, à l'exception des sciences de la vie (54 projets) qui ont obtenu environ 44 % de tout le financement. Parmi les autres secteurs ayant obtenu plus de 5 % du financement figuraient : autres technologies (21 % du financement), initiatives multisectorielles (10 % du financement), technologie environnementale (7 % du financement) et technologies de l'information (6 % du financement).

TABLEAU 2.1 Nombre et financement des projets d'innovation approuvés par sous activité, avril 2007-juin 2011
Projets par sous-activité TOTAL AB CB MB SK
 #  DEO
M$
 #  M$  #  M$  #  M$  #  M$
Projets par sous-activité 17 1,3 1 0,2 4 1,1 1 0,0 1 0,0
Infrastructure du savoir 57 136,3 2 6,5 35 25,3 13 43,8 7 60,7
Recherche et développement en technologie 20 24,2 2 2,0 4 2,7 4 3,1 10 16,5
Perfectionnement des compétences en technologie 14 14,3 2 6,9 6 1,1 5 4,7 1 1,6
Adoption et commercialisation de la technologie 70 106,3 29 54,5 23 21,5 4 13,0 14 17,3
Convergence des technologies 24 24,1 6 1,2 13 19,8 4 2,3 1 0,8
  202 306,5 42 71,3 95 71,4 31 66,9 34 96,9

Analyse de mise en correspondance

Le comité directeur a choisi de renoncer à l'analyse comparative de programmes analogues parce que l'Ouest canadien constitue un écosystème tout à fait particulier exigeant des programmes d'innovation particuliers. Il n'existe donc pas de comparaisons utiles et valables à faire pour les programmes d'innovation dans l'Ouest canadien. L'analyse a plutôt consisté à « mettre en correspondance » des programmes liés à l'innovation afin de comparer ceux du Ministère avec tout le spectre des programmes offerts aux organismes de l'Ouest canadien qui exécutent des projets d'innovation. L'analyse de mise en correspondance incluait également un sommaire de cinq rapports, rédigés dans les sept dernières années, étudiant les obstacles à l'innovation et à la commercialisation au Canada et comparant l'écosystème du Canada avec les écosystèmes internationaux de l'innovation.

Les programmes sélectionnés pour l'analyse sont ceux que les promoteurs ont précisés quand on leur a demandé « De quelles autres sources de financement recevez vous des fonds? ». Leurs réponses ont servi à dresser une liste de :

  1. Programmes régionaux (provinciaux) : sommaire de l'information et des études existantes sur les programmes d'innovation disponibles dans chaque région.
     
  2. Programmes fédéraux : sommaire de l'information et des études existantes traitant surtout des quatre plus grands organismes et programmes fédéraux5 finançant la recherche-développement, d’après le rapport Innovation Canada : Le pouvoir d’agir.
     
  3. Résumés de rapports : examen de cinq rapports6 d’études commandés par le gouvernement fédéral dans les sept dernières années pour examiner l’état des sciences et de la technologie, de l’innovation et de la commercialisation au Canada (et sur la scène internationale).

Entrevues avec les informateurs clés

Les consultants ont préparé et prétesté les questionnaires avant de mener des entrevues téléphoniques individuelles ou de groupe avec les informateurs clés. Ils ont procédé à 73 entrevues avec 76 informateurs clés, dont :

  • 24 promoteurs et 10 représentants d'organismes non bénéficiaires. Ces participants formaient les deux groupes de comparaison de l'évaluation des résultats; leur sélection est expliquée en détail dans la section sur l'évaluation des résultats plus loin;
     
  • Cinq demandeurs dont le projet a été refusé : deux de la Saskatchewan et un de chacune des trois autres régions. Pour établir l'échantillon, la liste des 20 demandeurs dont le projet a été refusé/non financé a été stratifiée par région et deux demandeurs de chaque région ont été choisis au hasard. Cinq demandeurs dont le projet avait été refusé/non financé ont accepté de participer;
     
  • 14 entrevues avec 17 employés et gestionnaires du Ministère. Les personnes interrogées étaient celles que la direction du Ministère considérait comme des employés et des gestionnaires clés œuvrant dans les programmes d'innovation;
     
  • 11 représentants d'autres organismes de financement : deux organismes en Colombie-Britannique, quatre en Alberta, un en Saskatchewan, deux au Manitoba et deux organismes fédéraux. Ce groupe incluait des cobailleurs de fonds ainsi que d'autres organismes de financement de projets d'innovation. Les gestionnaires des programmes ministériels ont nommé les personnes interrogées comme étant des représentantes d'organismes de financement conjoint avec lesquelles le Ministère collabore le plus souvent ou ont désigné d'autres organismes de développement régional ayant un mandat semblable. Au total, 12 représentants d'autres organismes de financement ont été convoqués à l'entrevue, mais un n'a pas répondu;
     
  • Neuf entrevues avec des experts dans le domaine de l'innovation au Canada. Ces personnes ont été nommées au cours des entrevues et des rencontres comme connaissant fort bien ce domaine et devant être consultées dans le cadre de l'évaluation. Au total, 12 experts de l'innovation ont été contactés et neuf ont accepté de participer.

Haut de la pageHaut de la page

Sondage auprès des promoteurs

Il y avait 140 promoteurs associés aux 202 projets d'innovation faisant partie de la présente évaluation, dont 33 projets financés par les Ententes de partenariat pour le développement économique de l'Ouest, initiative faisant l'objet d'une évaluation en même temps que celle ci. Étant donné que ces 33 promoteurs seraient contactés par les autres évaluateurs, ils ont été exclus de l'univers du sondage. Ont également été exclus les 24 promoteurs sélectionnés pour l'entrevue des informateurs clés et les promoteurs associés aux huit études de cas, ce qui laissait 108 participants éventuels au sondage. Les sondeurs ont réussi à contacter 50 (46 %) promoteurs associés à 62 projets. Les répondants du sondage venaient des quatre régions et représentaient les six sous-activités liées à l'innovation. Un projet était financé au titre de la Fondation Rick Hansen, et les autres au titre du Programme de diversification de l'économie de l'Ouest. Bien que les promoteurs visés par les autres mécanismes de financement de l'innovation n'aient pas participé, l'examen des dossiers a permis de recueillir des données sur la mesure de leur rendement, et seulement trois des onze projets financés dans le cadre de ces composantes sont terminés. Ces trois projets ont été financés aux termes de l'Entente de partenariat de Winnipeg.

Les consultants ont préparé et prétesté le questionnaire. Le questionnaire du sondage a été envoyé par courrier électronique à chaque promoteur faisant partie de l'univers du sondage. Les promoteurs avaient le choix de participer au sondage en remplissant le document Word joint au courriel ou en répondant aux questions au téléphone. Chaque promoteur a été contacté jusqu'à quatre fois pour lui rappeler de remplir le sondage.

Études de cas

Chacune des quatre régions a été invitée à proposer deux de ses projets d'innovation financés pour les soumettre aux études de cas. Les huit projets devaient être terminés ou sur le point de l'être et représenter une gamme de résultats. Au total, les évaluateurs ont interrogé 16 intervenants de huit projets soumis aux études de cas. Plus particulièrement, les huit études de cas incluaient :

  • Deux projets de chaque région;
     
  • Des projets terminés ou sur le point de l'être d'après l'indication à ce sujet dans la base de données ministérielle : pour trois d'entre eux, la première demande de remboursement avait été approuvée, pour un, la dernière demande de remboursement avait été approuvée et quatre projets étaient terminés;
     
  • Un mélange de genres de projets : trois portaient sur l'Adoption et la commercialisation de la technologie, deux sur l'Infrastructure du savoir, deux sur la Recherche et le développement en technologie et un sur le Perfectionnement des compétences en technologie;
     
  • Un mélange de genres de promoteurs : il y avait cinq universités, deux entreprises sans but lucratif, une société sans but lucratif, un organisme sans but lucratif voué à la recherche appliquée, au développement et aux essais;
     
  • Un éventail de secteurs : deux concernaient les sciences de la vie, quatre des initiatives multisectorielles, un avait trait aux autres technologies et un à la technologie environnementale;
     
  • Diverses tailles de financement ministériel : trois projets financés à hauteur de 200 000 $ à 350 000 $, trois à hauteur de 1 ou de 2 M$ et deux à hauteur d'environ 3 M$.

Dans les études de cas, l'équipe d'évaluation a recueilli tous les renseignements généraux et la documentation résumant la mise en place du projet, son incidence et ses résultats à ce jour. Des visites sur place ont été faites pour sept des huit études de cas afin d'observer le projet, interroger les représentants participants aux projets et examiner toute autre documentation utile. Dans un cas, une entrevue téléphonique a été menée au lieu d'une visite sur place parce que le promoteur avait fermé ses bureaux dans l'Ouest canadien.

Évaluation des résultats

L'évaluation des résultats avait pour but de fournir des données probantes supplémentaires sur l'attribution et les incidences des programmes grâce à la sélection de deux groupes de comparaison : un groupe de promoteurs et un groupe d'organismes qui n'avaient pas reçu de financement ministériel (non-bénéficiaires).

  1. Sélection de 24 promoteurs : 81 promoteurs satisfaisaient aux critères initiaux de sélection : 1) le projet avait reçu au moins 100 000 $ de financement; 2) le projet avait débuté entre avril 2007 et décembre 2009; et 3) le rapport final était disponible et fournissait des données complètes sur le rendement. Les 24 participants ont été sélectionnés à partir des 81 promoteurs pour représenter toutes les régions, les sous activités et les genres d'organismes (université, incubateur, association). Quand c'était possible, les promoteurs ayant une grande expérience avec le Ministère (plus de trois projets) étaient préférés à des promoteurs moins expérimentés afin d'optimiser les chances de déceler d'importantes différences dans une comparaison avec des non bénéficiaires.
     
  2. Sélection de 10 non-bénéficiaires : les consultants ont établi une première liste de 55 non bénéficiaires en examinant les plans d'activités ministériels et les répertoires des associations. Des agents régionaux du Ministère ont revu cette liste et confirmé que 33 n'avaient effectivement jamais reçu de financement ministériel. Ces organismes ont été contactés pour une entrevue et plusieurs ont été radiés de la liste parce qu'ils étaient en train de préparer une proposition de projet, attendaient une décision concernant une proposition présentée, s'étaient vu refuser du financement par le Ministère ou étaient un organisme à but lucratif. Finalement, le groupe comprenait 10 organismes venant de trois régions : Colombie Britannique (quatre organismes), Alberta (trois organismes) et Saskatchewan (trois organismes). Aucun des trois organismes contactés au Manitoba n'a accepté de se prêter à une entrevue. Les 10 organismes sélectionnés satisfaisaient aux critères suivants : 1) sans but lucratif; 2) mandat axé sur le développement économique; 3) harmonisé aux priorités sectorielles régionales (sciences de la vie, technologies de l'information et de la communication); 4) situé dans les provinces de l'Ouest, ou y avoir une présence importante; 5) jamais reçu de financement des programmes d'innovation du Ministère.

Groupes de discussion

En février 2012, les consultants ont organisé un groupe de discussion dans chacune des quatre régions. Tous les promoteurs et cobailleurs de fonds ayant été interrogés ont été invités à assister au groupe de discussion dans leur région. Le directeur général des Opérations de chaque région a choisi les participants ministériels au groupe de discussion. Il y a eu un total de 48 participants aux groupes de discussion : 33 promoteurs, quatre cobailleurs de fonds et 11 employés ministériels. Chaque groupe de discussion réunissait de 10 à 15 participants.

Un consultant a présenté aux participants les résultats des recherches sur le terrain pour ensuite animer les discussions. Les objectifs de cet exercice étaient de revoir et de valider ces résultats en plus de trouver des façons d'améliorer l'efficacité et l'efficience de programmes similaires susceptibles d'être mis en place dans les années à venir.

Limites de la méthode

Examen des dossiers de projet : Nous avons extrait les données pour l'examen des dossiers à l'aide de l'outil de production des rapports du Ministère, le centre des rapports. Nous avons constaté que cet outil était peu souple et non convivial, après avoir passé des semaines à vérifier les données, réexécuter les rapports, et ajouter ou enlever des données à la main. Les données de la mesure du rendement en particulier avaient besoin de beaucoup de manipulation avant d'être acceptables pour l'analyse. Dans certains cas, il était plus facile d'extraire l'information directement des bases de données ministérielles (portail de projets et GX) au lieu d'utiliser le centre des rapports.

Études de cas : Les études de cas sont des échantillons non probabilistes de projets choisies pour un but particulier. Dans la présente évaluation, les études de cas ont été choisies pour représenter une gamme de résultats. Comme dans n'importe quel processus d'entrevue, les études de cas peuvent être biaisées en fonction de l'expérience et du souvenir du répondant. Certains répondants par exemple ont intégré un projet après le début de celui ci et ne pouvaient pas commenter ce qui était survenu dans les premières étapes du projet. Finalement, il y avait la possibilité d'une erreur de mesure, étant donné le recours à des questionnaires n'ayant pas été rigoureusement testés en matière de validité et de fiabilité. Par exemple, la signification d'expressions comme « grappes technologiques » et « capacité technologique » était laissée à l'interprétation des répondants. Compte tenu de la possibilité de biais, les études de cas de la présente évaluation ne sont qu'une des nombreuses sources de données.

Entrevues des informateurs clés : 20 des 73 entrevues ont été menées auprès d'individus non directement liés au Ministère, comme des experts, des représentants d'organismes non bénéficiaires, et des représentants d'autres organismes de développement régional. Le niveau de connaissances et de compréhension des programmes d'innovation du Ministère variait entre ces personnes interrogées et certaines ne pouvaient pas répondre à toutes les questions.

Entrevues et sondage auprès des promoteurs : Il a été difficile de retrouver certains promoteurs parce qu'ils avaient quitté l'organisme avec lequel ils étaient quand ils ont obtenu du financement. Dans ces cas, on a demandé à l'organisme de transmettre les coordonnées de l'intéressé ou ceux de quelqu'un faisant actuellement partie de l'organisme, qui avait participé au projet et pouvait en parler. Il a aussi été difficile de trouver d'autres promoteurs parce que leurs coordonnées étaient inexactes. Dans ces cas, des coordonnées à jour ont été obtenues de l'organisme ou de son site Web. Finalement, certains promoteurs estimaient qu'il était trop tôt pour évaluer la réalisation de leurs résultats (particulièrement les résultats immédiats). On leur a alors demandé de prédire les résultats à plus long terme de leur projet.

Groupes de discussion : On a demandé aux participants des groupes de discussion de valider et d'interpréter les constatations de l'évaluation. La nature des groupes de discussion veut que les principales observations ne reflètent pas nécessairement les opinions de tous les participants au sujet d'une question.

Évaluation des résultats : L'objectif de l'évaluation des résultats était de comparer la réussite de projets financés par DEO à celle de projets entrepris par des organismes non bénéficiaires. Les deux groupes devaient donc être le plus semblables possible à l'égard de critères comme leur admissibilité au financement ministériel. L'admissibilité au financement ministériel se fondait sur l'évaluation des risques effectuée par le Ministère. Parce que l'évaluation des risques n'a pas été appliquée aux non bénéficiaires, leurs capacité et niveau d'avancement ne correspondent peut être pas à ceux des promoteurs ayant obtenu du financement. Il arrivait souvent que des données comparables sur le rendement ne soient pas disponibles pour les non bénéficiaires et les projets financés, empêchant ainsi la comparaison du rendement entre les deux groupes. Un autre obstacle à l'analyse résidait dans la petite taille de l'échantillon des non bénéficiaires et dans l'absence de participation du Manitoba.

Attribution : Il est difficile de déterminer la valeur ajoutée à long terme des programmes d'innovation du Ministère parce que des résultats comme une économie plus forte axée sur le savoir découlent de nombreux facteurs interreliés. La présente évaluation utilise une analyse axée sur la contribution pour déduire le rôle de DEO à réaliser les résultats stratégiques menant au développement et à la diversification de l'économie de l'Ouest canadien.

 


[3] Plusieurs rapports ont éclairé la présente évaluation, notamment : 1) Étude d’impact des sous-activités « Adoption et commercialisation des technologies » et « Infrastructure du savoir » du Programme de diversification de l’Ouest. Ference Weicker & Company (2009). Consulté à : http://www.wd.gc.ca/images/cont/11987-fra.pdf; 2) Évaluation de l’incidence des investissements de DEO dans la grappe des sciences de la vie de l’Ouest canadien. PricewaterhouseCoopers (2007). Consulté à : http://www.wd.gc.ca/images/cont/10359a-fra.pdf; 3) Divers rapports annuels que produit le groupe de l’innovation du Ministère.

[4] Les neuf dossiers sélectionnés incluaient : 1) trois projets terminés à l'exclusion des projets financés au titre des paiements à l'appui des conférences; 2) trois projets ayant une lettre d'offre refusée ou une offre d'aide retirée; 3) trois projets choisis au hasard dans le reste des projets.

[5] Les quatre programmes incluaient le Programme d'aide à la recherche industrielle du CNR (PARI), les Technologies du développement durable du Canada, des programmes du Conseil de recherche en sciences naturelles et en génie, le Fonds d'innovation de l'Atlantique et le Programme de développement des entreprises.

[6] Les cinq rapports étudiés incluaient : 1) Innovation Canada : Le pouvoir d’agir, Examen du soutien fédéral de la recherche-développement – Groupe d’experts, 2011; 2) Les gens et l’excellence : au cœur du succès de la commercialisation, Volume I : Rapport final du Groupe d’experts en commercialisation, 2006; 3) Innovation et stratégies d’entreprise : Pourquoi le Canada n’est pas à la hauteur, Rapport du comité d’experts sur l’innovation dans les entreprises, Conseil des académies canadiennes, 2009; 4) L’état des lieux en 2010 – Le systèmes des sciences, de la technologie et de l’innovation au Canada : De l’imagination à l’innovation – Le parcours du Canada vers la prospérité; Conseil des sciences, de la technologie et de l’innovation, 2011; et 5) Business Innovation Policies: Selected Country Comparisons (traduction non disponible), Organisation de coopération et de développement économiques, 2011.