Diversification de l'économie de l'Ouest Canada
Symbole du gouvernement du Canada

Liens de la barre de menu commune

Évaluation : approche, conception et méthode

Le modèle logique qui sous-tend cette évaluation axée sur la théorie a été élaboré par les gestionnaires de programme dans le cadre de la stratégie de mesure du rendement. La conception de l’évaluation et les méthodes employées ont été calibrées en fonction du faible risque que présente le travail. Compte tenu des objectifs de l’étude, on a jugé qu’il était pertinent et suffisant de recourir à un cadre de recherche non expérimental assorti de sources de données multiples. Les sources et la quantité de données ont été limitées autant qu’il était possible de le faire sans compromettre la fiabilité et le caractère suffisant des données. Une société d’experts-conseils mandatée par DEO a interviewé des intervenants clés, réalisé un sondage et organisé des discussions en groupe, puis le groupe responsable de l’évaluation a analysé les données de toutes les sources et fait état des constatations dans un rapport final. Afin d’optimiser l’objectivité et la pertinence des conclusions, l’évaluation a été effectuée en consultation avec les gestionnaires du programme.

Activités menées dans le cadre de l'évaluation

Consultations préliminaires

Des consultations préliminaires ont été menées auprès du personnel ministériel régional et des directeurs généraux des organismes de l'IFE, dans le but de discuter de la méthode d'évaluation et de dresser une liste exhaustive des clientes et intervenants clés à interviewer. Le cadre d'évaluation a été examiné par les gestionnaires du programme et la haute direction du Ministère. Ces consultations ont permis d'obtenir des données préliminaires.

Examen de la documentation

Dans le cadre de l'évaluation, quatre types de documents ont été examinés :

  • documents généraux (p. ex. présentations au Conseil du Trésor, modalités du programme, stratégie de mesure du rendement du programme, sites Web, documents décrivant l'historique, la raison d'être et le modèle théorique du programme);
     
  • rapports du Ministère;4
     
  • rapports et dossiers relatifs au programme (p. ex. site Web et bases de données du Ministère, dossiers régionaux, rapports trimestriels régionaux, rapports sur le rendement);
     
  • documentation sur les besoins des entrepreneures et les pratiques exemplaires connexes.

Examen des dossiers

Organismes de l'Initiative pour les femmes entrepreneurs

Dans le cadre de l'évaluation, on a examiné toute l'information contenue dans les bases de données du Ministère (le Portail de projets et le système financier GX) et tous les dossiers papier des organismes de l'IFE pour la période allant d'avril 2008 jusqu'à la fin du processus d'examen des dossiers, en juin 2012. La stratégie de mesure du rendement faisait état de deux sous-programmes (anciennement des sous-activités de programme) : 1) amélioration de la productivité des entreprises; 2) accès au capital.

Les organismes de l’IFE ont également reçu du financement additionnel pour entreprendre des activités (ou projets) non couvertes par les fonds d’exploitation. Entre le 1er avril 2008 et juin 2012, quatre projets ont été approuvés, totalisant 700 550 $ en financement du Ministère. Trois de ces projets, dont le financement a été approuvé en avril 2008, s’inscrivaient dans le sous-programme « Amélioration de la productivité des entreprises » et sont maintenant terminés. Le premier projet était une initiative éducative d’une journée sur la croissance des entreprises appartenant à des femmes, le deuxième était la conférence « Women’s Business Blaster », et le troisième, la publication de New Pioneers, un ouvrage qui dresse le profil de 100 entrepreneures de la Colombie-Britannique. Le quatrième projet, approuvé en mars 2010, était toujours en cours au moment de la présente évaluation. Il s’agit d’un programme de certification qui vise à aider les entrepreneures à accéder aux programmes de diversification des fournisseurs et aux chaînes d’approvisionnement mondiales.

Analyse comparative

The comparative analysis consisted of a literature review of similar programs and best practices in support of female entrepreneurs and input from formal evaluations or impact assessments. Specifically, the following sources contributed to the discussion of best practices and lessons learned:

  • Meilleures pratiques pour les femmes chefs d'entreprise au Canada : Le document présente [traduction] « un échantillon des programmes canadiens visant à soutenir le démarrage et la croissance d’entreprises dirigées par des femmes au Canada ». L’échantillon englobe 11 programmes et organismes 5.
     
  • Best Practices in Supporting Women’s Entrepreneurship in the United States: A Compendium of Public and Private Sector Organizations and Initiatives : Il s'agit d'une [TRADUCTION] « analyse de 24 organismes et initiatives choisis qui offrent un soutien exceptionnel aux entreprises appartenant à des femmes et qui ont une vaste portée aux États Unis »6.
     
  • Bonnes pratiques dans la promotion de l’entrepreneuriat féminin : Cette publication « fournit une vue d’ensemble des actions et mesures de soutien spécifiques adoptées par les administrations nationales des États membres de l’Union européenne et des pays de l’AELE/EEE en vue de promouvoir l’entrepreneuriat féminin, notamment dans les domaines de la création d’entreprises, du financement, de la formation, du mentorat, de l’information, du conseil ou de la consultance et de la mise en réseau ». Les auteurs ont recensé 132 actions et mesures de soutien dans l’Union européenne, l’Association européenne de libre-échange (AELE) et l’Espace économique européen (EEE)7.
     
  • Évaluation de la sous-activité de programme Entrepreneurship et perfectionnement des compétences en affaires de l’Agence de promotion économique du Canada atlantique : Cette évaluation portait sur plusieurs initiatives à l’appui du perfectionnement des compétences en affaires, dont l’Initiative Femmes en affaires.
  • Évaluation des répercussions de l'Initiative pour les femmes entrepreneurs (2008).

Entrevues avec les intervenants clés

La société d’experts-conseils a élaboré les questionnaires et les a soumis à un test préliminaire. Elle a ensuite interviewé individuellement les intervenants clés par téléphone. La plupart des intervenants ont été sélectionnés en fonction de leur connaissance du programme et du rôle qu’ils jouent dans sa prestation. La société d’experts-conseils a interviewé 28 intervenants clés, répartis comme suit :

  • Quatre intervenants du Ministère (trois directeurs régionaux et un gestionnaire de l'administration centrale). Deux d'entre eux sont engagés dans l'IFE depuis près de 10 ans. Les huit directeurs et gestionnaires du Ministère qui connaissent le mieux le programme et qui sont le plus engagés dans l'IFE ont initialement été invités à participer à l'entrevue.
     
  • Neuf membres du personnel et des conseils d’administration des organismes de l’IFE. Dans chaque région, le directeur général et au moins un membre du conseil d’administration choisi au hasard ont été interviewés. Tous étaient engagés dans l’IFE depuis au moins cinq ans.
     
  • Neuf représentants du Réseau de services aux entreprises de l’Ouest canadien. Les participants provenaient des quatre régions et représentaient les centres de services Entreprises Canada (trois personnes), les sociétés d’aide au développement des collectivités (quatre personnes) et les organisations francophones à vocation économique (deux personnes). Les personnes interviewées connaissaient l'IFE en raison de partenariats, de locaux partagés ou de clients (aiguillage).
     
  • Deux partenaires financiers. Les deux partenaires ont été choisis en fonction de leur connaissance du programme et du rôle qu’ils jouent dans sa prestation.
     
  • Deux représentants d’autres ministères. Un des représentants provenait d’un autre ministère du gouvernement fédéral, et l’autre d’un gouvernement provincial. Les deux participants connaissaient très bien l’IFE.
     
  • Deux experts en matière d’entrepreneuriat féminin. Le personnel du Ministère a ciblé ces deux personnes parce qu’elles connaissent bien le programme et les difficultés auxquelles sont confrontées les femmes chefs d’entreprise au Canada.

Sondage auprès des clientes

Les organismes de l’IFE ont fourni des listes exhaustives de noms et de coordonnées de clientes ayant reçu des conseils, de la formation ou un prêt. La liste globale comportait 17 403 noms de clientes, mais dans certains cas, les coordonnées étaient inexactes. La société d’experts-conseils a pu joindre 584 des 649 clientes des services de prêts figurant sur la liste, et 124 d’entre elles (21 %) ont rempli le sondage. Parmi les 2 000 clientes des services autres que les prêts qui ont été choisies au hasard (500 dans chaque province), 1 651 ont été jointes et 145 (8 %) ont répondu au sondage. Au total, 269 clientes (12 %) ont répondu au sondage. Le taux de réponse était de 7 % en Alberta, 11 % en Saskatchewan, 12 % au Manitoba et 16 % en Colombie-Britannique. Le questionnaire a été soumis à un test préliminaire puis affiché sur un site Web réservé. Les participantes pouvaient également recevoir le questionnaire par courriel, par télécopieur ou encore par la poste. Dans le but d’accroître le taux de réponse, la société d’experts-conseils a fait au moins trois tentatives de suivi auprès des non-répondantes, par courriel et par téléphone. Les experts-conseils ont insisté davantage auprès des clientes des services de prêts, parce que les prêts augmentent généralement plus l’activité économique que les autres services, comme la formation. Nous avons exclu les clientes ayant présenté des demandes de renseignements, car ces prises de contact généralement ponctuelles ne permettent pas de se familiariser suffisamment avec les organismes de l’IFE pour formuler des réponses éclairées.

L’échantillon comprenait aussi 22 clientes représentant des entreprises dont la demande de prêt n’a pas été approuvée. Parmi ces clientes, huit ont répondu à un sondage en ligne et 14 ont été interviewées par téléphone. En tout, neuf étaient en Colombie-Britannique, cinq en Saskatchewan, quatre en Alberta et quatre autres au Manitoba. Le taux de réponse des entreprises dont la demande de prêt a été refusée était de 15 %.

Discussions en groupe

En avril 2013, les experts-conseils ont organisé des discussions en groupe dans chacune des quatre régions. Les participants ont été sélectionnés d’après leur connaissance du programme, le rôle qu'ils jouent dans sa prestation et leur connaissance des besoins des petites et moyennes entreprises de la région. Au total, 39 personnes ont participé aux quatre discussions en groupe, soit quatre représentants du Ministère, 16 représentants des organismes de l'IFE (employés et membres des conseils d'administration) et 19 représentants de partenaires régionaux et d'autres organismes. Les groupes de discussion comptaient entre 8 et 11 participants.

Un expert-conseil a présenté aux participants les résultats des recherches et a ensuite animé la discussion. L'exercice avait pour objectif d'examiner et de valider les résultats préliminaires.

Limites de la méthode

Études de cas

Les études de cas sont fondées sur des échantillons non probabilistes de projets choisis en vue de faire une étude approfondie dans un but particulier. Dans le cadre de la présente évaluation, nous avons choisi de ne pas réaliser d'études de cas et de plutôt sonder un vaste groupe de clientes et organiser des discussions en groupe.

Entrevues avec les intervenants clés

Les réponses de certains participants peuvent être biaisées. Pour réduire au maximum le biais, nous avons fait appel à des intervieweurs qualifiés qui : 1) ont présenté aux participants l’objectif, la conception et les méthodes sur lesquelles reposait l’évaluation, en plus de les rassurer quant au caractère strictement confidentiel des réponses fournies; 2) ont réalisé les entrevues par téléphone; 3) ont demandé aux répondants de justifier les scores attribués, notamment en fournissant une description des activités particulières. Les résultats tirés de ces entrevues ont été validés dans le cadre de discussions en groupe. De plus, comme la moitié des personnes interviewées au sein du Ministère géraient depuis peu de temps seulement les dossiers régionaux et ne connaissaient pas bien le fonctionnement du programme en raison de changements ministériels récents dans la gestion de l’IFE, on a demandé aux membres du personnel du Ministère de parler en termes plus généraux de l’incidence du programme dans leur région et des obstacles anticipés. Enfin, bien que la plupart des intervenants clés étaient en mesure de nommer d’autres organismes et programmes semblables à l’IFE, certains ont eu de la difficulté à commenter les différences ou les similitudes entre les programmes parce qu’ils n’étaient pas bien au fait des services précis offerts par ces autres organismes. Dans ces cas, les intervieweurs rappelaient aux participants les objectifs généraux de l’IFE et des autres programmes régionaux.

Entrevues et sondages auprès des promotrices

Le taux de réponse variait d’une question du sondage à l’autre. Les questions financières, en particulier les questions sur les revenus (p. ex. les revenus de l’entreprise dans l’année avant qu’elle ne reçoive l’aide, les revenus de l’année précédente ou les revenus de l’année en cours), étaient associées aux taux de réponse les plus faibles parce que les clientes hésitaient à fournir des données financières (surtout en ligne) ou ne se rappelaient pas des données financières des années antérieures. Parmi les 107 clientes des services de prêt dont l’entreprise est active aujourd’hui, 74 ont communiqué toutes leurs données financières (revenus, employés, salaires et exportations). Parmi les 67 clientes des services autres que les prêts dont l’entreprise est active aujourd’hui, 50 ont fourni toutes leurs données financières. Il y a également une possibilité d’erreur due à la non-réponse : les clientes dont l’entreprise est actuellement active, qui ont reçu des services plus importants (p. ex. des prêts plus élevés) ou qui sont plus satisfaites des services obtenus peuvent être relativement plus enclines à répondre. Pour remédier à ce problème, les experts-conseils ont fait un suivi après des non-répondantes, y compris les entreprises dont la demande de prêt n’a pas été approuvée. Parmi les clientes des services de prêts, celles qui ont fourni leurs données financières sont généralement représentatives de la population globale en ce qui a trait à la valeur des prêts; par exemple, la valeur moyenne des prêts accordés à ces clientes s’élevait à 61 378 $, ce qui est similaire à la valeur moyenne des prêts consentis par les quatre organismes au cours de la dernière année, soit 56 498 $. Par ailleurs, les données financières des clientes des services de prêts sont comparables aux données recueillies lors de l’évaluation des répercussions de l’IFE de 2008, dans le cadre de laquelle un plus grand nombre de clientes avaient été sondées.

Groupes de discussion

Les groupes de discussion servent à valider et à interpréter les résultats de l'évaluation. Les discussions reflètent l'opinion des participants et ne sont pas nécessairement représentatives de l'opinion de l'ensemble des personnes engagées dans le programme.

Efficience et économie

Les données détaillées sur les coûts nécessaires pour effectuer une analyse plus exhaustive des résultats d'efficience et d'économie n'étaient pas disponibles. À titre d'exemple, le Ministère accorde aux organismes de l'IFE un financement de base afin qu'ils dispensent des services et attribuent des prêts; la ventilation des dépenses par catégorie d'activités (services ou prêts) n'est pas disponible. Par conséquent, certaines observations sont des estimations ou reposent sur des opinions.

Attribution

Il est difficile de mesurer les effets à long terme du programme sur le renforcement des petites et moyennes entreprises et sur la promotion de l'égalité des sexes, parce que de nombreux facteurs contribuent à ces résultats. Une analyse axée sur la contribution a permis d'estimer la mesure selon laquelle le programme contribue à l'atteinte de ses résultats à long terme, comme le développement et la diversification de l'économie de l'Ouest canadien.

 


[4] Plusieurs rapports ont été examinés aux fins de l’évaluation : 1) Jim August Consultants/Management Exchange, Inc., Evaluation Study of the Women’s Enterprise Initiative, 1998; 2) Equinox Management Consultants Ltd., An Analysis of the Impact of the Women’s Enterprise Initiative, 2002; 3) Goss Gilroy Inc., Évaluation de l’Initiative pour les femmes entrepreneurs, 2004; 4) Ference Weicker & Company Ltd., Évaluation des répercussions de l’Initiative pour les femmes entrepreneurs (IFE), 2008; 5) KPMG, Vérification de l’Initiative pour les femmes entrepreneurs, 2008.

[5] Foundation of Canadian Women Entrepreneurs. Meilleures pratiques pour les femmes chefs d’entreprise au Canada, mai 2004.

[6] The National Women’s Business Council, Best Practices in Supporting Women’s Entrepreneurship in the United States: A Compendium of Public and Private Sector Organizations and Initiatives, 2004.

[7] Austrian Institute for Small Business Research, Bonnes pratiques dans la promotion de l’entrepreneuriat féminin, 2002.