Diversification de l'économie de l'Ouest Canada
Symbole du gouvernement du Canada

Liens de la barre de menu commune

Méthodes d'évaluation

Cette section décrit le concept, les méthodes et les limites de l'évaluation.

Modèle logique et cadre d'évaluation

Un modèle logique officiel a été élaboré pour le Programme de développement des collectivités (PDC) dans le cadre de la Stratégie de mesure du rendement (SMR) nationale. Le modèle logique du PDC est un diagramme qui décrit les intrants, les activités et les résultats du PDC et les liens qui les unissent. Le modèle fait aussi la distinction entre les activités et les extrants des ministères qui administrent le programme, et ceux des SADC, aussi appelées « organismes de développement des collectivités (ODC) » .

Version textuelle, Figure 1: Modèle logique – Programme de développement des collectivités

La figure présente le modèle logique du Programme de développement des collectivités sous la forme d’un diagramme comprenant les intrants, les extrants et les résultats du programme ainsi que les liens qui les unissent.

Le cadre d’évaluation pour cette étude combine le cadre d’évaluation national du PDC créé pour la SMR nationale et les commentaires reçus lors du processus de planification de l’évaluation de manière à tenir compte des cinq principaux aspects, conformément à la Directive sur la fonction d’évaluation du Secrétariat du Conseil du Trésor3

Approche et méthode d'évaluation

Une analyse documentaire des approches d'évaluation des programmes 4 de développement des collectivités indique qu'une évaluation du PDC requiert un plan de recherche mixte faisant appel à des sources de données multiples recueillies au moyen de méthodes quantitatives et qualitatives. On se fie à des méthodes quantitatives telles que l'analyse de données et les sondages pour décrire les activités, les résultats et l'incidence à court terme. Les méthodes qualitatives telles que les entrevues et l'analyse documentaire sont prépondérantes dans l'étude des résultats intermédiaires et à plus long terme. Une approche mixte permet une triangulation (c. à d. la convergence de résultats de sources diverses) et une complémentarité (c. à d. l'établissement d'une meilleure compréhension en examinant différents aspects d'un point d'évaluation).

Comité consultatif d'évaluation du PDC

Un comité consultatif a été établi pour fournir à l'équipe chargée du projet d'évaluation des commentaires, des conseils et des suggestions concernant l'exécution de l'étude; tirer au clair les ambiguïtés et résoudre les questions litigieuses; et veiller à ce que l'équipe produise un rapport équilibré, objectif et crédible. Le comité consultatif était composé de ressources ministérielles et externes (SADC et associations de SADC) et un mandat guidait ses activités.

Consultations préliminaires

Des consultations préliminaires ont été menées avec le personnel ministériel et régional de DEO pour établir le mandat de l'évaluation. Le comité consultatif, de même que le comité des directeurs généraux des opérations et le Comité exécutif du Ministère, ont examiné le mandat, notamment le cadre d'évaluation. Le mandat a été finalisé à la suite de ces consultations.

Analyse documentaire

Une analyse des documents du Ministère et de la documentation liée au PDC a été effectuée. Les documents ont été examinés pour déterminer la pertinence et le rendement du programme. Trois principaux types de documents ont été évalués et analysés pendant l'évaluation :

  • Documents généraux (p. ex. documents de DEO qui décrivent l'historique, la justification et la théorie du programme).
  • Rapports d'Industrie Canada sur les PME au Canada.
  • Documentation de programmes et de politiques (p. ex. mandat du PDC, rapports sur le rendement des SADC, sites Web des SADC, information sur le processus de dynamisation des SADC, documents et manuels d'exploitation des SADC, la SMR nationale).
  • Évaluations antérieures du PDC et documentation liée aux programmes de développement des collectivités.

Données sur le rendement

L'équipe chargée du projet d'évaluation a entrepris une analyse détaillée des données de projet de 2008 2009 à 2012 2013 pour dresser un profil des activités mises en œuvre grâce au programme. Les données sur le rendement ont permis de brosser un tableau complet des extrants et des activités du programme (p. ex. les statistiques sur ces activités, les prêts, les services de soutien aux entreprises). Les SADC consignent ces données trimestriellement ou annuellement dans une base de données hébergée par CommonGoals5. Dans la mesure du possible, les données de projet ont été complétées par des données provenant des systèmes de ressources humaines et financières du Ministère.

Examen des numéros d'entreprise de Statistique Canada

Conformément à un marché conclu à cet effet, Statistique Canada a fourni au Ministère des données des clients sur l'emploi, les ventes et les taux de survie des entreprises, ces données ayant servi à faire le suivi des indicateurs du PDC (p. ex. création et disparition d'entreprises, croissance de l'emploi, taux de survie des entreprises). Statistique Canada a effectué quatre extractions de données, dont le Ministère s'est servi pour établir des objectifs de rendement. Dans le but de faciliter ce processus, le Ministère a fourni à Statistique Canada une liste des numéros d'entreprise des clients des SADC. Statistique Canada a transmis l'ensemble des données au Ministère, qui les a analysées et en a fait rapport pour l'évaluation. Des entreprises semblables6 à celles appuyées par les SADC ont été identifiées selon les codes postaux ou les divisions du recensement dans des secteurs desservis par les SADC. L'évaluation reposait sur les résultats de l'extraction de données de 2000 à 2010.

Données de recensement

Statistique Canada a établi des profils de données personnalisés pour chacun des secteurs de service des SADC. Ces données, compilées à partir des recensements de 2006 et de 2011, ont fourni de l'information essentielle à l'évaluation, dont la répartition de la population desservie par chaque secteur de services des SADC, le taux d'activité, le taux de chômage, le revenu moyen par ménage et le niveau d'emploi par secteur d'activité. Le tableau ci dessous montre la répartition de la population desservie par le PDC dans les différentes régions de l'Ouest du Canada.

Province Nombre de SADC Population desservie
Manitoba 16 530 670
Saskatchewan 13 616 725
Alberta 27 1 588 310
British Columbia 34 1 726 740
Total 90 4 993 115

Entrevues auprès des principaux intervenants

Des entrevues semi structurées ont été réalisées avec 60 intervenants internes et externes. Le tableau suivant décrit les principaux groupes :

Type d'intervenants Entrevue prévue Entrevue terminée
Cadres et membres du personnel de DEO 10 11
Représentants d'organismes membres d'un réseau de SADC 10 5
Gestionnaires de comptes d'institutions financières 10 9
Organismes menant des activités semblables s'apparentant au PDC 10 9
Groupes et dirigeants communautaires 10 14
Intervenants et spécialistes externes 10 12
Total 60 60

Études de cas

Les études de cas constituent une méthode d'évaluation efficace pour démontrer les réussites et les difficultés d'un programme. Bien qu'elles ne soient pas représentatives de l'ensemble du programme, les études de cas sélectionnées sont utiles pour donner des exemples et démontrer l'efficacité du programme. Les études de cas peuvent également servir à illustrer la complexité du PDC et les éléments contextuels dans lesquels il s'exécute.

Des études de cas (huit en tout, deux par région) ont été sélectionnées pour l'évaluation en fonction de la taille, de l'objectif du service (planification et développement économique des collectivités c. des entreprises), de la situation géographique et des consultations avec le comité consultatif d'évaluation du PDC. Les méthodes employées lors de l'étude de cas incluaient des visites dans chacune des huit SADC pour examiner les documents et procéder à une entrevue avec un gestionnaire de SADC, un membre du conseil d'administration et au moins trois clients de SADC. La liste des SADC qui ont fait l'objet d'études de cas se trouve ci-dessous.

SADC choisie Province Ville Taille de la population
Central Okanagan CF C.-B. Kamloops 179 840
Central Interior First Nations CF C.-B. Kamloops 9 325
CF Lethbridge Alb. Lethbridge 115 605
CF Peace Country Alb. Peace River 45 140
South Central CF Sask. Moose Jaw 54 540
Newsask CF Sask. Tisdale 45 315
CF Greenstone Man. Flin Flon 7 330
Cedar Lake CF Man. Le Pas 15 965

Retourner au haut de la pageHaut de la page

Sondages

Sondages auprès des SADC

Un sondage a été mené auprès des SADC ne faisant pas l'objet d'une étude de cas pour avoir un aperçu de la pertinence et du rendement du PDC. Deux sondages ont été distribués pour chaque SADC : un destiné aux gestionnaires, et l'autre, aux présidents du conseil d'administration. Au total, 65 gestionnaires de SADC (79 %) et 40 présidents de SADC (49 %) ont rempli le sondage (taux de réponse de 64 %). Une estimation des taux de réponse par province et par type de répondant se trouve ci dessous.

Taux de réponse, par province, au sondage rempli par les gestionnaires et les présidents des SADC
  Alberta Colombie-Britannique Manitoba Saskatchewan Total
Contacts valides 51 63 28 22 164
Taux de non-réponse 33% 33% 54% 27% 36%
Taux de réponse 67% 67% 46% 73% 64%

 

Estimation du taux de réponse, par type de répondant, au sondage rempli par les gestionnaires et les présidents des SADC
  Gestionnaire de la SADC Président de la SADC Total
Contacts valides 82 82 164
Taux de non-réponse 21% 51% 36%
Taux de réponse 79% 49% 64%

Sondage auprès des clients des SADC

Un sondage a été effectué auprès des clients des SADC (y compris les clients non bénéficiaires d'un prêt) pour recueillir de l'information sur les activités et les résultats du PDC. Les clients ont été invités à répondre au sondage pour obtenir leur point de vue sur l'exécution et les résultats du programme. Les sondages visaient à faire connaître la pertinence et le rendement du PDC.

Pour établir la base de sondage, les SADC devaient fournir les noms, les postes, les numéros de téléphone et les adresses électroniques de tous leurs clients. Les renseignements liés à la valeur des prêts, aux types de services obtenus ainsi qu'au délai de réception des services et des mesures de soutien offerts aux clients ont été recueillis par le truchement du questionnaire.

Les taux de réponse et les sondages remplis ont été étroitement surveillés après la mise en œuvre du sondage pour s'assurer qu'il avait bien été mis en œuvre. Le sondage a été envoyé par courriel à 5743 clients. Les adresses électroniques de 1195 clients étaient invalides. Au total, 1024 clients ont commencé à remplir le sondage et 893 clients l'ont rempli, ce qui donne un taux de réponse de 20 %. Une estimation des taux de réponse par province et par type de répondant figure ci dessous.

Estimation du taux de réponse, par province, au sondage auprès des clients
  Alberta Colombie-Britannique Manitoba Saskatchewan Total
Contacts valides 1 032 2 999 294 223 4 548
Taux de non-réponse 78% (806) 83% (2494) 70% (207) 66% (148) 80% (3655)
Taux de réponse 22% (226) 17% (505 ) 30% (87) 34% (75) 20% (893)

 

Estimation du taux de réponse, par type de répondant, au sondage auprès des clients
  Clients titulaires d'un prêt Clients non titulaires d'un prêt Total
Valid contacts 2 148 2 400 4 548
Non-response rate 71% (1528) 89% (2127) 80% (3655)
Response rate 29% (620) 11% (273) 20% (893)

Profil des clients des SADC : La plupart des clients des SADC (83 %) ont indiqué que leurs organisations ou entreprises étaient actuellement en activité. Environ 6 % ont indiqué que leurs organisations ou entreprises en étaient toujours à l'étape de planification. Environ 5 % ont indiqué que leur organisation ou entreprise avait cessé ses opérations de façon permanente. Environ 7 % ont indiqué que leurs organisations ou entreprises avaient temporairement cessé leurs opérations, avaient été vendues ou ne verront pas le jour. Environ 12,4 % des clients œuvraient dans le commerce de détail, et 7 %, dans le secteur des services d'hébergement et de restauration. Les autres clients œuvraient dans les divers autres secteurs indiqués dans la figure ci dessous.

Version textuelle, Figure 2: Secteur des affaires

Cette figure illustre le secteur des affaires des clients des SADC visés par le sondage pour l’évaluation.

La SADC a accordé des prêts à la plupart des clients (68,8 %) et leur a fourni une aide pour établir un plan d'activités (36,6 %).

Sondage auprès des partenaires des SADC

Les SADC ont fourni des données administratives, dont les noms, le poste, les numéros de téléphone et les adresses électroniques d'organisations partenaires. En raison de contraintes de temps et de ressources, la plupart des SADC ont choisi de fournir un échantillon de données pour 10 à 25 partenaires. Lorsqu'une région était surreprésentée, les données du sondage étaient pondérées en conséquence.

Le sondage a été envoyé par courriel à 1329 partenaires d'après les coordonnées fournies par les SADC. Les adresses électroniques de 106 partenaires étaient invalides. Au total, 301 clients ont rempli le sondage, ce qui donne un taux de réponse de 24,6 %. Une estimation des taux de réponse par province figure ci dessous.

Estimation du taux de réponse, par province, au sondage auprès des partenaires
  Alberta Colombie-Britannique Manitoba Saskatchewan Total
Contacts valides 279 727 151 66 1223
Taux de non-réponse 67% (186) 78% (565) 85% (129) 64% (42) 75% (922)
Taux de réponse 33% (93) 22% (162) 15% (22) 36% (24) 25% (301)

Difficultés et limites de l'évaluation

  • Risque d’introduction d’un biais attribuable aux répondants : Les conclusions de l’évaluation reposent en partie sur l’opinion des principaux intervenants et des répondants aux sondages ayant un intérêt direct dans le PDC, et ayant ainsi pu donner des réponses subjectives concernant les résultats du programme. Plusieurs mesures ont été prises pour réduire l’effet du biais attribuable aux répondants et valider les résultats tirés des entrevues, notamment : i) s’assurer que les répondants comprenaient le caractère strictement confidentiel des réponses; ii) inclure des principaux intervenants et répondants aux sondages n’ayant pas d’intérêt direct dans le PDC ou auxquels la SADC n’a pas accordé de prêt; iii) demander aux répondants de justifier les cotes attribuées, notamment en fournissant une description des activités particulières ayant contribué aux résultats mentionnés.
     
  • Sondages : Lors de l'évaluation, les aspects suivants ont eu une incidence sur la capacité de réaliser un sondage : a) l'exhaustivité et la qualité des coordonnées fournies par les SADC; b) le consentement des répondants à participer aux sondages. Lorsqu'une région était surreprésentée, les données du sondage étaient pondérées en conséquence. Si un groupe était sous représenté, des appels de suivi ciblés étaient faits ou des courriels étaient envoyés pour améliorer la représentativité des réponses aux sondages.
     
  • Études de cas : La réalisation d’études de cas est généralement coûteuse et longue. Comme nous l’avons expliqué plus tôt, il est impossible d’analyser un échantillon statistiquement fiable et, par conséquent, il ne faut pas s’attendre à ce que les études de cas puissent permettre de généraliser les résultats du point de vue statistique. Pour remédier en partie à cette situation, les résultats des études de cas servent à appuyer les conclusions d’autres sources de données d’évaluation. De plus, les documents examinés pendant les études de cas comprenaient ceux obtenus directement auprès de la SADC. Étant donné que ces documents pouvaient inclure des documents que les SADC jugeaient importants pour l’évaluation, il existe un risque d’introduction d’un biais attribuable à la sélection. Ces documents ont donc été analysés en même temps que les renseignements ministériels internes pour réduire le risque de biais.
     
  • Attribution/contribution : Comme pour la plupart des programmes de DEO, d’autres facteurs contribueront à l’obtention des résultats attendus pour le PDC. Il s’agit là d’une difficulté qui s’applique particulièrement aux programmes communautaires, étant donné que de nombreux facteurs (c.-à-d. les partenaires de financement multiples, l’influence des conseils d’administration bénévoles, et d’autres initiatives mises en œuvre par les SADC pour le compte d’autres organisations) peuvent influer sur les résultats tandis qu’on tente d’isoler l’incidence précise de DEO sur ces résultats. L’équipe chargée de l’évaluation a réglé cette difficulté au chapitre de l’attribution en utilisant les données de Statistique Canada pour comparer les entreprises appuyées par les SADC avec celles non appuyées par ces dernières.
     
  • Disponibilité des données pour évaluer l’efficacité et la rentabilité : Les données précises sur les coûts de fonctionnement liés à l’administration de programmes à DEO sont souvent limitées ou non disponibles, ce qui empêche l’analyse complète de l’efficacité et de la rentabilité des programmes. On a eu recours à d’autres moyens d’évaluation de l’efficacité et de la rentabilité, notamment la recherche de possibilités d’optimisation de l’utilisation des ressources au niveau de la gouvernance et de l’exécution des programmes grâce à des données sur le rendement du PDC et à des entrevues avec de principaux intervenants.

[3] Secrétariat du Conseil du Trésor. Directive sur la fonction d'évaluation, 2009. http://www.tbs-sct.gc.ca/pol/doc-fra.aspx?id=15681

[4] Recherche sur l'évaluation du développement des collectivités, publiée par Community Waitakere, Nouvelle Zélande, août 2012 (en anglais seulement) http://www.communitywaitakere.org.nz/images/research1.pdf

[5] CommonGoals est une entreprise ayant développé le logiciel The Exceptional Assistant (TEA) que les SADC utilisent pour faire rapport de leur rendement au Ministère.

[6] « Entreprises semblables » : entreprises d'âge et de taille comparables, qui œuvrent dans le même secteur et se situent dans la même région géographique, mais qui ne bénéficient pas d'une contribution financière directe des SADC.