Diversification de l'économie de l'Ouest Canada
Symbole du gouvernement du Canada

Liens de la barre de menu commune

Méthode

Portée du travail

Le modèle logique sur lequel repose cette évaluation théorique a été élaboré en consultation avec le groupe consultatif. L’évaluation fait appel à une approche non expérimentale puisqu’il n’a pas été possible de former un groupe témoin. Cependant, cette approche, utilisée en combinaison avec de multiples sources de données, a permis d’atteindre les objectifs de l’évaluation. Cette évaluation des investissements du Ministère dans le PAEI repose sur un vaste éventail de méthodes de collecte de données, décrites ci dessous. Elle met l’accent sur les enjeux suivants : la pertinence et le rendement (efficacité, efficience et économie). Les objectifs de l’évaluation et les principaux enjeux de cette évaluation sont présentés au tableau 3-1.

Tableau 3-1 : Principaux enjeux de l’évaluation
  Enjeux de l’évaluation
Pertinence 1. Le PAEI répond-il toujours à un besoin?
2. Y a-t-il encore une demande à l’égard du PAEI?
3. Le Programme s’arrime-t-il aux priorités du gouvernement fédéral et de DEO?
4. Le Programme est-il conforme aux rôles et responsabilités du gouvernement fédéral?
Rendement (résultats obtenus, efficience et rentabilité) 5. Dans quelle mesure le PAEI atteint-il ses objectifs?
6. Quels sont les facteurs qui facilitent ou freinent la réalisation des objectifs du Programme?
7. Dans quelle mesure le PAEI a-t-il permis d’obtenir les résultats attendus?
8. Dans quelle mesure les résultats attendus se sont-ils concrétisés grâce au Programme?
9. Dans quelle mesure le PAEI a-t-il contribué aux objectifs à long terme?
10. Dans quelle mesure les fonds d’exploitation ont-ils eu une incidence sur la prestation des services du PAEI (prêts, conseils, etc.) dans les régions urbaines et rurales?
11. Est-ce que l’approche du Programme (rurale et urbaine) est appropriée pour atteindre les résultats attendus?
12. A-t-on obtenu des résultats inattendus (positifs ou négatifs)?
13. Est-ce que les activités sont entreprises et les produits exécutés de la façon la plus efficace possible?
      • Comment pourrait-on améliorer l’efficacité des activités du Programme?
      • Y a-t-il d’autres façons, plus efficaces, d’exécuter le Programme?
14. Est-ce que le Programme permet d’atteindre les résultats attendus de la façon la plus rentable possible?

Activités menées dans le cadre de l’évaluation

Consultations préliminaires et mesure de la capacité d’évaluation

Des consultations préliminaires ont été menées avec les agents du Ministère responsables des ententes afin d’élaborer le cadre d’évaluation et de discuter de la disponibilité de données utiles. Grâce à ces consultations, nous avons réussi à définir la portée de l’évaluation et à en préciser le mandat. Un comité consultatif, composé de représentants du Ministère de chaque région, a été formé afin de fournir des renseignements utiles et pertinents contribuant à accroître l’efficacité de l’évaluation et à garantir la qualité des produits d’évaluation. Après l’analyse de la capacité d’évaluation, un consultant a été engagé pour recueillir une partie des données de l’évaluation. Le rapport final a été rédigé avec l’aide de ressources internes.

Examen des documents et analyse documentaire

L’évaluation repose également sur un examen des documents et analyse documentaire contenant de l’information sur le PAEI. Cet examen servait essentiellement à mesurer la pertinence et les résultats des ententes.

Voici les principaux types de documents évalués et analysés dans le cadre de l’évaluation :

  • Documentation de base générale (p. ex. documents sur les ententes conclues dans le cadre du Programme, sites Web, articles produits par les médias, documentation sur le PAEI, y compris les descriptions des projets financés, lignes directrices du Programme, rapports d’étape, rapports sur le rendement, dossiers des partenaires du PAEI en région rurale et urbaine, etc.);
  • Documentation spécifique (p. ex. site Web du Ministère, mandat, rapports d’évaluation antérieurs et autres études concernant le PAEI).

L’information tirée de cet examen a servi à élaborer le modèle logique de l’évaluation et d’en préciser le mandat.

Retourner au haut de la pageHaut de la page

Examen des dossiers de projets et analyse des données

L’équipe d’évaluation a examiné les dossiers des projets liés au PAEI et a effectué une analyse des données disponibles dans la base de données de gestion de projet et le système financier du Ministère, et la base de données TEA4 utilisée par les organismes du Programme de développement des collectivités. Comme les données provenant de la Saskatchewan n’avaient pas été versées dans la base de données du Ministère, nous avons procédé à un examen des dossiers sur papier lors de notre passage dans cette province. Les résultats des évaluations antérieures ont servi de données de base pour la présente étude. L’équipe d’évaluation a également consulté les agents du PAEI du Ministère et les intervenants des organismes de prestation pour valider les données recueillies lors de l’examen des bases de données et des dossiers. Des données ont été recueillies pour les 7 agents de prestation en milieu urbain, les 4 associations provinciales et les 90 organismes du Programme de développement des collectivités.

Entrevues

Les gestionnaires du PAEI du Ministère ont participé à un groupe de discussion qui a eu lieu à Edmonton (en personne et par vidéoconférence) et les autres groupes de répondants ont participé à des échanges au téléphone ou en personne. Ces groupes représentaient les associations provinciales d’aide au développement des collectivités, les agents de prestation en milieu urbain, les organismes du Programme de développement des collectivités et les intervenants des collectivités.

En tout, 51 personnes représentant 38 organisations ont répondu aux principales questions de l’étude. Des guides ont été remis aux participants avant la tenue de l’entrevue ou du groupe de discussion. Les entrevues ont duré en moyenne une heure et quart et les groupes de discussion, 2 heures. Un organisme a remis une réponse écrite pour présenter le point de vue des membres de son conseil d’administration, formé d’environ huit personnes (qui ne sont pas comptabilisées dans les chiffres ci dessous; cependant, cette réponse écrite a été prise en compte lors de la synthèse des données).

Bon nombre des personnes interrogées participent à l’exécution du PAEI depuis longtemps et ont pu nous présenter une perspective historique du Programme. Pour la plupart des personnes interrogées, le PAEI fait partie intégrante de leurs tâches et responsabilités. Cette analyse a été effectuée par le consultant.

Approche de sélection des sujets interrogés :

  • Gestionnaires de programme du Ministère : les représentants de chaque province ont été sélectionnés en fonction de leur connaissance du PAEI et de leur rôle quant à la surveillance du Programme.
  • Associations d’aide au développement des collectivités : les trois associations (une par province) ont été choisies de façon à représenter différents types de collectivités et différents niveaux de mobilisation à l’égard du Programme d’aide aux entrepreneurs ayant une incapacité.
  • Tous les agents de prestation en milieu urbain ont participé.
  • Intervenants : un échantillon représentatif a été établi en fonction de la répartition géographique des intervenants de la collectivité et de leur connaissance des services aux entrepreneurs et aux personnes handicapées.
Tableau 3-2 : Intervenants qui ont participé à l’évaluation
Groupe d’intervenants Nbre d’organismes représentés Nbre de participants
Diversification de l’économie de l’Ouest, gestionnaires de programme (groupe de discussion) 4 8
Associations d’aide au développement des collectivités (entrevues) 4 7
Organismes de prestation en milieu urbain (entrevues) 7 13
Organismes du Programme de développement des collectivités (entrevues) 11 11
Intervenants (entrevues) 12 12
Total 38 51

Retourner au haut de la pageHaut de la page

Analyse comparative

L’analyse comparative reposait notamment sur une comparaison des services du PAEI avec les services offerts dans le cadre d’autres programmes et par d’autres organismes et ministères, ainsi qu’avec les services proposés aux entrepreneurs handicapés afin de leur permettre d’accéder à des fonds dans les quatre provinces de l’Ouest du Canada, et enfin avec les services du gouvernement fédéral. Une étude portant sur dix organismes, programmes et services ayant un lien avec le PAEI a été effectuée, en plus d’une évaluation des ressources sur Internet dont peuvent se prévaloir les entrepreneurs. Les organismes sondés sont au service des personnes handicapées, et leur offrent un vaste éventail de services, notamment un soutien au travail indépendant. L’information recueillie reposait sur le contenu des sites Web, les articles disponibles et, dans certains cas, une consultation directe auprès d’un membre de l’organisme. Cette analyse a été effectuée par le consultant. Les organismes sondés sont les suivants :

  • Fonds d’intégration pour les personnes handicapées : Un programme pancanadien offert par le ministère des Ressources humaines et du Développement des compétences, créé en 1997 pour aider les personnes handicapées à se préparer en vue d’obtenir et de conserver un emploi, ou de devenir travailleurs autonomes, et d’accroître leur indépendance et leur participation à la vie économique du pays.
  • Société canadienne de développement social : Un organisme indépendant pancanadien qui offre une formation axée sur l’emploi et les compétences aux personnes qui éprouvent de la difficulté à décrocher un emploi : les personnes handicapées, les jeunes, les parents au foyer, les travailleurs âgés, les Autochtones et les personnes qui résident en milieu rural.
  • Conseil canadien de la réadaptation et du travail : Une organisation pancanadienne dont le mandat est d’aider les personnes handicapées à accéder à des emplois équitables et stimulants.
  • SEED Winnipeg : Un programme de Winnipeg créé vers la fin des années 1980 pour lutter contre la pauvreté et contribuer au renouvellement du centre ville de Winnipeg, en aidant les entrepreneurs à lancer de petites entreprises et à réaliser des économies en vue d’atteindre leurs objectifs.
  • Aide à l’employabilité des personnes handicapées : Un programme de la Saskatchewan qui offre un financement pour aider les adultes handicapés à se préparer en vue d’obtenir et de conserver un emploi.
  • EmployAbilities : Un organisme communautaire sans but lucratif de l’Alberta qui offre des programmes d’emploi et des possibilités d’apprentissage aux personnes handicapées.
  • Soutien à l’emploi lié à une incapacité : Un programme de l’Alberta qui offre une formation et des services de placement et de recherche d’emploi pour venir en aide aux personnes handicapées.
  • Fondation de Vancouver, Fonds de soutien à l’emploi pour personne ayant une incapacité : Un programme de Vancouver offrant des subventions pour aider les organismes admissibles de la Colombie Britannique dont le mandat est de développer les possibilités d’emploi et, à terme, le taux d’emploi des personnes handicapées au sein de la collectivité.
  • Programme d’emploi pour les personnes handicapées (EPPD) : Un programme offert par le truchement du ministère du Logement et du Développement social de la Colombie Britannique offrant un vaste éventail de services spécialisés pour aider les personnes handicapées à participer à la vie de leur collectivité, à poursuivre leurs objectifs d’emploi, à développer leur autonomie et à acquérir les compétences et les expériences nécessaires pour décrocher un emploi ou pour effectuer un travail à titre de bénévole.
  • Coalition des personnes ayant une incapacité de la C.-B. : Un organisme de la C.-B. qui défend des dossiers importants pour les personnes handicapées grâce à la prestation directe de services, à des partenariats communautaires, à des activités de promotion et de recherche et à des publications.
  • L’analyse comprend également les services offerts aux entrepreneurs par le Programme de développement des collectivités du Ministère, par le truchement des organismes du Programme. Les activités de ces organismes en lien avec le PAEI ont fait l’objet de comparaisons reposant sur les facteurs suivants :

    • régions servies;
    • capacité de prêt;
    • services fournis – planification des activités, formation, aide à la recherche, consultation, aiguillage, réseautage et encadrement;
    • modèle général de prestation – comprenant les services en région urbaine et rurale;
    • clientèle ciblée;
    • rendement.

Retourner au haut de la pageHaut de la page

Sondage auprès des clients

Dans le cadre de l’évaluation, un sondage a été mené auprès des clients du PAEI qui ont participé au Programme au cours des cinq dernières années, afin qu’ils nous fassent part de leur expérience. En tout, 544 clients du PAEI ont répondu au sondage. Afin de créer un échantillon adéquat, nous avons demandé à chaque agent de prestation (en milieu rural et urbain) de nous fournir leurs listes de clients.

Les agents de prestation nous ont fourni les coordonnées de 354 participants du PAEI. De ce total, seulement 270 contacts ont pu être utilisés. Près de 84 contacts n’ont pu être employés car le numéro de téléphone fourni était hors service ou l’adresse de courriel et les coordonnées personnelles n’étaient plus valides. En tout, nous avons réussi à communiquer avec 84 participants, dont 27 par courriel et 54 au téléphone. Nous avons également reçu cinq réponses par écrit, mais notre analyse était déjà complétée. Il s’agit d’un taux de réponse de 32 % pour un échantillon utile de 270 clients.

Le tableau suivant illustre la répartition réelle des clients qui ont répondu au sondage dans chaque province et chaque organisation, et le taux de réponse :

Tableau 3-3 : Répondants ayant participé au PAEI, par province – chiffres réels*
C.-B. Nbre de personnes invitées à participer au sondage Nbre de répondants Taux de réponse
Urbain 17 5 29,41 %
Rural 80 25 31,25 %
Sous-total 97 30 30,93 %
ALB.      
Urbain 43 10 23,26 %
Rural 109 10 9,17 %
Sous-total 152 20 13,16 %
SASK.      
Urbain 141 23 16,31 %
Rural 14 2 14,29 %
Sous-total 155 25 16,13 %
MAN.      
Urbain** 126 0 0,00 %
Rural 14 11 78,57 %
Sous-total 140 11 7,86 %
Total 544 86 15,81 %

*Le taux de réponse est calculé en divisant le nombre de répondants par le nombre de personnes invitées à participer au sondage.
**Pour des raisons de confidentialité, l’agent en milieu urbain n’a pas remis aux évaluateurs la liste de ses clients; il a plutôt envoyé une lettre aux clients leur demandant de participer au sondage. Aucun des clients n’a répondu au sondage.

La répartition totale des réponses au sondage (milieu urbain et milieu rural) est présentée ci dessous.

Tableau 3-4 : Milieu urbain/milieu rural
Fournisseur Clients du PAEI Pourcentage du volume total
Urbain 38 44,2 %
Rural 48 55,8 %
Total 86 100,0 %

Groupes de discussion

Des groupes de discussion visant à valider l’évaluation du PAEI ont été organisés à Vancouver, Edmonton, Saskatoon et Winnipeg. En tout, 37 personnes (tableau 3 – 5) ont participé aux groupes de discussion en personne, par vidéoconférence ou téléconférence. Le consultant a présenté un aperçu des conclusions et posé des questions afin de stimuler la discussion. L’approche d’échantillonnage retenue pour sélectionner les sujets interrogés s’est également appliquée à la sélection des participants aux groupes de discussion.

Tableau 3-5 : Nombres de participants par catégorie
Region Organismes du Programme de développe-ment des collectivités Agents de presta-tion en milieu urbain Autres intervenants Personnel de DEO Associations provinciales d’aide au développement des collectivités Total
Manitoba 2 1 2 2 1 8
Saskatchewan 1 6 1 2 - 10
Alberta 2 5   3 2 12
Colombie-Britannique 1 1 2 2 1 7
TOTAL 6 13 5 9 4 37

Retourner au haut de la pageHaut de la page

Limites de l’évaluation

  • Analyse des données : L’évaluation faisait appel à des données tirées de la base de données TEA des organismes du Programme de développement des collectivités et à des données versées dans la base de données de gestion de projet et les dossiers du Ministère par les agents de prestation en milieu urbain et les associations provinciales d’aide au développement des collectivités. Les entrevues et les groupes de discussion révèlent que la reddition de comptes n’est pas uniforme d’une région à une autre. En outre, on ne sait pas très bien si les agents de prestation partagent une même définition des clients et des résultats et s’ils assurent un suivi uniforme à cet égard. Les données issues de chacune des bases de données ont été validées avec les associations provinciales et les agents de prestation en milieu urbain. Dans les cas où les données ne pouvaient être validées, elles n’étaient pas utilisées dans l’analyse.
  • Sondage : Le biais de sélection du sondage constituait une menace sérieuse à la validité de nos conclusions et à notre capacité d’appliquer ces conclusions à tous les entrepreneurs handicapés. Les clients invités à répondre au sondage étaient susceptibles d’avoir participé directement au PAEI et d’avoir mieux réussi. Ceux qui ont échoué n’ont sans doute pas répondu ou étaient sous représentés dans l’échantillon. En outre, l’échantillon du sondage n’était pas représentatif de la population totale. Les résultats du sondage n’ont donc pas été employés pour étayer les autres sources de données de l’analyse.
  • Analyse comparative : Comme le PAEI est une petite composante d’un plus vaste portefeuille de programmes et de services offerts par les agents de prestation, il a été difficile d’isoler l’effet du PAEI sur un participant au Programme. Le recours à une approche expérimentale pour évaluer les incidences additionnelles du Programme n’a pas été possible dans le cas du PAEI. Nous ne sommes pas parvenus à former des groupes témoins; il était donc impossible d’effectuer une comparaison avec les groupes de participants. Les renseignements consignés par les agents de prestation du PAEI ne nous ont pas permis d’effectuer une comparaison. En outre, ils n’ont pas fait de suivi auprès des clients qui ont choisi de ne pas participer au Programme. En raison de ces limites et de la taille de l’échantillon de clients qui ont répondu au sondage, nous avons jugé imprudent de croiser les résultats du sondage pour dégager des différences entre les sous groupes de répondants. Cependant, nous avons utilisé les commentaires formulés par les participants lors des sondages et des entrevues (leurs commentaires étaient alors rapportés par les sujets interrogés) pour valider les conclusions de l’analyse comparative.
  • Entrevues : Tous les représentants des associations provinciales d’aide au développement des collectivités, y compris les représentants des organismes du Programme de développement des collectivités et des agences de prestation en milieu urbain, ont été interviewés. Ce groupe représente 100 % des organismes financés annuellement en vue d’exécuter le PAEI. Ces entrevues se faisaient généralement avec plus d’une personne et comportaient une composante historique sur le PAEI. Il existe cependant une possibilité de biais dans leurs réponses puisque ces personnes ont un intérêt manifeste à l’égard du PAEI. Les résultats des entrevues menées avec des personnes qui n’ont pas de lien avec le PAEI ont été influencés par leur faible niveau de connaissance et d’expérience directe relativement au PAEI. Cependant, l’intervieweur a réussi à bien décrire le PAEI et à recueillir des réponses en fonction de la description du concept du Programme.
  • Difficultés quant à l’utilisation des indicateurs de rendement du PAEI pour mesurer les résultats : Depuis la création du PAEI, aucune stratégie sur la mesure du rendement n’a été élaborée. L’évaluation de 2005 recommandait la mise sur pied d’une telle stratégie. Une série d’indicateurs de rendement a été établie pour le PAEI lors du processus de renouvellement de 2005. Les partenaires du PAEI utilisent ces indicateurs pour rapporter leurs résultats au Ministère; cependant, les agents n’ont pas tous la même définition de ces indicateurs. On ne sait pas très bien comment certains de ces indicateurs peuvent être liés aux extrants et résultats du Ministère.