Contexte de l’évaluation

La présente évaluation examine les résultats de l’aide financière de 40 M$ accordée dans le cadre du projet mobilisateur Avion écologique phase 2 du 1er décembre 2015 au 30 septembre 2021.

À cet égard, elle examine la pertinence du projet, son efficacité à atteindre les résultats visés, son efficience à obtenir des résultats à un coût raisonnable et la conformité de sa mise en œuvre.

La Direction des programmes et de l’évaluation (DPE) du ministère de l’Économie et de l’Innovation (MEI) a été mandatée pour réaliser cette évaluation. Celle-ci a été réalisée conformément à la Politique ministérielle d’évaluation de programme du MEI.

Avis de l’évaluation et principaux résultats

Globalement, les résultats du projet sont jugés très satisfaisants, et celui-ci répond adéquatement au besoin de soutenir la recherche et l’innovation réalisées en synergie dans le domaine de l’aérospatiale. L’évaluation confirme la pertinence du programme, son efficacité à atteindre les résultats visés et l’efficience de la dépense publique. Par ailleurs, sa mise en œuvre a été conforme à la convention.

Les principaux constats sont les suivants :

Pertinence du programme

Adéquation au besoin ayant justifié le programme

Avis de l’évaluation : Satisfaisant, car les résultats visés sont atteints.

  • Réponse probante du projet aux besoins ayant motivé sa mise en place.
  • Une grande partie des projets réalisés par les partenaires industriels et en collaboration avec les autres organisations participantes québécoises attribuable au projet mobilisateur.

Cohérence du programme avec d’autres interventions publiques et la mission du Ministère

Avis de l’évaluation : Satisfaisant, car les résultats visés sont atteints.

  • Approche « projet mobilisateur » partiellement complémentaire aux interventions existantes.
  • Forte cohérence des activités du projet avec les orientations du gouvernement du Québec.
  • Liens logiques entre les résultats visés et les objectifs.

Utilité et la valeur ajoutée du programme pour les parties prenantes

Avis de l’évaluation : Satisfaisant, car les résultats visés sont atteints.

  • Utilité de l’aide reçue reconnue par tous les partenaires et gains associés au projet pour 85 % des organisations participantes.
  • Valeur ajoutée élevée de l’approche « projet mobilisateur » pour tous les partenaires et valeur ajoutée du projet pour 88 % des autres organisations participantes.

Efficacité du programme

Atteinte des résultats immédiats visés

Avis de l’évaluation : Très satisfaisant, car les résultats visés sont dépassés.

  • 51 organisations participantes : 5 partenaires, 29 PME et 17 organisations de recherche.
  • 96 % des activités majeures réalisées.
  • 97 % des livrables prévus réalisés.
  • 92 % de la subvention prévue utilisée.

Atteinte des effets visés

Avis de l’évaluation : Satisfaisant, car les résultats visés sont atteints.

  • 96 % des résultats attendus en innovation atteints.
  • 100 % des résultats attendus en mobilisation atteints.
  • 100 % des résultats attendus en développement durable et en potentiel de réduction des émissions de GES atteints.
  • 8,4 % de la valeur du projet en contrats à des PME et 5,6 % à des organisations de recherche.
  • 14 technologies et six procédés développés et trois brevets obtenus.

Obtention de retombées socio-économiques

Avis de l’évaluation : Très satisfaisant, car les résultats visés sont dépassés.

  • Au moins 645 personnes ayant participé au projet.
  • Retombées économiques perçues par 71 % des organisations participantes.
  • Au moins 86 emplois maintenus et au moins 69 emplois créés.
  • Cinq cas à succès probants.

Efficience du programme

Avis de l’évaluation : Très satisfaisant, car les résultats visés sont dépassés.

  • Ratio de rendement de la dépense publique de 2.
  • Effet de levier de l’aide financière de 1,6.

Conformité de la mise en oeuvre du programme

Conformité opérationnelle du programme

Avis de l’évaluation : Satisfaisant, car les résultats visés sont atteints.

  • Respect des principales exigences de la convention relatives à la gestion.
  • Utilisation convaincante de saines pratiques de gestion axée sur les résultats.

Efficacité de la gouvernance et satisfaction des parties prenantes au programme

Avis de l’évaluation : Très satisfaisant, car les résultats visés sont dépassés.

  • Satisfaction de l’ensemble des partenaires industriels.
  • Satisfaction de 97 % des PME et des organisations de recherche.

Conclusion

D’après les résultats constatés par l’évaluation, le projet a contribué à avancer vers l’objectif de développer un avion plus écologique. À cet égard, la réduction anticipée des émissions de GES grâce aux technologies mises au point est évaluée à 513 kt éq. CO2 à la dixième année d’implantation des technologies, ce qui équivaut à l’évitement de 27 915 vols d’une mission type. Dans l’éventualité de la mise en place d’un projet similaire ou de la poursuite de ce projet, il est recommandé à la direction responsable du Ministère à porter une attention particulière aux éléments suivants : 

  • que les résultats attendus en matière de potentiel de réduction des émissions de GES colligés dans la convention soient conformes aux principes de la norme ISO 14064;
  • que les partenaires industriels misent sur la mobilisation de plusieurs PME, plutôt que d’une seule PME ou d’un petit nombre ;
  • que les montants des autres sources de financement soient connus.

Commentaires de la direction responsable au Ministère

La Direction des transports et de la mobilité durable (DTMD) au Ministère a eu l’occasion de transmettre ses commentaires, reproduits dans la présente section.

La DTMD accueille favorablement le présent rapport d’évaluation et elle adhère aux améliorations suggérées.

Cela fait maintenant plus d’une décennie que le gouvernement du Québec soutient financièrement, par le concept des projets mobilisateurs, des entreprises privées à but lucratif afin qu’elles regroupent leurs efforts pour mener à bien des projets de développement de produits, de procédés ou de services novateurs, en mobilisant des universités, des centres publics de recherche ainsi que des PME sous-traitantes. La DTMD a activement contribué au lancement du premier projet mobilisateur de ce type, et elle compte poursuivre sur cette lancée puisque ce type de projets a su démontrer sa pertinence et son impact positif auprès du secteur aérospatial québécois. La DTMD salue d’ailleurs le fait que le présent rapport d’évaluation a permis de répondre de façon positive aux quatre questions relatives à la pertinence, à l’efficacité, à l’efficience et à la conformité du programme.

Bien que l’ensemble des principales exigences de la convention relatives à la gestion aient été respectées, on note un décalage entre la façon dont les partenaires ont au départ calculé le potentiel de réduction des GES de leurs sous-projets respectifs et les termes de la convention à cet égard. Advenant le lancement d’un autre projet mobilisateur dont l’un des objectifs serait la réduction des GES, la DTMD pourrait s’assurer que les estimations faites par les demandeurs en matière de réduction des GES soient établies selon les principes de la norme ISO 14064. Le MELCC, qui dispose d’une expertise interne à ce sujet, pourrait être invité à collaborer à cette fin en prenant part au comité d’évaluation et de sélection des sous-projets. Une solution de rechange serait d’exiger une confirmation écrite des candidats partenaires à cet égard.

Malgré le fait que les cibles de mobilisation (PME et organisations de recherche) aient été atteintes, le présent rapport recommande que les partenaires industriels misent sur la mobilisation de plusieurs PME, plutôt que d’une seule PME ou d’un petit nombre. Afin de donner suite à cette recommandation, il serait possible d’ajuster les critères de sélection des futurs appels de projets pour favoriser, à valeur et qualité équivalentes, les propositions de projets qui prévoient une mobilisation de plusieurs PME et de le mentionner clairement dans le guide d’appel de projets. Il serait également judicieux de prévoir dans le processus, par exemple lors des appels de projets ou au début d’un projet, l’organisation de journées de maillage afin que les entreprises ayant l’intention de déposer un projet mobilisateur ou dont le projet aurait été retenu puissent connaître un maximum de PME en mesure d’être mobilisées.

Par ailleurs, la DTMD tient à souligner qu’au-delà de l’atteinte des diverses cibles reliées à l’efficacité du programme, le fait que des entreprises mobilisent le milieu universitaire dans la réalisation de certaines des tâches et de certains livrables permet dans la foulée de constituer une pépinière de nouveaux talents. Ces entreprises pourront ensuite faire appel à ces nouvelles ressources pour contribuer à la conception et au développement des systèmes aérospatiaux de demain à partir des résultats obtenus grâce à ce programme.

Finalement, le présent rapport recommande que les montants des autres sources de financement soient connus. À l’occasion des prochains projets mobilisateurs, il serait possible d’exiger un niveau de détail supplémentaire à la déclaration d’officier de chaque partenaire industriel demandée en vertu de la convention. L’information additionnelle ferait état annuellement du financement public (subventions, prêts et crédits d’impôt reçus ou à recevoir) provenant des gouvernements du Québec et du Canada.

Commentaires du Regroupement pour le développement de l’avion plus écologique

Le Regroupement pour le développement de l’avion plus écologique a eu l’occasion de transmettre ses commentaires. Ils sont reproduits dans la présente section.

Le Regroupement accueille favorablement le présent rapport d’évaluation et adhère également aux améliorations suggérées. Cependant, le Regroupement souhaite nuancer la recommandation visant à s’assurer que les résultats attendus en matière de potentiel de réduction des émissions de GES colligés dans la convention sont conformes aux principes de la norme ISO 14064.

Le Regroupement considère qu’au moment de la publication de ce rapport, les conditions ne sont pas réunies au Québec pour mettre en œuvre cette recommandation.

Plus spécifiquement, nous considérons qu’une estimation des résultats conforme aux principes de la norme ISO 14064 requiert une expertise combinée en aérospatiale et en analyse de cycle de vie. À l’heure actuelle, si l’on exclut certains membres du Comité des gains environnementaux eux‑mêmes, un seul centre de recherche québécois détiendrait à notre connaissance cette double expertise. De plus, la durée des appels de projets mobilisateurs est généralement très courte, et les organisations sont nombreuses à solliciter les mêmes experts. Ces experts ne peuvent raisonnablement pas répondre à toutes les demandes. Enfin, la norme ISO 14064 sous‑entend que les données utilisées proviennent de sources fiables; or, comme il a été démontré par l’audit des résultats de SA²GE‑2, il demeure à ce jour très difficile d’obtenir l’information pertinente, car les propriétaires d’organisations en restreignent la diffusion pour des raisons commerciales.

Pour toutes ces raisons, le Regroupement suggère que les résultats colligés soient conformes aux principes de la norme ISO 14064‑2 dans la mesure où :

  • les calculs menant aux résultats attendus présentent un niveau d’assurance raisonnable;
  • le principe de prudence est appliqué pour le choix du scénario de référence et pour le projet. Concrètement, au moment d’évaluer des solutions de rechange comparables, il est recommandé de faire un choix modéré qui repose sur la prudence, et de décrire comment des hypothèses, des valeurs et des méthodes prudentes seront employées dans le cadre du projet pour veiller à ne pas surestimer les réductions d’émissions de GES ou les améliorations de l’absorption.

Par ailleurs, le Regroupement suggère d’encourager les organisations à considérer les autres principes de la norme ISO 14064‑2, sans toutefois exiger leur respect au moment de consigner les résultats attendus dans la convention. Concrètement, les ajouts suivants pourraient être encouragés :

  • Justifier les méthodologies de quantification utilisées pour calculer les impacts du scénario de référence, le projet et les gains potentiels (principe d’exactitude).
  • Prouver que les données servant aux calculs des gains environnementaux proviennent de sources crédibles et adéquates (principe de transparence).
  • Expliquer l’impact des hypothèses sur les résultats et l’écart type des gains environnementaux potentiels (principe de cohérence).
  • Expliquer les méthodes de gestion de la qualité des données relativement au projet, y compris l’évaluation de l’incertitude et du risque.

Finalement, il importe selon le Regroupement de souligner que la certitude quant aux résultats est faible dans ce type de projets de recherche et développement. À notre avis, il est tout à fait normal qu’en cours de projet, les paramètres, les hypothèses et, bien entendu, les résultats soient différents de ce qui avait été prévu. Le soutien du gouvernement est d’autant plus pertinent dans ce contexte de risque élevé et de rareté de l’expertise.

Obtenir une copie du rapport d'évaluation complet