Contexte de l’évaluation

La présente évaluation vise à apprécier les résultats des 7,65 M$ d’aide financière accordés à Ouranos du 1er avril 2016 au 31 mars 2019.

À cet égard, elle vise à apprécier dans quelle mesure Ouranos atteint les résultats (ou cibles) attendus par le Ministère et à s’assurer qu’il répond à un besoin justifiant un financement public. Par conséquent, il est nécessaire d’évaluer la pertinence, l’efficacité et les effets de l’aide accordée par le Ministère.

La Direction des programmes et de l’évaluation (DPE) du ministère de l’Économie et de l’Innovation (MEI) a été mandatée pour réaliser cette évaluation. Celle-ci a été réalisée conformément à la Politique ministérielle d’évaluation de programme du MEI.

Avis de l’évaluation et principaux résultats

Les résultats d’Ouranos sont jugés très satisfaisants. L’évaluation confirme la pertinence du soutien à Ouranos, l’efficacité de l’organisme à atteindre les résultats visés par le Ministère, l’efficience de l’aide financière consentie, la conformité de l’action d’Ouranos par rapport à la convention de subvention et la satisfaction des organisations clientes et des chercheurs ayant participé aux projets. De plus, l’évaluation confirme les retombées probantes d’Ouranos en matière d’adaptation aux changements climatiques à l’échelle locale et régionale au Québec, tant pour les organisations clientes que pour les chercheurs qui ont participé aux projets de recherche.

Les principaux constats sont les suivants :

La pertinence du soutien à l’organisme

Le besoin justifiant le soutien à Ouranos

Avis de l’évaluation : Très satisfaisant, car les résultats visés sont dépassés.

  • 71 % des projets sont cofinancés et le cofinancement s’élève à 51,2 M$.
  • Des services uniques ou complémentaires à ceux d’autres acteurs de l’écosystème québécois de l’innovation sont offerts.

L’utilité et la valeur ajoutée de l’organisme pour le Québec

Avis de l’évaluation : Très satisfaisant, car les résultats visés sont dépassés.

  • Valeur ajoutée et utilité des services d’Ouranos reconnues par la quasi-totalité de la clientèle et des chercheurs.
  • Cohérence du soutien à Ouranos avec les priorités gouvernementales.

L’efficacité du soutien à l’organisme

Atteinte des résultats immédiats (extrants) visés

Avis de l’évaluation : Satisfaisant, car les résultats visés sont atteints.

  • Collaboration avec 401 chercheurs et 165 organisations, dont 34 à l’étranger.
  • Les activités réalisées par Ouranos correspondent aux attentes de la convention de subvention.
  • 152 projets actifs et 7,8 M$ déboursés par Ouranos.

Atteinte des résultats intermédiaires (effets) visés

Avis de l’évaluation : Très satisfaisant, car les résultats visés sont dépassés.

  • 190 étudiants ont participé aux projets d’Ouranos.
  • 100 % de la clientèle (44/44) a observé au moins un gain associé aux services d’Ouranos.
  • 100 % des chercheurs principaux (32/32) ont perçu au moins un effet positif de leur collaboration avec Ouranos.

L’obtention de retombées socioéconomique positives

Avis de l’évaluation : Très satisfaisant, car les résultats visés sont dépassés.

  • 250 emplois ont été créés par la clientèle dans un domaine lié aux changements climatiques.
  • 7,4 % de publications dans des revues avec un facteur d’impact supérieur à 5.

L’efficience de l’aide financière du ministère

Avis de l’évaluation : Satisfaisant, car le résultat visé est atteint.

  • Un effet de levier de 4,67.
  • La valeur monétaire totale de l’effort de recherche est de 43,1 M$.

La conformité de l’utilisation de l’aide financière

La conformité de la mise en œuvre de la convention de subvention

Avis de l’évaluation : Très satisfaisant, car les résultats visés sont dépassés.

  • Présence de saines pratiques de gestion en conformité avec les principes de gestion axée sur les résultats.
  • La proportion des frais de gestion et d’administration d’Ouranos est de 10,6 %.
  • La subvention est utilisée dans le respect des dépenses admissibles.
  • Taux d’autofinancement de 49 %.

La satisfaction de la clientèle d’Ouranos

Avis de l’évaluation : Très satisfaisant, car les résultats visés sont dépassés.

100 % des membres, clients occasionnels et partenaires (44/44) et 100 % des chercheurs (32/32) sont satisfaits à l’égard de l’ensemble des services reçus d’Ouranos.

Conclusion

Globalement, les résultats d’Ouranos sont jugés très satisfaisants. L’évaluation confirme la pertinence de maintenir le soutien à Ouranos, son efficacité à atteindre les résultats visés par le Ministère, l’efficience de l’aide accordée et la conformité de sa mise en œuvre par rapport aux modalités de la convention. Par ailleurs, certains constats suggèrent de suivre les éléments suivants ou d’y porter attention :

  • En lien avec les cibles 7 et 19, il y aurait lieu de poursuivre les efforts actuels pour chercher davantage de contributions de la clientèle et des chercheurs principaux.
  • En lien avec la cible 19, il y aurait lieu d’utiliser, dans la prochaine évaluation, la même approche que celle qui a été adoptée lors de la présente évaluation pour comptabiliser la valeur monétaire totale de l’effort de recherche d’Ouranos afin de pouvoir comparer sur une même base les résultats des deux périodes évaluées.
  • En lien avec l’ensemble des résultats constatés, il y aurait lieu d’inclure des cibles quantifiées dans l’éventuelle prochaine convention de subvention et de prévoir, dans la mesure du possible, la mesure des retombées économiques dans une prochaine évaluation.

Commentaires d’Ouranos

OURANOS a eu l’occasion de transmettre ses commentaires, reproduits dans la présente section.

Ouranos accueille favorablement le présent rapport d’évaluation, notamment parce qu’il reflète globalement nos propres constats. De plus, Ouranos est heureux d’avoir satisfait, voire dépassé, les attentes du gouvernement du Québec et demeure sensible aux différents éléments soulevés dans une perspective d’amélioration continue.

Le seul élément de contexte majeur qui manque dans l’ensemble du document d’évaluation est celui de l’importante incertitude qu’ont générée les retards dans les décisions de financement de l’organisation pour les périodes financières 2014-2015, 2015-2016 et 2016-2017. Tant la réduction du financement de base qu’un renouvellement souvent annuel, ainsi que la confirmation de financement de 6 à 12 mois après le début de chacune des années financières, ont déstabilisé et affecté la performance de l’organisation au-delà du simple pourcentage de réduction du financement. En effet, bien qu’Ouranos ait réussi à atteindre les objectifs de façon admirable, cette période de restriction et d’incertitude explique, selon nous, un ralentissement de notre développement afin de procéder à des ajustements organisationnels ayant eu des impacts à l’interne et à l’externe, tant à court terme qu’à moyen terme. En effet, même si ces perturbations ont eu lieu avant et au début de la période d’évaluation, elles ont affecté le fonctionnement de l’organisation sur plusieurs années subséquentes et ont certainement contribué à la « stagnation » de certains indicateurs. Nous espérons que le Gouvernement priorisera l’octroi des financements pour au moins trois ans, voire cinq ans, ainsi que la signature des conventions au moins six mois avant la fin de la précédente convention de façon à assurer une saine continuité des opérations n’exigeant pas de sacrifices dans le développement des activités.

Quant aux suggestions d’améliorations, Ouranos y adhère, avec quelques nuances que nous résumons dans les prochaines lignes.

Avant tout, Ouranos s’engage à poursuivre les efforts pour améliorer le niveau de contribution de ses parties prenantes. L’amélioration visée ne consistera cependant pas à simplement en augmenter le nombre ni la valeur absolue ou relative, mais concernera plutôt la qualité d’ensemble, qui pourrait, par exemple, une plus grande diversité.

Ensuite, relativement à la comptabilisation de la valeur monétaire totale de l’effort de recherche, Ouranos entend la recommandation du Ministère et s’assurera d’avoir des méthodologies de calcul qui permettront une comparabilité entre les évaluations. Par souci d’amélioration continue, l’organisation poursuit, cela dit, l’élaboration des outils de suivi de sa programmation afin de satisfaire les besoins de ses membres.

En ce qui concerne la dernière recommandation, Ouranos comprend très bien l’utilité de cibles quantifiées quand vient le temps d’une évaluation comparative, tout comme le besoin d’une mesure des retombées à la suite d’un investissement. Ouranos souhaite, cela dit, formuler certaines suggestions à ces égards.

La première est une demande de possibilité d’arrimage entre les différents indicateurs et cibles visant le suivi de la performance de l’organisation. Une telle approche permettrait d’assurer la concentration des efforts d’amélioration. La seconde est une invitation à élargir le concept de retombées pour inclure d’autres éléments relatifs à l’innovation dans les façons de faire afin de rendre la société québécoise plus résiliente face aux changements climatiques. Entre autres choses, l’objectif d’Ouranos n’est pas de créer de la « richesse » à court terme, mais plutôt à moyen, voire à long terme, en plus d’éviter des coûts. Ouranos tient enfin à souligner l’existence d’un projet d’élaboration d’un cadre de suivi des retombées devant se terminer à la fin de 2020 par l’édition d’un cadre. Le temps que prendra la mise en place de ce cadre permettant de mesurer les retombées, et a fortiori d’en témoigner, ne permettra peut-être pas de produire des résultats pour la prochaine évaluation du Ministère, d’autant plus que les retombées dans le domaine des changements climatiques se comptabilisent sur les prochaines décennies, mais il s’agit d’un pas dans la bonne direction.

Pour conclure, Ouranos remercie le Ministère pour son importante contribution à l’amélioration de sa performance globale par cette évaluation de grande qualité. Nous le remercions également d’avoir pu transmettre plusieurs commentaires, incluant cette présente section.

Le présent résumé du rapport d'évaluation expose les principaux constats de celui-ci. Le rapport complet est accessible sur demande à l'adresse suivante : evaluation@economie.gouv.qc.ca.