Consortium de recherche et d'innovation en transformation métallique (CRITM) 2018 – Évaluation

La convention de subvention 2015-2018 conclue en octobre 2015 avec le CRITM prévoit l’évaluation de la pertinence, de l’efficacité et des effets de l’organisme. L’aide financière du Ministère est consentie en vertu du Programme de soutien à la valorisation et au transfert (PSVT) pour soutenir le fonctionnement de l’organisme et la réalisation de projets de recherche et de développement (R-D) dans le secteur de la transformation métallique.

L’évaluation a pour but de juger de l’atteinte des résultats visés par l’aide financière de 8,9 M$ accordée au CRITM du 1^er avril 2016 au 31 mars 2018.

Dans l’ensemble, les résultats du CRITM sont jugés satisfaisants, par rapport aux cibles du Ministère. L’évaluation confirme :

• la pertinence de maintenir le soutien à l’organisme;
• son efficacité dans l’atteinte des résultats visés par le Ministère;
• l’efficience de l’aide accordée;
• la conformité de l’utilisation de la dépense publique.

De plus, les résultats ont progressé depuis la précédente évaluation (2014-2016).

Les principaux résultats constatés sont résumés ci-dessous.

Pertinence du soutien à l’organisme

Avis de l’évaluation : Satisfaisant, car les résultats visés sont atteints.

• Augmentation de la majorité des résultats depuis 2016 : +113 % d’investissements dans les projets de recherche collaborative et +14 % d’organisations mobilisées.
• Absence de chevauchement problématique (double emploi ou dédoublement) par rapport à d’autres organismes de l’écosystème de la recherche et de l’innovation. Risques limités et bien gérés avec sept autres organismes de l’écosystème.
• Inscription de la mission du CRITM dans au moins six initiatives gouvernementales.
• Confirmation de la valeur ajoutée et de l’utilité de l’organisme par au moins 96 % des entreprises et 84 % des chercheurs ayant participé à ses projets ou à ses activités.

Efficacité du CRITM à atteindre les résultats visés par le Ministère

Résultats immédiats

Avis de l’évaluation : Excellent, car tous les résultats visés sont dépassés.

• Investissement totalisant 28,1 M$ dans 21 projets de recherche collaborative, effectif de 65 organisations membres et taux d’autofinancement de 41 %

Effets visés

Avis de l’évaluation : Satisfaisant, car les résultats visés sont atteints.

• Transfert technologique probant des projets : implantation dans le milieu preneur de neuf produits nouveaux ou améliorés et de trois procédés nouveaux ou améliorés.

Retombées visées

Avis de l’évaluation : Satisfaisant, car les résultats visés sont atteints.

• Contribution de l’organisme au développement de la science dans son domaine : 122 chercheurs ou professionnels de recherche et 142 étudiants ayant participé aux projets financés.
• Au moins trois cas à succès et trois entreprises témoignent de résultats positifs.

Efficience de l’aide financière du Ministère

Avis de l’évaluation : Excellent, car tous les résultats visés sont dépassés.

• Effet de levier de l’ordre de 2,3 de l’aide financière du Ministère.
• Ratio de rendement de la dépense publique de 1,0 (cible 0,5).

Conformité de l’utilisation de l’aide financière

Conformité des opérations par rapport aux attentes du Ministère

Avis de l’évaluation : Satisfaisant, car les résultats visés sont atteints.

• Utilisation conforme de l’aide financière par rapport aux conventions de subvention et recours à de bonnes pratiques de gestion et de gouvernance.
• Frais administratifs et de gestion représentant 1 % des dépenses de fonctionnement et de soutien à la recherche collaborative.

Satisfaction des organisations qui ont participé aux projets

Avis de l’évaluation : Excellent, car tous les résultats visés sont dépassés.

• Taux de satisfaction des entreprises de 90 %.
• Taux de satisfaction des chercheurs institutionnels de 100 %

Dans le cas où l’entente d’aide financière du Ministère serait renouvelée, l’évaluation suggère à l’organisme et aux décideurs au sein du Ministère de porter attention aux éléments suivants :

• En lien avec la cible 2, il y aurait lieu d’inviter l’organisme à continuer ses efforts visant à assurer sa complémentarité par rapport à d’autres organismes de l’écosystème de la recherche et de l’innovation.
• En lien avec la cible 16, il y aurait lieu d’inviter l’organisme à augmenter le transfert vers le milieu preneur de solutions et de pratiques innovantes, notamment des technologies, des produits ou des procédés.
• En lien avec la cible 21, il y aurait lieu d’inviter l’organisme à poursuivre sa gestion rigoureuse des dépenses, notamment la proportion de la masse salariale de la haute direction dans les charges totales.

Le CRITM a eu l’occasion de transmettre ses commentaires, lesquels sont présentés ci‑dessous.

Le CRITM accueille favorablement le présent rapport d’évaluation. Le CRITM est sensible aux différents éléments soulevés, car il juge important d’atteindre les résultats visés par l’aide financière du Ministère.

Le CRITM adhère aux suggestions d’amélioration des résultats présentés dans le rapport.

Le CRITM est très satisfait du résultat de l’évaluation effectuée par la Direction générale des politiques et des affaires institutionnelles du Ministère. Plus de 75 % des différentes cibles évaluées ont dépassé les résultats visés par le Ministère. De plus, ces résultats ont été obtenus par une équipe réduite et dans un contexte de structuration globale de l’organisation (planification stratégique, relocalisation, nouveaux d’employés, et plus).

La grande fierté du CRITM demeure les excellents résultats des enquêtes effectuées auprès des entreprises et des chercheurs institutionnels concernant sa valeur ajoutée et son utilité. Ces résultats confirment notre propre mesure de la satisfaction de nos membres.

La présente évaluation suggère au CRITM et aux décideurs au sein du Ministère de porter attention à trois éléments. Le CRITM s’attaquera à ces éléments dans un souci d’amélioration de l’organisme et de développement de son secteur d’activité.

Voici ces points :

• En lien avec la cible 2, il y aurait lieu d’inviter l’organisme à continuer ses efforts visant à assurer sa complémentarité par rapport à d’autres organismes de l’écosystème de la recherche et de l’innovation.
  Le CRITM a déjà amorcé son déploiement dans différents secteurs touchant la grappe des métaux et produits métalliques, décrite par la Communauté métropolitaine de Montréal. Dans la dernière année uniquement, deux nouveaux secteurs ont été touchés, ce qui a eu pour résultat l’émergence de nouveaux projets collaboratifs. Le déploiement du nouveau plan de communication (à venir) ciblera de nouveaux secteurs à fort potentiel et différentes collaborations avec les organisations de ces secteurs.
• En lien avec la cible 16, il y aurait lieu d’inviter l’organisme à augmenter le transfert vers le milieu preneur de solutions et de pratiques innovantes, notamment des technologies, des produits ou des procédés.
  L’embauche de nouveaux employés et le déploiement de notre plan stratégique nous permettront de nous rapprocher des entreprises de même que du milieu de la recherche pour mieux atteindre cette cible. L’orientation 3 du plan stratégique du CRITM est la suivante : « Assurer un accompagnement exceptionnel jusqu’à la concrétisation des retombées ».
• En lien avec la cible 21, il y aurait lieu d’inviter l’organisme à poursuivre sa gestion rigoureuse des dépenses, notamment pour ce qui est de la proportion de la masse salariale de la haute direction dans les dépenses totales.
  La gestion rigoureuse de l’organisation se poursuivra dans un souci d’amélioration continue de ses différents processus de gestion. La valeur élevée de la proportion de la masse salariale de la haute direction est une situation normale considérant que le CRITM a fonctionné avec une équipe réduite, mais performante (deux ou trois personnes), et avec des coûts exceptionnellement bas pour 2016-2018. L’embauche de nouveaux employés et le déploiement de notre plan stratégique régulariseront cette situation. Dans le contexte, nous ne voyons pas ce point comme négatif.