You've successfully subscribed to Ulysse Bottello — ML Product Manager
Great! Next, complete checkout for full access to Ulysse Bottello — ML Product Manager
Welcome back! You've successfully signed in.
Success! Your account is fully activated, you now have access to all content.
Comment manager un produit ML à succès ?

Comment manager un produit ML à succès ?

Ulysse Bottello
Ulysse Bottello

Vous l'avez probablement lu à de multiples reprise, mais une récente étude montre que 55% des entreprises n'amène jamais leurs modèles ML en production, quand d'autres prédisent que 87% des projets ML échouent. Tout simplement.

Vous pouvez mettre la faute sur votre équipe de Data Science, mais dans la plupart des cas, les projets ML n'échouent pas à cause du ML en lui même, mais comment vous l'approchez, le managez et l'intégrez dans le produit. Les managers, et autre board members, doivent prendre leur responsabilités, eux aussi.

L'intelligence artificielle récompense ceux qui sont prêt à apprendre et penser différent. Alors, elle délivrera son plein potentiel

Oubliez ce que vous connaissez à propos du software. Manager une équipe ML à succès c'est quelque chose de différent.

Le Machine Learning est unique par son approche non-déterministique qui dépasse notre plein contrôle. Les principales différences avec le software du point de vue projet sont: la faisabilité, le fait de savoir si ça marche ou non, le suivi et l'estimation des tâches.

...et ça change tout 🙃

Vous n'allez pas créer une nouvelle app mobile à succès, en tant que manager de la data science votre rôle est plus près de la découverte pharmaceutique: grands investissements, grandes incertitude pour potentiellement de grandes débouchées. Ou comme un entrepreneur, si vous préfèrez.

Avec l'IA/ML même quand ça fonctionne et que les performances sont convenables, la viabilité économique peut être nulle et le biais induis dans la prédiction automatisée peut avoir des répercussions énorme pour l'utilisateur et la société plus globalement. Un grand pouvoir implique de grandes responsabilité, j'imagine.

"Derrière chaque grand produit AI se trouve un chef de produit ou un leader qui a mené la vision, aidé avec les données, facilité le travail des équipes technologiques, écouté les clients, fait preuve d'empathie et favorisé l'adoption et la croissance en fonction des mesures commerciales." — Marty Cagan, Auteur de "Inspired"

Avec une discipline, la data science, qui devient de plus en plus mature et devient de plus en plus intégrée aux systèmes opérationnels, le rôle du manager devient critique. Nous avons plus que jamais besoin de méthodologies et d'outils pour limiter les risques et améliorer l'impact des projets ML à toutes les étapes de son cycle de vie.

C'est ce qu'il faut pour diriger une équipe ML qui tient ses promesses.

Le setup: Prioriser pour l'impact

De bons recrutements dans une équipe data ne remplace pas le besoin d'outils performants, selon Dataiku - mais même une bonne stack technique ne remplacera pas le besoin de priorisation et d'estimation d'un projet.

Trop souvent les data scientists ne sont pas alignés avec les enjeux business du produit qu'ils alimentent, non pas parce qu'il ne veulent pas mais parce que l'organisation peuvent les isoler de la stratégie globale de l'entreprise. En traduisant les besoins business, la viabilité dans un langage que l'équipe data peut comprendre et en expliquant le "pourquoi' derrière le produit, les product managers peuvent aligner l'équipe sur la valeur.

La priorisation peut sembler trivial quand le travail de préparation est bien fait, et vous pouvez supposer que vous pouvez simplement tracer les résultats et choisir le plus intéressant. En pratique, c'est rarement le cas pour les cas d'utilisation de l'IA.

Nous utiliserons ici un cadre simple que vous devriez déjà connaître : la complexité par rapport aux bénéfices.

Rien de nouveau sous les cocotiers ? 🌴

"Mais tu viens de passer 5 minutes à expliquer que le Machine Learning change tout". Je sais, le cadre est assez standard, mais ce que vous allez classer est un autre monde que celui du softwares et des apps.

Complexité

Commençons par la partie complexité, cela va être très simple. En tant que AI PM, vous laisserez la complexité technique à votre équipe DS. Je vous le rappelle.

Néanmoins, lorsque vous planifiez un produit, il est important d'avoir une idée, une intuition des taux d'erreur réalisables et de ceux qui ne le sont pas, ainsi que des taux d'erreur acceptables pour votre application. Évitez à tout prix les cas d'utilisation où le taux d'erreur est inaccessible.

Bénéfices

Pour ce qui est des bénéfices, vous devez vous poser plusieurs questions afin de vous assurer que vous avez une vision suffisante de ce que vous essayez de prioriser, et ce sous deux prismes:

  • Premièrement, l'expérience utilisateur : L'avantage de ce produit ML du point de vue de l'expérience utilisateur justifie-t-il de consacrer beaucoup plus de temps et d'argent qu'une alternative qui n'utiliserait pas de ML ? Si le ML échoue, quel sera l'impact sur l'UX ?
  • Ensuite, le profit : qu'en est-il du coût des données, de la recherche et de la production ? Pouvez-vous chiffrer approximativement la valeur qu'une prédiction créera en fonction de chaque scénario de votre matrice de confusion ?

Priorisation

Naturellement, vous classerez plus haut les cas d'utilisation qui maximisent la valeur (pour l'utilisateur et l'entreprise) et minimisent les risques sur une échelle de 1 à 10.

Les managers ne devraient PAS établir des priorités en fonction de leur instinct, des gains rapides ou des utilisateurs. Parce que vous êtes partial, il n'y a pas de gain rapide dans ML et les utilisateurs ne savent sûrement pas ce que vous devriez construire.

Une fois que tout est classé, allez d'abord en bas à droite : le maximum d'avantages pour l'utilisateur, le minimum de complexité technique.


Souvent, nous sommes distraits par les méthodes d'IA les plus récentes et les plus sexy. Recentrez vos efforts sur une IA moins complexe. Pourquoi ? Parce que les méthodes d'IA moins complexes ont généralement des résultats plus prévisibles.

"L'une des étapes les plus importantes est de réaliser une victoire rapide. Un petit projet pilote, puis le mener à bien."—Andrew Ng, Landing AI

En particulier si c'est votre premier projet ML, vous devriez chercher à renforcer la confiance en l'IA de vos parties prenantes, avec des "must do", avant de passer aux use-cases plus complexes.

Communication: langage partagé, attentes et buts

Estimer précisément un projet ML est quasiment impossible, mais c'est aussi indispensable pour rester connecter à la feuille de route du produit, vous avez alors 2 cartes à jouer: fixer le bon cap avec l'équipe data and fixer le bon nouveau d'attente avec les parties prenantes.

Un des outils les plus puissant pour aligner tout le monde est de créer un langage commun.

Un langage qui mettra tout le monde d'accord, quelque chose de quantifiable et directement connecté au business. Si un data scientist entraîne seulement un model optimisé avec une des métriques standard, comme le F1 score ou la courbe AUC, l'entreprise pourrait laisser de l'argent sur la table. En d'autres termes: un objectif business doivent motiver les objectifs des modèles.

Mais ce n'est pas une discussion à sens unique, les principaux concepts en ML sont important à comprendre par tous, et surtout pour les parties prenantes, nous devons être sûr que leurs attentes ne sont pas démesurées.

Critères d'acceptation

Initialement, les critères d'acceptations sont un contrat entre les product managers and les ingénieurs sur ce que le software est attendu de faire. Définir ces critères sont un effort d'équipe qui peut prendre du temps, mais l'investissement vaut toujours le coup. De bons critères d'acceptations s'assure que les deux parties comprennent la tâche de la même façon.

En ce qui concerne la discipline que le data science, le besoin est plus que jamais présent, avec un temps de recherche et de développement plus long, ainsi qu'une complexité accrue. Ces critères d'acceptation doivent traduire les besoin business en métriques claires.

Mais comment se mettre d'accord sur un critère, donc une métrique précise ? Sachant que dans la discipline, arriver à une précision de 90% peut prendre des mois, mais ajouter quelques pourcentages à cette baseline peut vous coûter des années.

To the moooooon 🚀 Full stack Deep learning

Premièrement, travaillez avec votre équipe pour vous accorder sur une métrique cible acceptable, sachant que cela ne devrait pas vous coûter trop de temps car vous avez déjà dé-priorisé les tâches chronophages.

Puis, c'est important de créer un pont entre le business et les performances du modèles, pour ne pas avoir à deviner approximativement ce que devrait être une précision acceptable. De plus, cela sera plus facile pour lier l'équipe data aux besoins business, et communiquer les résultats aux différentes parties-prenantes.

Rappelons le fait que les projets ML "scale" de façon linéaire: C'est alors d'autant plus important de mettre le developpement d'un modèle dans une perspective ROIste tôt dans l'avancement du projet car vous ne voulez pas investir du temps et vos effort dans un cas d'usage et donc un modèle qui ne produit pas le rendement désiré pour le business, après la première itération.

Établir les attentes utilisateurs

"Ils en sont où l'équipe AI ?"

Voici ce que vous allez entendre de vos parties-prenantes.

L'effet boîte noire ne se limite malheuresement pas qu'à vos modèles, mais s'applique aussi à votre projet.

Rassembler de la data propre et labelisée, construire, deployer et maintenir des modèles est un investissement considerable. Le risque est omni-présent et la finalité peut être énorme. En un sens, cela ressemble à une relation entre un relation fondateur-investisseur.

Et en tant que leader de l'équipe IA, vous devez être confiant et en contrôle de ce que vous pouvez délivrer. Si vous ne définissez pas les attentes, quelqu'un d'autre le fera à votre place: La mesure du succès d'un produit sera définie par leurs attentes.

De nombreuses entreprises ont tendance à justifier les coûts des produits de ML qui nécessitent d'importants investissements de recherche en fixant des attentes élevées quant à ce qui peut être réalisé par la ML. En tant que PM, vous devez aligner les attentes sur la réalité et fixer les attentes suivantes :

  1. Les produits d'IA et de données ne parviennent souvent pas à être lancés.
  • Le taux d'erreur n'est pas certain !
  • Investir dans l'IA ne débouche pas toujours sur un modèle de réussite.
  • L'échec est fréquent

2. L'IA n'est pas magique

  • Fixez les attentes, il s'agit de science
  • Tous les problèmes ne peuvent pas être résolus par l'IA

3. L'IA prend du temps

  • Il s'agit d'un développement par essais et erreurs -> Réflexion et investissement à long terme.

Éduquez également vos parties prenantes aux tenants et aux aboutissants de l'IA appliquée. Et fournissez des mises à jour fréquentes de chaque étape du développement du produit.

Langage commun

Même avec une base relationnelle saine, vous devez la maintenir tout au long du cycle de vie du projet. Surtout lorsque vient le moment de partager les résultats. Soyons réalistes : les parties prenantes ne savent pas comment utiliser les résultats.

Les nuances d'interprétation des modèles ne sont souvent pas comprises par le client, et les data scientists peuvent ne pas être en mesure de fixer efficacement les attentes ou d'expliquer pourquoi le modèle le plus "précis" n'est peut-être pas le meilleur.

Bien sûr, un PM qui comprend la data science pourrait mieux faciliter la communication entre les scientifiques des données et les parties prenantes. Mais tout le monde n'est pas prêt à apprendre à lire une courbe ROC ou la différence entre précision et recall.

Parfois, le moins est le mieux. Lorsque vous présentez des résultats aux parties prenantes, je ne saurais trop recommander d'équilibrer les métriques de données avec les métriques business - votre langage commun - en leur donnant des clés pour interpréter les résultats de votre équipe et la corrélation entre les sorties du modèle et les résultats commerciaux.

Test: Évaluer la performance

La data science est, par design, profondément une discipline et donc une équipe drivée par la data. L'évaluation quantitative arrive à toutes les étapes du cycle de vie d'un projet ML.

Basé sur les résultats de l'évaluation, votre équipe va choisir le meilleur modèle, l'optimiser pendant son entraînement ou bien après son déploiement en production.

Matrice de confusion

Avant de maîtriser toutes les métriques d'évaluation, vous devez être confortable avec le fruit de cette evaluation. J'appelle ça "s'approprier la matrice de confusion".

Une fois votre modèle a été évalué sur un dataset spécific, les prédictions vont tomber dans 4 groupes, basé sur la prédiction du modèle et la correcte réponse, la validation de la prédiction si vous voulez. On se retrouve donc avec:

  • Prédictions positives correctes - Vrais positifs
  • Prévisions négatives correctes - Vrais négatifs
  • Prévisions positives erronées - Faux positifs
  • Prédictions négatives erronées - Faux négatifs

Les mesures typiques des problèmes de classification sont l'accuracy, la precision, le recall, le F1-score, et elles sont dérivées de la matrice de confusion.

De la prédiction au produit

D'un point de vue de Data Scientist, chacune de ces mesures donnent une perspective différente du modèle. Mais vous pouvez ressentir quelles sont un peu déconnectée the la désirabilité utilisateur ou bien de la viabilité business du produit qui bénéficiera de ces prédictions.

"Lorsque les investissements en matière d'intelligence artificielle sont liés à une stratégie d'intelligence artificielle dirigée par l'entreprise, les initiatives d'intelligence artificielle qui échouent deviennent des occasions d'échouer rapidement et d'apprendre, et non d'échouer rapidement et de brûler."—Sreekar Krishna, KPMG

Donnez un sens réel à la matrice de confusion en traduisant chaque groupe en centres de coûts et de profits, et en faisant preuve d'empathie en traduisant les mêmes groupes pour l'émotion de l'utilisateur final : ceux qui seront confrontés à votre prédiction sur leur entrée. Cela vous donnera :

  • Une vision exhaustive de l'impact de votre modèle, tant sur l'UX que sur le business.
  • Des clés pour concevoir une meilleure expérience en cas d'erreur
  • Des idées pour arbitrer les métriques d'évaluation que vous devez optimiser, car la précision met davantage l'accent sur les faux positifs et le rappel sur les faux négatifs, par exemple.
Encore un canvas, on en raffole 🤓

Tout les cas d'usage sont uniques en terme de comment l'utilisateur va réagir à une mauvaise prédiction. Faire une mauvaise prédiction de film n'est pas aussi critique que de diagnostiquer une mauvaise maladie. Vous pouvez donc imaginer que cela s'applique aussi pour la viabilité économique.

C'est aussi critique de projetter ces métriques dans un cadre temporel, afin de situer le projet et d'éviter le plateau ou même encore d'anticiper les "diminishing returns".

Si vous pensez manquer sur ce dernier point, je vais peut-être vous partager notre sauce secrète en conclusion, et quand je parle de sauce je veux dire "outil" :)


Vous l'aurez compris : Lier le business à la data science est l'aspect le plus critique pour réussir dans l'IA/ML.

Et c'est pas tout, attendez de voir notre sauce secrète !

À chaque étape du cycle de vie, vous vous assurerez d'être sur la voie du succès si vous parvenez à faire le lien entre ces deux mondes.

Il ne s'agit pas de savoir comment micromanager une équipe, mais de créer un terrain d'entente, un langage commun, une culture où tout le monde est aligné et se comprend sans effort.

Ensuite, la conversation ne porte pas sur des délais, des cas d'utilisation et des résultats irréalisables, mais sur une valeur réalisable que l'équipe d'IA peut fournir, quantifiée de manière lisible : les dollars.

Félicitations ! Vous avez atteint la fin de cet article de blog. En guise de récompense, voici ma sauce secrète : ✨guap✨

guap est un package python open-source qui aide les équipes data à obtenir une métrique d'évaluation ML sur laquelle tout le monde peut s'accorder en convertissant la sortie de votre modèle en profit commercial. Il est entièrement gratuit, essayez-le !

guap-ml/guap
Algorithms outputs to business outcomes. The magical ML evaluation metric everyone can agree on 🎩 - guap-ml/guap

C'est tout pour le moment. À votre tour : comment suivez-vous vos investissements dans l'IA et comment estimez-vous la rentabilité de votre modèle ?