You've successfully subscribed to Ulysse Bottello — ML Product Manager
Great! Next, complete checkout for full access to Ulysse Bottello — ML Product Manager
Welcome back! You've successfully signed in.
Success! Your account is fully activated, you now have access to all content.
ROI et Machine Learning: Comment mesurer l'impact business ?

ROI et Machine Learning: Comment mesurer l'impact business ?

Ulysse Bottello
Ulysse Bottello

En plus d'être connu pour son service de streaming, Netflix investit depuis des années dans son moteur de recommandation de films et de séries qui leur permet de réduire le churn de 1 milliard de dollars par an.

Aujourd'hui le retour sur investissement de leur modèle de Machine Learning et l'équipe Data Science derrière celui-ci est évidemment positif, cependant en rétrospective, cela n'a pas été un long fleuve tranquille.

En 2012, la plateforme de VOD organise le "Netflix Prize" avec un challenge simple: Améliorez les recommandations de 10% et vous remportez 1 million de dollars. Simple, peut-être trop simple ?

From What the Million-Dollar Netflix Prize Taught Me About Marketing

En effet, résultat des courses, le défi a été relevé haut la main mais Netflix n'a jamais utilisé la solution proposée car le coût d'implémentation était trop haut, l'opportunité de gagner 10% de bonnes recommandations ne valait tout simplement pas le "coût".

De manière générale, définir le business case est vital pour driver le ROI, et cela prend encore plus sens avec des projets AI, c’est d’ailleurs le trait commun des entreprises leader en IA, 77% d’entre elles le font selon DataRobot.

L'intelligence artificielle va révolutionner les entreprises, Netflix en est l'exemple. Le problème ? Pour générer un retour sur investissement, les entreprises doivent identifier les coûts et revenus possibles, acquérir et préparer les bonnes données, puis construire, tester, affiner et déployer des modèles en production.

Voyons ensemble comment faire passer le pôle data science d'un centre de coût à un générateur de revenus, comme Netflix a pu le faire.

Les centres de coûts

Dans le monde du SaaS, le coût d'une fonctionnalité ou d'un produit est grandement impacté par son temps de développement.

Ce n'est malheureusement pas le cas de produits alimentés par des modèles de Machine Learning où le code généré est marginal, comparé aux autres centres de coûts.

Le code vs le reste du monde 🤓 "Hidden Technical Debt in Machine Learning Systems"

Chaque artéfact du cycle de vie vient avec ses frais. Parmi les centres de coûts à anticiper :

Dépenses en capital

Ici se situe votre zone de confort, on y retrouve les coûts liés au software, hardware et aux services nécessaires au développement, au déploiement et à la maintenance de votre produit.

Plus l'approche choisie est complexe, plus elle sera onéreuse notamment pour son entraînement. Le nombre de paramètres des derniers modèles de langues, 175 milliards pour GPT-3 par exemple, fait beau sur le communiqué de presse mais votre CFO a-t-il conscience des 12 millions de dollars nécessaires pour l'entraînement seulement ?

Coût en data

Le premier critère afin de réussir son projet AI est la disponibilité de la data, en quantité et en qualité. Selon une étude menée par Dimensional Research, 96% des entreprises sondées connaissent des problèmes liés à la quantité et la qualité de la data.

Que ce soit externalisé ou réalisé en interne, le coût de labélisation est parmi les centres de coûts les plus élevés tant il est chronophage et doit être réalisé dans la plupart des cas par des personnes qualifiées, voir expertes dans leur domaine: un classifier qui détecte les cancers vous coûtera plus cher à labéliser, qu'un détecteur de panneaux routiers.

Coût humain

En plus du temps investi par les équipes Data Science, tout au long du cycle de vie, des coûts supplémentaires en ce qui concerne le management et le support sont à prévoir afin de s'assurer que le produit exprime tout son potentiel pour l'utilisateur. En plus de l'implication d'équipes software pour l'intégration dans le produit.

Dans la même idée, pensez aussi aux coûts liés au marketing: l'adoption de votre produit est clé pour son succès notamment car il active la boucle de feedback qui aura pour effet de faire baisser le coût de la data en s'appuyant sur le feedback de l'utilisateur.

Deux derniers centres coûts, qui si ils sont ignorés peut entraver le succès du produit.

  • Le coût d'opportunité: Le coût le plus important de la mise en œuvre de l'IA est de loin le coût d'opportunité. Trop de gens se laissent séduire par le "buzzword" que représentent le ML et l'IA et engloutissent leurs budgets de développement dans la poursuite de la technologie plutôt que de s'attaquer à un véritable problème. Et si vous aviez mobilisé votre équipe sur une alternative non-ML, quel aurait été le bénéfice et donc le manque à gagner ?
  • Le coût de l'échec: Ce ne devrait pas être une nouvelle pour vous, un modèle se trompe, c'est inévitable. La complexité vient du fait qu'il n'y a pas qu'un seul type d'erreur, on distingue les erreurs de type 1, les faux positifs ou fausses alarmes, des erreurs de type 2, les faux négatifs, là où l'alarme ne se déclenche pas alors qu'elle devrait. L'impact de l'erreur doit se quantifier au plus tôt du projet et peut être estimé avec des outils comme guap.

La facture peut paraître longue, mais gardez en tête que c'est un marathon.

Il faut 17 mois en moyenne à une entreprise type pour atteindre le seuil de rentabilité selon DataRobot.

Les sources de revenus

Après avoir vu l'ensemble des coûts à prendre en compte, cela devient très clair qu'un cas d'usage IA qui n'a pas de business case n'est absolument pas viable. Et pourtant vous serez surpris du nombre d'entreprises qui se lancent dans des projets de Machine Learning sans penser à son impact business.

On peut l'expliquer par le romantisme de l'aspect R&D, mais aussi dû fait que le bénéfice de l'IA est souvent qualitatif: Comment les entreprises peuvent-elles évaluer le prix d'une meilleure prise de décision, d'une mise sur le marché plus rapide et d'une meilleure réputation ?

Voici les différentes clés afin de vous aider à identifier les sources de revenus:

Augmentation du CA

Prenez l'exemple d'un moteur de recommandation pour un site e-commerce. À l'aide d'un modèle de ML entraîné, vous pouvez aller plus loin dans la personnalisation de la recommandation, en prenant en compte une multitude de "data points" comme les pages visitées, le panier ou l'historique d'achat de vos clients pour prédire les prochains achats.

Style Search Paweł Pych for Tooploox

L'impact de la solution est facilement mesurable avec des outils d'A/B testing, avec une alternative non-ML, par exemple. L'entreprise peut alors comparer le taux de conversion, la valeur des paniers et la valeur de la durée de vie des clients de chaque cohorte.

De plus, sur d'autres cas d'usages, vous pouvez espérer acquérir de nouveaux clients, accélérer le cycle de vente ou augmenter le cross-sell comme l'upsell.

Réduction des dépenses

L'automatisation totale ou partielle, avec un "humain dans la boucle" qu'implique l'IA nous amène à la source de revenue la plus évidente, la réduction du temps humain pour une tâche donnée.

Les banques connaissent bien ce sujet, et c'est pour cela qu'elles ont adoptées assez largement dès 2010, des modèles permettant de détecter les transactions frauduleuses. Une tâche chronophage qui s'appuie sur des motifs qu'un algorithme peut apprendre assez facilement, libérant ainsi les spécialistes de la fraude pour qu'ils se concentrent sur des enquêtes plus nuancées et complexes.

Afin de mesurer le retour sur investissement de ce projet d’IA, la banque pourrait d'abord mesurer le temps qu'il faut à ses experts pour déterminer si une demande est frauduleuse. Il pourrait ensuite comparer ce temps à celui qu'il passe à enquêter sur la fraude après avoir mis en œuvre le système de détection des anomalies.

La réduction des dépenses ne se limite pas à la réduction du coût du labeur, mais aussi les coûts de différents processus que l'entreprise rencontre.

Amélioration de la satisfaction client

Malgré l'aspect qualitatif de la satisfaction, son impact a des répercussions sur les deux premières sources de revenus que sont l'augmentation du CA et la réductions des dépenses. Les effets de l'augmentation de la satisfaction client peuvent prendre du temps, c'est pourquoi il est plus compliqué d'estimer les cas d'usages qui ont pour objectif la satisfaction client.

Un cas d'usage qui illustre ce point, sont les chatbots pour le service client. Ils permettent au client d'avoir une réponse rapide à toute heure de la journée ou de la nuit, et sans limitation du canal de communication.

Si une entreprise peut mesurer le pourcentage de nouveaux messages provenant de clients qui peuvent être traités par l'interface conversationnelle, elle peut alors être en mesure de déterminer la réduction des ressources du centre d'appels nécessaires pour traiter les préoccupations des clients depuis la mise en œuvre d'un chatbot.

Lorsqu'une entreprise adopte une interface conversationnelle, elle ne mesure pas son ROI, mais le ROI du cas d'utilisation dans lequel elle est appliquée.

Conclusion

Revenons à l'anecdote du Netflix Prize. Aujourd'hui la raison pour laquelle Netflix a finalement réussi à mettre en place un système de recommandation très rentable est la même raison pour laquelle elle a choisi de ne pas mettre en œuvre un code d'une valeur d'un million de dollars.

Les décideurs avaient un objectif commercial en tête—réduire le nombre de clients qui se désabonnent—et connaissaient le coût par rapport aux avantages potentiels.

La bonne pratique est de ne commencer projet ML sans étudier sa faisabilité technique, mais aussi sa profitabilité.

Plusieurs solutions s'offrent à vous:

  • Datarobot, solution all-in-one, qui vous permet d'évaluer la performance de vos modèles avec une courbe de profit.
  • Guap, package open source agnostique qui permet une meilleure collaboration et visibilité avec les équipes data en créant un lien entre les métriques de vos modèles et les métriques business.

Et vous comment vous faites-vous pour mesurer votre ROI ?