AI Product Day : La suite de nos enseignements IA et produit - Partie 2/2

Voici la 2e partie de notre synthèse sur l’AI Product Day, l’événement IA et produit organisé par le cabinet Hymaïa le 31 mars dernier. L’occasion de causer RICE, biais, redéfinition du métier de product et Marty Cagan. 

⌛ 6 min de lecture en se prenant (encore) des claques

 ✉️ Article issu du Ticket n°105

Retrouve toutes nos synthèses des interventions de l’AI Product Day ici

---

Ce que tu vas apprendre dans cet article sur l’AI Product Day :

1- La lame de fond de l’IA Product Day : la redéfinition du métier de Product

2- La slide de l’AI Product Day : Le RICE à l’ère de l’IA

3- La cerise sur le sundae de l’AI Product Day : Marty Cagan

4- La mise en garde de l’IA Product Day : gare aux biais de l’IA

---

1- La lame de fond de l’IA Product Day : la redéfinition du métier de Product

Avec l’IA, on ne fait plus du produit comme on en faisant auparavant. OK, merci Captain Obvious. La vraie question, c’est : qu’est-ce qui change CONCRÈTEMENT ? Éléments de réponse avec les interventions de 360 Learning et Mirakl.

De Product Manager à Product Builder chez 360 Learning

Chez la plateforme de formations en ligne (2 500 clients, 400 employés), c’est une feature team de 9 personnes (5 dev’, 2 machine learning engineers et 2 Product) qui porte les projets IA en transverse. Sur scène, Marie Douriez et Adrien Gros, respectivement ML Engineer et Product Manager.

Depuis 2 ans, ils ont multiplié les initiatives IA dans leur produit : 

• génération automatique de quiz dans une formation
• génération d’un cours à partir d’un simple document (la fonctionnalité la plus utilisée)
• génération d’un brouillon de cours à partir d’un objectif donné
• Traduction automatique de cours
• Modération de commentaires sur des forums

Au point qu’aujourd’hui, 20 % des cours de leurs clients sont créés avec de l’IA. De quoi tirer des premiers apprentissages et se rendre compte que le Product Management traditionnel est moins adapté au côté incertain et non déterministe de l’IA.

“S’en tenir à sa roadmap ne suffit plus”, témoigne Adrien.

Leurs convictions ? Avec l’AI, les Product Managers vont devenir des Product Builders. Autrement dit, des doers qui vont faire de plus en plus de prototypes en autonomie.

La fonction évolue, l’orga aussi. Dans leur schéma ci-dessous, on comprend que les ingés software et machine learning (qui s‘occupent des prompts et du back-end chez 360 Learning) sont intégrés beaucoup plus en amont du processus, dès la phase de discovery.

La redéfinition de la valeur produit et de l’organisation chez Mirakl

De son côté, l’éditeur de places de marché Mirakl, licorne de surcroît, a procédé à l’un de ses investissements majeurs depuis sa création. Sur ses 750 employés, 300 font partie de l’équipe tech dont 50 spécifiquement dédiés à l’IA.

Ce qui permet de lancer des projets structurants, là où la création de valeur est la plus forte. Comme, par exemple, la refonte de l’import de son catalogue de produits en tant que commerçant. Un exemple évoqué en détail lors de la dernière School of Product. Résultat : le temps d’import de son catalogue est passé de 15 jours à 24 heures grâce à cette nouvelle fonctionnalité IA.

Isabelle Bénard et Anne-Claire Baschet, ses Chief Product Officer et Chief Data & AI Officer, pointent alors les enjeux en termes de design. “Il ne faut pas laisser l’IA être une boîte noire pour les utilisateurs”, indique la première, préconisant par exemple des doubles fenêtres de visualisation, des modes prévisualisation ou de suggestion.

Sans oublier, comme évoqué par 360 Learning, la refonte nécessaire du cheminement produit traditionnel, afin de gérer la nature non déterministe de l’IA générative, en allant le plus vite possible en production. Le fameux “AI done better than perfect” de notre 1er article. 

Ce qui se traduit par un nouveau Workflow produit interne. Avec, à chaque étape, une évolution de sa façon de faire en prenant en compte la nouvelle réalité de l’IA. Que cela soit des preuves de concept (POC) au cours de la discovery, des itérations rapides sur les modèles lors de la phase de Build ou l’affinement des modèles et l’industrialisation d’un processus de monitoring de l’IA après le lancement.

Pour Isabelle et Anne-Claire, cela implique de passer de la logique de trio produit (Product, Tech, Design) à quatuor (avec l’arrivée d’une personne Data).

2- La slide de l’AI Product Day : Le RICE à l’ère de l’IA

Perspective perspective pour celles et ceux qui utilisent le framework RICE (Reach – Impact – Confidence – Effort ou ICE), popularisé par la firme Intercom, pour prioriser leurs actions. 

On a déjà vu certaines personnes lui ajouter une dimension d’impact social ou le P de “problème” au début (PRICE). 

Dans sa conférence, la CPO en freelance Alix Moggia, elle, le remet au goût du jour à l’ère de l’IA avec la notion de faisabilité IA ou de levier IA.

À expérimenter !

3- La cerise sur le sundae de l’AI Product Day : Marty Cagan

Il est odieux mais c’est divin (la ref’ de boomer). Pour l’avoir vu plusieurs fois, on sait que Marty Cagan, l’une des figures tutélaires du Product Management, n’a jamais sa langue dans sa poche et tire à balles réelles en conf’. Des convictions fortes qui secouent souvent le cocotier, malgré les critiques sur l’idéalisme de sa vision, extrêmement centrée sur les pratiques de la Silicon Valley.

En clôture de cette journée, l’auteur des ouvrages de référence Inspired ou Empowered n’a pas failli à sa réputation. Toutefois, peut-être à cause de la fatigue de la fin de conf’ ou de la moindre spontanéité de l’intervention en visio (ou du contexte de défiance américaine), on est resté un peu sur notre faim. Quelques scuds lancés, mais une vision sur l’IA pour la profession moins profonde qu’à l’accoutumée. Et un manque de tact un peu gênant par rapport aux précédentes interventions.

Voici malgré tout les propos qui nous ont marqué : 

• “Avec l’IA, le rôle de Product Owner est très vulnérable” 

Pour celles et ceux qui ne connaissent pas ses propos, Marty Cagan, considère qu’il existe 3 types de profils dans le Product Management : 

1- Les Product Owners (surtout présent en Europe) qui n’est pas un métier mais un rôle dans un processus de développement agile. Pour lui, ce dernier est clairement à risque avec l’IA. 

“Ce job va profondément se faire disrupter et automatiser. Mon conseil, c’est de monter en compétence rapidement“, préconise-t-il. 

2- Les Product Managers dans des “features teams” (= usine à fonctionnalités). Ces personnes doivent prioriser des roadmaps ou définir des fonctionnalités, dans une fonction à la croisée des chemins entre le projet et le produit. Là encore, l’IA va impacter ce job.

“Si votre boulot, c’est de regarder l’ensemble des feedback du produit afin de définir la fonctionnalité la plus demandée, vous êtes à risque. C’est très facile pour une IA de faire cela désormais”, poursuit-il.

3- Les Product Managers dans des “empowered teams”. On a affaire ici à des personnes responsables de la valeur et de la viabilité du produit. Un métier totalement différent. On leur donne un problème à résoudre plutôt qu’une fonctionnalité à développer et elles doivent trouver et shaper la solution. 

“La Product Delivery est une tâche parfaite pour des LLM. La product discovery, soit le fait de choisir ce que vous devez concevoir, elle, reste plus que jamais une mission à haute valeur ajoutée pour les Product Managers”, conclut-il.

• “C’est aux Tech Leads d’embrasser les nouvelles technos, pas à une 4e personne”

Quels changements en termes d’orga produit avec l’IA ? Marty, qui a assisté aux 5 dernières minutes du talk précédent de Mirakl, réfute l’idée d’un futur quatuor produit.

“Dès qu’il y a une nouvelle techno, on a envie d’ajouter une 4e personne. Sauf que la question de la data science doit revenir au Tech Lead. C’est pour cela qu’on l’appelle Tech Lead d’ailleurs, c’est le rôle qui doit embrasser le premier les nouvelles technologies”, explique-t-il.

Selon Marty, il faut moins parler de Data Engineer ou de Machine Learning Engineer mais d’AI Engineer. Dit autrement, c’est aux ingés de s’approprier les sujets IA. Un propos qui fait l’écho à l’article récent de l’éditeur et ancien ingénieur Tim O’Really.

• Des inquiétudes pour les emplois dans la tech

“Pour la première fois, je suis profondément inquiet du décalage entre le nombre de personnes dans notre industrie et celui qui sera nécessaire à l’avenir. Je m’interroge quant à l’impact que cela peut avoir sur nos vies”, pointe Marty Cagan.

Qui commence à voir des équipes de plus en plus petites avec des périmètres de plus en plus large. La tendance naturelle avec l’IA.

• Un ajout dans ses livres à l’ère de l’IA ? Le Founder Mode !

Que changerait-il à l’un de ses livres à l’ère de l’IA ? 

• Il parlerait moins de delivery, qui, on l’a compris, se révèle de moins en moins être un sujet à l’avenir pour la profession.

• Et il ajouterait la notion de “Founder Style Leadership”, née récemment par la biais de l’investisseur américain Paul Graham. “Une manière de manager avec beaucoup plus les mains dans le cambouis. Sachant qu’en Europe, le management est trop administratif (“hands off”)”, tance-t-il.

Notons également cette phrase :

“Je parle d’une réalité d’ici 3 ou 4 ans… si je ne me trompe pas. Et il y a de fortes chances que j’ai tort”, sourit-il.

Human after all Marty.

4- La mise en garde de l’IA Product Day : gare aux biais de l’IA

On pointait dans notre ressenti global de l’événement le manque de propos sur les risques de l’IA. C’était toutefois faire abstraction de l’intervention du mathématicien de l’INRIA (institut national en science et technologies du numérique) Benoît Rottembourg, une pointure en fixation de prix visiblement, sa bio Linkedin est géniale sur le sujet.

Une plume facétieuse également à l’oeuvre dans la description de son talk :  

“Faire un produit avec de vrais morceaux d’IA dedans, c’est un peu comme fabriquer un lot de yaourts aux fruits bio : c’est produire sur du vivant et cela soulève des problèmes critiques de qualité.”

Du vivant que l’on retrouve aussi bien : 

• dans les données d’entrées (toujours mouvantes, polluées, et liées aux mouvements de la société)
• dans les processus d’acquisition et de traitement amont
• dans la perception qu’ont les décideurs des effets indésirables (car les normes évoluent). 
• dans le feedback utilisateur (qui s’habitue au goût)

“Dans les replis des algorithmes d’IA prolifère une étrange bactérie : le biais. Quelle dose de salmonelle algorithmique tolérons-nous pour un produit grand public ?”, file-t-il la métaphore.

De sa présentation, nous retiendrons notamment cette slide qui résume parfaitement d’où vient le problème.

Et ses quelques lignes limpides. 

• Nos algos reproduisent nos stéréotypes. 

• Les biais ne sont pas un dommage collatéral exceptionnel des algorithmes d’IA, mais bien consubstantiels à la mécanique computationnelle du Machine Learning

• Ces derniers sont rarement globaux, rarement visibles à l’œil nu. Ils se cachent. Ils émergent dans des contextes d’usage, pour des sous-populations le long de certains comportements. Leurs origines sont multiples.

Mais bonne nouvelle, les biais se corrigent. Avec des gants. En challengent les data scientists dans des dimensions souvent négligées.

---

Tu peux lire ensuite les autres résumés des interventions de l’AI Product Day :

Retrouve toutes nos synthèses des interventions de l’AI Product Day ici