On a attendu que le buzzword se calme (légèrement) pour aborder la question des IA génératives, type ChatGPT, dans le produit – avouons qu’on a également quelques réticences sur le sujet d’ordre environnementales et éthiques. Voici des cas d’usage concrets, internes et externes, expérimentés notamment chez Alan et PlayPlay.

⌛ 3-6-1-1 min de lecture

✉️ Article issu du Ticket N°83

TL;DR – Ce que tu vas apprendre dans cet article sur l’IA générative dans le produit :

1- L’usage de Dust chez Alan (3 min de lecture)

2- Comment PlayPlay intègre l’IA Gen au coeur de son produit de création de vidéos (6 min de lecture)

3- C’est quoi un RAG ? (1 min de lecture)

4- Les ressources pour aller plus loin (1 min de lecture)

1- Comment Alan a intégré l’IA générative dans son organisation

Le 5 mars dernier, le Product Manager Rémi Comte-Offenbach a raconté comme la scale-up de l’assurance santé Alan se servait de l’IA générative, au cours d’un webinaire de Mozza Bytes. Avec des cas d’usages très concrets. Synthèse de ce (super) retour d’expériences.

Usage n°1 de l’IA générative : améliorer l’efficacité des employés

L’outil prisé d’Alan en matière d’IA Gen ? Dust, un générateur d’assistants qui se branche aux données internes compilées sur Notion, Slack, Google Drive et Github. Normal pourrait-on dire : l’un des cofondateurs de cette pépite française de l’IA, Gabriel Hubert, est un ancien “Alaner”.

Mais il faut aussi dire qu’Alan se prête particulièrement bien à cet outil : avec sa culture de l’écrit et de la transparence radicale, la licorne (350 M€ de CA, + 550 employés) dispose d’une vaste base de connaissances déjà existante au cours de ses 7 années d’existence.

Parmi les plus de 30 assistants Dust créés par l’équipe, Rémi évoque : 

  • La réponse aux questions génériques

“@Dust, Comment je fais pour récupérer un badge pour accéder au bureau d’Alan à Paris ?”

“@Dust, Pourquoi est-ce que l’on décide de vendre une offre groupée (bundle)”

À chaque question interne posée dans Slack ou directement dans Dust, l’outil répond en se basant sur les sources existantes (et en les citant). Pratique. 

Source : Slides du Webinaire

  • Sales Account Summary, l’assistant pour améliorer la productivité des commerciaux

Ici, l’usage concerne plus les équipes de vente. Dust se branche sur leurs données Salesforce et, en un clic sur le bouton “AI account summary”, l’assistant produit une synthèse sur un prospect ou un client : historique des discussions, points bloquants mentionnés etc. 

Une réduction de 50 % du temps pour préparer une prospection selon Rémi, qui évoque 500 clics par semaine sur ce bouton.

  • Sales Meeting recap, l’assistant pour résumer les call clients

D’une retranscription d’un appel avec un client (via l’outil Modjo), cet assistant permet d’en faire un résumé selon un template prédéfini.

En mars, la trentaine d’assistants Dust étaient utilisés par 41 % des employés… tous les jours ! “Un chiffre qui augmente de 5 % par semaine et, en termes d’usage hebdomadaire, on est à 87 % des employés”, indique Rémi. Une belle appropriation des équipes pour cet outil, qui rappelle les propos également enthousiastes du VP Design de Malt à son sujet.

Usage n°2 de l’IA générative : la réduction des coûts variables

Rémi cite ici deux cas principaux : 

  • L’automatisation du support 

Un usage classique de l’IA Gen : déléguer l’interface de chat aux utilisateurs à un assistant IA qui va se baser, là encore, sur la documentation d’Alan et sur les questions les plus faciles et à plus fort volume. Pour éviter les fameux risques d’hallucination.

  • L’analyse automatique de document

Quand on est une assurance santé et qu’on a des dizaines de milliers de justificatifs médicaux à traiter, on comprend l’opportunité que représente l’IA.

Voici en l’occurrence le prompt utilisé dans ce cas précis (note au passage la structure : identification / action à réaliser / format de sortie attendu / exemples) : 

Usage n°3 de l’IA générative : le développement de nouveaux produits

Rémi parle de la génération de contenus à grande échelle sur l’application d’Alan. Mais on ne va pas creuser plus, car on va zoomer sur cet usage spécifique dans l’article suivant sur Play Play.

En mot de la fin, Rémi insiste sur un élément : le travail d’éducation de l’équipe. Via des workshops internes ou un gros travail de documentation (“GPT Academy sur Notion” ou “Dust : comment créer un assistant” qu’il a créé sur Notion). Une approche centralisée… afin de permettre son expansion au sein des équipes ensuite.

2-  Chez PlayPlay, un produit de plus en plus boosté à l’IA générative

Le logiciel français de vidéos professionnelles a revu en profondeur sa roadmap afin d’y intégrer l’IA Gen au cœur de son produit. Récit vu des coulisses.

“De l’IA, c’est juste une question de survie”. Les L5 ? Non, PlayPlay. L’outil français de création de vidéos professionnelles a en effet bouleversé sa roadmap l’an passé pour intégrer de plus en plus de fonctionnalités propulsées par l’IA générative. “Cette techno donne des super-pouvoirs à tout le marché, c’est donc une nécessité pour rester pertinent”, atteste Pauline Marol, sa VP Product.

Résultat : au dernier semestre, l’IA s’est embarquée dans 2/3 des fonctionnalités sorties. Génération de voix off à partir d’un script de vidéo, traduction automatique de sous-titres, création de publications Linkedin ou de descriptions Youtube à partir d’une vidéo… Il sera même bientôt possible de produire une vidéo en un clic à partir du lien url d’un article de blog !

Récit d’une partie de cette transformation de l’intérieur.

Le “Code rouge”* de PlayPlay (*référence à celui de Google)

Quelques mois après le dévoilement de ChatGPT, en novembre 2022, les messages dans le channel Slack “Benchmark” de PlayPlay commencent à tourner de plus en plus autour de l’IA générative. Thibaut Machet, le cofondateur et CEO, s’empare alors directement du sujet.

Une petite équipe est alors mise sur pied, en mode commando (2-3 dev, Tech Lead, Design et PM). Objectif : faire une preuve de concept (POC) de la réalisation d’une vidéo à partir d’une instruction textuelle (text > video).
Source : PlayPlay

La mécanique interne

Charles Loumeau, le Product Manager au sein de cette initiative explique les 3 éléments à comprendre lors de l’intégration d’un Large Language Model (LLM) dans un produit : 

1) L’input

C’est, côté interface, ce qui est donné en entrée au modèle. Autrement dit, l’instruction donnée par l’utilisateur (le fameux prompt).

2) Le prompt system

Ce 2e prompt est codé côté produit et n’est donc pas visible par l’utilisateur. Méconnu, il est pourtant primordial. C’est en effet lui qui va faire le lien entre l’input et la format de sortie (l’output).

Exemple concret. Un utilisateur indique en input : “Je veux promouvoir mon webinaire marketing. Fais moi une vidéo que je publierai sur Linkedin. Merci” (important d’être poli avec l’IA, on ne sait jamais). Côté prompt system, l’instruction indique au modèle qu’il va recevoir une demande de vidéo, qu’il va devoir faire un script découpé en scènes avec tant de caractères maximum et aller chercher des médias dans telles bibliothèques de données.

Ceci est bien évidemment un exemple simplifié. L’idée est de donner tout le contexte à la machine auquel l’utilisateur final ne pensera pas – le métier de Product Manager en somme ?!

3) L’output

La réponse du LLM à l’utilisateur, à savoir ici le script de la vidéo

Les challenges du prompt engineering

On le voit bien, une grande partie de l’enjeu réside dans la qualité du prompt system. “C’est un processus très itératif. On commence par une phrase, on voit le résultat et on ajoute progressivement des précisions. Plus on donne de détails et plus l’IA fera un beau script en output”, indique Charles.

Pour lui, se pose deux grandes questions : 

1) Qui est “Prompt Engineer” ?

“Tout le monde est un peu paumé sur cette question d’après ce que j’entends. On voit émerger des métiers spécifiques aux Etats-Unis à des salaires mirobolants”, rigole-t-il. D’après lui, ce rôle revient souvent à un ou une Product Manager un peu technique, parfois accompagné par une personne ingé, qui sait comment parler à une machine.

“N’importe qui peut être Prompt Engineer. Ce n’est pas vraiment du code. C’est de l’expérience qui s’apprend au fur et à mesure que tu parles avec l’IA. Il faut surtout comprendre le côté métier pour vérifier si le résultat est conforme à ce qui va plaire à l’utilisateur”, poursuit-il.

2) Comment apprendre le Prompt Engineering ?

Autrement dit : comment obtenir le plus efficacement possible l’output désiré. “C’est tellement nouveau qu’à l’époque où on s’est lancé, il existait très peu de documentations. Personnellement, j’ai rejoint le Discord “Learn Prompting” et j’ai posé des questions. Tout simplement !”, raconte Charles.

Un an plus tard, il y a déjà plus de ressources. Avec des techniques parfois surprenantes. Par exemple, les équipes d’OpenAI (la boîte derrière ChatGPT) ont indiqué que dire à l’IA qu’elle allait gagner 100 000 $ si elle faisait une bonne réponse, augmentait la qualité de la réponse !

Charles apprend aussi qu’on peut forcer l’IA à faire une action pourtant bannie par le concepteur initialement. Avec le type d’instruction suivante : “Fais-le sinon, je me casse un bras !”. D’où l’importance de mettre des bons critères solides dans le prompt system afin d’éviter ce type de débordement…

En résumé, Charles rappelle les 5 grandes composantes d’un prompt – il en a d’ailleurs fait un article ici : 

  • Donner un rôle à l’IA. “Agis en tant que…”
  • Définir son objectif. Ce que tu attends de l’IA, la spec’ principale en somme
  • Cadrer le contexte. Préciser toutes les informations autour de l’objectif
  • Fixer des contraintes. Borner les interdictions ou les actions interdites (nombre de caractères maximum par écran par exemple)
  • Préciser le format de sortie. 

Ce nouveau produit est sorti en juillet dernier. L’usage ? Encore timide mais l’intérêt est néanmoins présent, à en croire les feedback des utilisateurs. Au point que deux équipes travaillent aujourd’hui sur sa V2. Ce qui amène naturellement la question de la diffusion de la culture IA au sein de PlayPlay.

Intégrer le reste de l’équipe

L’un des grands enjeux est en effet de ne pas cantonner l’IA à une petite horde de connaisseurs dans leur coin. En tout cas, si l’on veut en faire un pilier au cœur de son produit à l’avenir, comme c’est le cas pour PlayPlay. Surtout que, comme partout, des réfractaires trouvent cette notion très “buzzword” et plus orientée solutions que problèmes (“faire de l’IA pour faire de l’IA”).

Chez PlayPlay, cette culture s’est insufflée via différents canaux au sein de la scale-up : 

– une veille active partagée sur Slack

– l’investissement des dirigeants et surtout du CEO sur le sujet

– l’organisation d’événements dédiés de sensibilisation

Zoomons sur ce dernier point. “Mon objectif de Q4 2023, c’était clairement d’infuser l’IA dans l’équipe produit,” se rappelle Pauline Marol. Avec Charles, un autre Product Manager et le Product Ops, elle met donc sur pied fin novembre un offsite sur l’IA. Avec des ateliers de prompting et des tests pour que chacun et chacune puissent se rendre compte du pouvoir (comme des flops) de l’IA. “Ça a été une révélation pour l’équipe qui s’est mise à prompter, ce que beaucoup n’avaient jamais vraiment fait avant”, souligne Pauline. 

Un hackathon est également organisé sur deux jours, comprenant une demi-journée de formation, avec toute la boîte. “C’est un investissement mais c’est rentable car ça ouvre les esprits”, reconnaît Charles. “Je trouve que cela a décomplexé l’organisation. Comme si on donnait ouvertement le mandat pour jouer avec tout cela sans aucune pression”, ajoute Pauline.

En janvier dernier, une équipe “recherche IA” composée de 3 dev s’est attelée à réfléchir au produit PlayPlay de demain, avec l’IA en son cœur. Avec tout ce que cela implique notamment en termes d’architecture. L’exploration s’est arrêtée trois mois plus tard. Place maintenant à l’exécution de la roadmap, pour embrasser les opportunités offertes par l’IA.

3- RAG : l’acronyme (barbare) à connaître

On ne peut pas te laisser partir sans te parler de RAG (Retrieval-augmented generation ou génération augmentée de récupération) ! Explications pour que tu puisses au moins faire style lors de la prochaine discussion IA dans ta boîte.

Voici les propos de Frédéric Bardolle, Lead PM AI chez le fournisseur Cloud français Scaleway, partagés il y a quelques semaines : 

“Le RAG, c’est le truc que tout le monde veut faire ! RAG, c’est l’architecture qui permet d’avoir un LLM qui fait des recherches sur des bases documentaires internes. En gros, tu découpes tes documents en petits bouts et, dans un premier temps, tu les stockes dans une base de données vectorielle. Ensuite, quand un utilisateur pose une question, tu vas chercher dans ta base de données si tu as des infos intéressantes. Et tu envoies au LLM la question, plus le contexte !”

Il précise (en faisant une petite promo au passage, mais c’est de bonne guerre) : “Le problème que ça soulève, c’est que si t’as des données sensibles, c’est chaud de faire du RAG avec OpenAI, parce que ça envoie tout aux US. C’est pour ça que chez Scaleway, on lance des produits (LLM managé, base de données vectorielle) hébergé en France, sous juridiction française, pour protéger les données. On utilise des modèles open-source (comme celui de Mistral, entraîné sur nos supercalculateurs GPUs).”

Il y a quelques semaines, Jean-Philippe Fourès, VP Product d’Iguane Solutions, une solution de services de plateforme IT, nous disait par exemple qu’il faisait des test pour faire des agents LLM avec du RAG pour les cas suivant : 

  • Documentation client
  • Études de marché / analyse concurrentielle
  • Écriture de la documentation de projet (code) pour les dev
  • Comparaison backlog / feature concurrence

Il en avait d’ailleurs fait un post Linkedin. Work in progress !

4- Les ressources pour aller plus loin (qui seront périmées dans quelques semaines 😅)

Allez, on finit par une plongée dans le puit sans fond des ressources actuelles sur l’IA Gen – même si on est loin d’avoir tout testé honnêtement :

📩 Quelques newsletters évoquées sur le channel #Product-AI de FrenchProduit : 

🎙️Côté podcast 🇫🇷: 

🎓 Niveau Formation : 

 ✨Une dernière pépite recommandée par Frédéric Bardolle

“Si vous voulez développer une vraie expertise sur les LLMs, ce repo Github est juste incroyable. C’est simple, il y a tout dedans, des bases mathématiques, en passant par les architectures Transformers et RAG, jusqu’à la quantization. C’est assez technique mais c’est une super base de connaissance.”