Rédiger ses specs ou ses tests d’acceptance, faire des critiques design, analyser un problème… Dans « C’est pas SorciAI », notre nouvelle émission IA et produit, en partenariat avec Maestro, Charles Loumeau, Senior Product Manager de l’outil de création vidéo PlayPlay, montre son usage concret de l’assistant IA qu’il a co-conçu l’an passé. Demo Time ! 

⌛ 6 minutes de lecture (ou 53 min de démo en replay)

🎫 Article exceptionnellement en libre accès pour découvrir notre nouvelle émission « C’est pas SorciAI » (réservée aux membres Premium du Ticket)

Ce que tu vas apprendre dans cette émission sur les assistants IA de PlayPlay :

(avec les timecode si tu veux directement arriver à chapitre dans la vidéo) : 

1- Comment comprendre un problème avec un assistant IA (7’27)

2- Comment mener une critique design avec un assistant IA (13’18)

3- Comment faire un benchmark des solutions existantes avec un assistant IA (18’12)

4- Comment rédiger des specs et des tests d’acceptance avec un assistant IA (19’56)

5- Comment construire son propre CustomGPT dans sa boîte (33’14)

L’émission intégrale « C’est pas SorciAI » avec Charles Loumeau de PlayPlay :

Le résumé de l’émission :

Animée par Fred Bardolle (Head of Product IA chez Scaleway et référent IA du Ticket) 

  • Le contexte

Début 2024, l’équipe de PlayPlay décide d’explorer les potentialités des CustomGPT, ces assistants IA adaptés au contexte de chaque organisation (dispo dans la version “Plus” de ChatGPT au tarif de 20$/mois/utilisateur).

Une petite équipe de 5 volontaires (4 Product Managers et une Product Ops en lead du projet) s’y attellent en mode side project, à raison de 1 à 2 heures par mois. Leur objectif : aider les équipes produit à gagner en productivité.

La première version, sortie quelques mois plus tard, peine toutefois à convaincre. Il fallait en effet à chaque fois rappeler son contexte spécifique avant de poser la moindre question. Chronophage donc. Fin 2024, la petite troupe sort une V2, cette fois nettement plus performante. Et qui semble gagner en popularité en interne, selon Charles Loumeau, Senior PM et passionné d’IA (il a d’ailleurs écrit un guide gratuit sur les qualités d’une fonctionnalité IA) : 

“On m’en parle de plus en plus à la machine à café. Notamment une personne qui m’a dit que cela l’avait beaucoup aidé pour rédiger son guide d’entretien avant une interview utilisateur. Ou une Product Designer qui a pu identifier de cette manière un edge case auquel elle n’avait pas pensé”.

  • Le cas concret

Les équipes de PlayPlay peuvent se servir de cet assistant IA à toutes les étapes de leur process produit (pour lequel elles doivent rendre un livrable) : 

voir ce moment de la vidéo

Par souci de simplicité , Charles va nous présenter ici 4 cas d’usage : 

1- Comprendre un problème produit

2- Mener une design critique

3- Faire un benchmark des solutions existantes

4- Rédiger des specs et des tests d’acceptance

Le tout, en se basant sur un vrai cas traité par PlayPlay récemment, à la suite de remontées utilisateurs : le nettoyage de sons parasites sur une vidéo (ventilation, route, vent etc.)

1- Comprendre un problème produit avec une assistant IA (7’27)

Premier cas d’usage : Charles demande à son assistant IA (nommé “Whalee” en interne) de lui rédiger la fiche “Problem Understanding”, le livrable à fournir pour chaque opportunité dans le process de Discovery de PlayPlay.

Voici son prompt :

Et voici la réponse de l’assistant IA, qui suit les 4 questions du modèle de Discovery de PlayPlay : 

  • Quel est le problème concerné ?
  • Quelles sont les solutions alternatives existantes ?
  • Pourquoi est-il pertinent de résoudre ce problème maintenant ?
  • Quels sont les cas d’usages principaux et leur priorité (avec la matrice MOSCOW) ?

Est-ce que Charles va juste copier-coller cette réponse ? Non !

“Il ne faut pas tout prendre à la lettre avec les IA. Mais cela me donne une très bonne base de brouillon qui va me permettre de remplir ma fiche plus rapidement. Je dirais que je garde environ 50 % de ce qu’il m’a indiqué”.

💡 L’astuce de Fred :

“C’est une excellente illustration de l’utilité des LLM (Large Language Models) : ils permettent de créer une première version, qui est toujours la plus difficile pour des humains. Il est en effet plus facile d’éditer un texte existant plutôt que de partir d’une page blanche.”

2- Comment mener une design critique avec un assistant IA (13’18)

Deuxième cas d’usage : une design critique à partir de maquettes. Un exercice utile notamment pour les Product Designers, rendu possible par l’aspect multimodal de ChatGPT qui peut aussi bien analyser du texte que des images.

Charles télécharge les maquettes de cette nouvelle fonctionnalité de nettoyage de son (cf ci-dessous avec l’ajout de la fonctionnalité “AI Audio Cleaner”)

voir cet extrait

Puis, il indique le prompt suivant : 

Voici le flow design de l’expérience de nettoyage audio d’une vidéo. Fais moi une design critique : ce qui est bien / pas bien / conseils

Réponses de Whalee :

Comme on le voit, les points à améliorer sont plutôt pertinents : “absence de comparaison avant/après”, “manque de granularité dans les réglages” et “manque de confirmation du succès du traitement”.

“Une Product Designer, qui travaillait sur une grosse refonte de page, l’a consulté en envoyant ses maquettes et elle était clairement satisfaite de ses retours”, assure Charles.

💡 Le retour d’expérience de Charles : Une IA ne sait pas (encore) faire de bons designs

L’équipe produit a aussi essayé de créer les designs via l’assistant IA… et cela n’a pas marché ! Le rendu n’était pas au niveau.

3- Faire un benchmark des solutions existantes (18’12)

Troisième cas d’usage présenté : l’exploration de solutions, en l’occurrence de nettoyage audio par l’IA (PlayPlay ne dispose pas des compétences pour construire en interne cette fonctionnalité). Ce qui est possible étant donné que les IA sont branchées sur les données du Web.

Voici le prompt de Charles :

voir ce passage

Et la réponse de l’assistant IA :

“Ça a émerveillé le tech lead de mon équipe. Au lieu de passer une heure sur le Web à faire le listing de toutes les solutions, Whalee lui a fourni instantanément un benchmark en format tableau avec, en effet, de vraies solutions qui existent sur le marché”, confie Charles.

Même s’il reconnaît que la solution finalement choisie n’était pas apparue.

“Encore une fois, l’IA est toujours à prendre avec des pincettes. Même si nous avons en effet prospecté et fait des call avec des solutions identifiées malgré tout”, poursuit-il.

💡 La bonne pratique de Charles : ne pas utiliser le nom de sa marque

Comme tu le vois peut-être dans les captures d’écran, Charles n’évoque pas PlayPlay dans ses discussions avec l’IA mais “Videosy”. Une pratique pour garder la confidentialité de son entreprise et ne pas prendre le risque que les données envoyées ne servent d’entraînement au modèle et se retrouvent dans les réponses d’autres utilisateurs, dont ses concurrents. Et ce, même s’il est possible de définir en paramètre que l’on ne souhaite pas que ChatGPT utilise ces données. Principe de précaution.

4- Rédiger des specs et des tests d’acceptance (19’56)

Enfin, dernier cas présenté, sûrement celui qui va intéresser le plus les Product Managers : la rédaction de specs à partir des maquettes du flow.

L’assistant IA va bien respecter le format des tickets JIRA de PlayPlay.

Il peut même faire les tickets d’erreurs et edge cases, à la suite de la demande supplémentaire de Charles.

“Pour l’anecdote, c’est notre QA dans l’équipe qui vérifie nos tests d’acceptance. Et l’autre jour, il m’a dit “Ouah, ils sont vachement propres, c’est top !”. Ce n’est qu’après que je lui ai dit que je m’étais fait assisté par une IA”, sourit Charles.

Petit bémol : PlayPlay n’a pas encore connecté son assistant IA à ses autres outils, comme JIRA par exemple (même si c’est a priori possible en soi). L’équipe est donc obligée de faire des copier-coller pour le moment.

“Je garde généralement 70 % du contenu ici… même si aujourd’hui, dans cette démo, je ne trouve pas sa réponse top”, admet Charles.

💡 L’astuce de Fred :

D’où la précision de Fred : les LLM sont non déterministes. C’est-à-dire qu’ils peuvent donner deux réponses différentes à la même question. Ce qui, en soi, est pareil pour un être humain mais ce qui est moins attendu quand il s’agit d’une machine. Ce qui amène parfois à se demander : ai-je eu la meilleure réponse du LLM ou est-ce que ça vaut le coup de lui redemander pour essayer de générer une meilleure variante ?

5- Comment construire son propre CustomGPT (33’14)

Évidemment, Charles n’allait pas pouvoir finir cette émission sans expliquer comment ils avaient programmé au préalable leur assistant IA. Autrement dit, comment créer son customGPT sur ChatGPT.

En soi, l’interface d’OpenAI est assez simple et intuitive, avec un écran à gauche pour indiquer ses paramètres et un autre, à droite, pour expérimenter instantanément.

“Tout l’enjeu ici, c’est de réussir à lui donner de bonnes instructions. Cette phase de prompting, l’art de communiquer à un LLM, est la partie où il faut monter le plus en compétences”, admet-il.

Avant de dévoiler certaines règles populaires et efficaces. Notamment donner : 

1) Un rôle à l’IA

2) Un objectif défini

3) Des éléments de contexte

4) Des instructions

C’est ici que l’on insère les mini-prompt correspondant aux différents cas d’usage envisagés et présentés par Charles. Il en a évoqué 4 dans l’émission mais dans leur customGPT, ils ont une trentaine de prompts renseignés.

“Il faut soigner la syntaxe. Les LLM ont été entraînés sous forme Markdown donc il est préférable de leur hiérarchiser l’information de cette façon”, précise Charles.

Enfin, il est possible et recommandé de lui fournir une base de connaissances qui évitera d’avoir à lui rappeler constamment son contexte (mais qui est aussi le plus stratégique et donc touchy à partager pour une entreprise). Chez PlayPlay, ils ont téléchargé par exemple leur FAQ, des notices clients mais aussi leurs templates Notion internes (ce qui a permis à l’assistant par exemple d’écrire des tickets dans le bon format utilisé par PlayPlay).

C’est toute la différence entre ce que l’on appelle dans le jargon un 0-shot prompting (un prompt sans exemple) et un few-shot prompting.

Et voilà les bases pour faire son propre assistant IA ! Tout en gardant à l’esprit que, comme tout produit, il est nécessaire d’en faire une maintenance régulière (tous les deux mois chez PlayPlay) en agrémentant la base de connaissance de documents à jour sur les nouveautés et les évolutions du produit et du fonctionnement de l’équipe.

🎫 Ça t’a plu ? N’hésite pas à devenir membre Premium du Ticket pour avoir accès aux autres démos concrètes de nos émission « C’est pas SorciAI » 🎫

L’émission intégrale « C’est pas SorciAI » avec Charles Loumeau de PlayPlay :

Pour aller plus loin :