Ce que 6 projets nous apprennent sur l’usage concret des LLM.
L’intelligence artificielle générative, incarnée par les modèles de type LLM (Large Language Models), s’impose aujourd’hui comme un levier majeur de transformation pour les métiers du numérique. Mais derrière la promesse d’automatisation et de gain de temps, une nouvelle compétence émerge : le prompt engineering. Cet article propose un retour d’expérience sans filtre sur l’usage des LLM en entreprise, en s’appuyant sur plusieurs projets menés ces derniers mois.
L’objectif : partager les méthodes, les réussites, les échecs et les enseignements concrets pour permettre à chacun de tirer le meilleur parti de ces outils, tout en gardant le contrôle sur la qualité des livrables.
Le prompt engineering s’impose aujourd’hui comme une compétence clé à l’ère des LLM (Large Language Models).
Mais pourquoi cette discipline prend-elle autant d’importance ?
L’IA générative, et en particulier les LLM, promettent de transformer notre façon de travailler : il suffit d’exprimer un besoin en langage naturel pour obtenir une réponse, une solution, voire un livrable complet. Cette promesse séduit par sa simplicité apparente : plus besoin de maitriser un langage technique, il « suffit » de bien formuler sa demande.
Pour les équipes IT, cette évolution bouleverse les habitudes. Le métier ne disparait pas : il évolue. Désormais, la capacité à dialoguer efficacement avec l’IA devient aussi importante que la maitrise des outils traditionnels. L’enjeu : savoir transmettre le bon contexte, structurer ses attentes, expliciter les contraintes et les objectifs.
Dans la pratique, obtenir un résultat pertinent d’un LLM n’est pas aussi trivial qu’il y parait. Les modèles interprètent, extrapolent, et peuvent « halluciner » si la consigne est floue ou incomplète. Le prompt engineering consiste à :
Définir précisément le contexte et les objectifs ;
Découper les problèmes complexes en étapes simples ;
Anticiper les ambigüités et les risques d’interprétation ;
Itérer et ajuster les consignes pour affiner les résultats.
En somme, le prompt engineering permet de garder le contrôle sur la production de l’IA, d’en maximiser la valeur, et d’éviter les écueils classiques (réponses hors sujet, erreurs, perte de temps). C’est une compétence qui s’apprend, se perfectionne, et qui devient rapidement indispensable pour tirer le meilleur parti des LLM dans les projets d’entreprise.
La réussite d’un projet avec les LLM repose avant tout sur la qualité de la méthodologie employée. Voici les principes essentiels issus de l’expérience terrain :
Avant de rédiger le moindre prompt, il est crucial de clarifier le contexte : qui est l’utilisateur, quel est l’objectif, quelles sont les contraintes ? Cette étape, souvent négligée, conditionne la pertinence des réponses générées. Le MCP (Mon Contexte Personnel) permet d’ancrer la demande dans une réalité précise et d’éviter les interprétations hasardeuses du modèle.
Un prompt efficace s’appuie sur des instructions détaillées : il faut non seulement décrire l’objectif à atteindre, mais aussi expliciter les difficultés, les choix écartés, les exemples attendus. Plus la consigne est riche, plus le LLM sera en mesure de produire une réponse pertinente et adaptée au besoin.
Il est illusoire d’attendre une solution parfaite dès le premier prompt. La bonne pratique consiste à découper le problème en étapes simples, à valider chaque résultat intermédiaire, puis à ajuster progressivement la consigne. Cette démarche itérative permet de maitriser la complexité et d’obtenir des livrables de qualité.
Chaque outil d’IA requiert une prise en main progressive. Se forger une méthodologie personnelle, tester différentes approches, apprendre de ses erreurs : c’est ainsi que l’on développe les bons réflexes et que l’on améliore la pertinence des résultats. Le prompt engineering n’est pas une recette magique, mais un savoir-faire qui s’affine avec l’expérience.
Au cours des derniers mois, six projets majeurs ont été menés en s’appuyant sur la collaboration de deux LLM : Copilot et Claude. Chaque projet a permis de tester les limites, d’affiner la méthodologie et de tirer des enseignements précieux sur l’usage de l’IA générative en contexte professionnel.
Objectif : Mettre en place une plateforme Azure Kubernetes Service sans mot de passe, basée sur les managed identities.
Résultat : Échec. Le sujet était trop vaste, la méthode d’équipe manquait de structure, et les hallucinations du LLM ont freiné l’avancement. C’est finalement la documentation officielle qui a permis de débloquer la situation
Enseignement : Sans consignes précises et découpage méthodique, le LLM s’égare facilement.
Objectif : Proposer un modèle CMS basé sur .NET pour publier un site d’entreprise.
Résultat : Échec. Le LLM maitrisait .NET mais connaissait mal Umbraco ; il a mélangé les concepts et produit des réponses confuses. L’expertise humaine et des ressources externes ont été nécessaires.
Enseignement : L’IA doit être guidée par des instructions précises et contextualisées, surtout sur des sujets de niche.
Objectif : Réduire la dette technique sur un projet d’automatisation d’images Azure avec Packer.
Résultat : Succès. Un premier fichier d’instructions complet a permis d’obtenir rapidement un résultat très correct, affiné ensuite par les experts.
Enseignement : Un prompt bien structuré, accompagné d’exemples et de paramètres clairs, maximise l’efficacité du LLM.
Objectif : Rédiger l’audit complet d’une plateforme de virtualisation d'une plateforme de virtualisation, en s’appuyant uniquement sur des prompts et des notes d’atelier.
Résultat : Succès. Toutes les notes d’ateliers ont été structurées au format markdown, puis ingérées par le LLM. Les experts n’ont pas rédigé le rapport final : ils ont produit des instructions de rédaction, et le LLM (Copilot et Claude) a généré le contenu, enrichi de schémas et d’analyses. La collaboration a permis de produire 50 % du rapport avec un effort jugé acceptable par la chefferie de projet, et de valider la seconde partie du rapport deux fois plus rapidement, malgré la complexité du projet et la coordination de trois sociétés.
Enseignement : Lorsque le contexte est bien défini et les instructions précises, le LLM peut générer des livrables de grande qualité, même sur des sujets techniques complexes. La méthodologie (découpage, validation, enrichissement progressif) est déterminante pour la réussite.
Objectif : Mettre à jour un serveur Debian, publier un service .NET et ajuster la configuration Nginx.
Résultat : Succès. Le découpage en sous-consignes (Debian, .NET, Nginx) a permis de résoudre progressivement tous les problèmes, y compris les aspects SSL.
Enseignement : Segmenter les tâches et valider chaque étape avec le LLM permet de maîtriser la complexité.
Objectif : Définir un template YAML gérant des configurations multi-environnements dans un pipeline CI/CD.
Résultat : Succès. Malgré des consignes initiales incomplètes, le découpage en trois étapes et les corrections progressives ont abouti à un modèle robuste
Enseignement : L’itération et l’ajustement progressif des prompts sont essentiels pour converger vers une solution fiable.
Sur six projets, les échecs sont systématiquement liés à un manque de méthode ou de contexte dans les prompts. À l’inverse, les succès reposent sur une préparation rigoureuse, un découpage précis et une collaboration étroite entre l’humain et l’IA. Le prompt engineering s’impose ainsi comme la clé de voûte pour exploiter pleinement le potentiel des LLM en entreprise.
Dans un projet LLM bien structuré, chaque prompt envoyé au modèle s’appuie sur des instructions déjà existantes, garantissant cohérence et efficacité. Voici quelques exemples qui permettent de comprendre un aspect majeur de la méthodologie. Les instructions transverses sont isolées dans des fichiers spécifiques afin de faciliter leur usage dans différents contextes.
En tenant compte des instructions du fichier instructions/audit.md et des notes d’atelier, merci de rédiger la partie « Sécurité réseau » du rapport. Précise les points d’étonnement et propose des axes d’amélioration.
À partir des consignes de segmentation décrites dans instructions/tickets.md, rédige les tickets pour la migration du service X. Utilise les exemples fournis et adapte-les au contexte du projet.
En t’appuyant sur le plan détaillé du fichier 00-plan.md et les alternatives déjà listées, synthétise les solutions du marché adaptées à notre contexte. Ajoute des précisions issues des recherches récentes.
Relis la section « Déploiement » en te référant aux instructions de validation du fichier instructions/validation.md. Signale toute incohérence ou point à clarifier.
Cette approche méthodique, où chaque prompt fait référence à des instructions précises, permet d’obtenir des résultats fiables, cohérents et adaptés au contexte du projet. C’est la clé pour exploiter pleinement la puissance des LLM en entreprise.
L’analyse des projets menés avec les LLM fait émerger plusieurs enseignements majeurs :
1. La qualité des prompts détermine la qualité des résultats Un prompt précis, structuré et contextualisé permet d’obtenir des réponses pertinentes, exploitables et adaptées au besoin. À l’inverse, une consigne floue ou incomplète conduit à des résultats décevants, voire à des erreurs ou des hallucinations du modèle.
2. La méthodologie est la clé de la réussite Les projets couronnés de succès sont ceux qui s’appuient sur une préparation rigoureuse : définition du contexte, rédaction d’instructions détaillées, découpage en étapes simples, validation progressive. L’itération et l’ajustement des prompts sont essentiels pour converger vers une solution fiable.
3. L’humain reste indispensable Même avec des LLM puissants, la validation humaine est incontournable. Les experts doivent relire, tester, ajuster et enrichir les livrables générés. L’IA accélère la production, mais ne remplace pas l’analyse critique et l’expérience métier.
4. Les limites et risques à anticiper Les LLM peuvent produire des réponses hors sujet, incohérentes ou biaisées si le contexte est mal posé. Il est donc crucial de tester les résultats, de documenter les choix et de rester vigilant face aux dérives potentielles.
5. Chaque fonctionnalité est documentée Dans cette méthodologie il est très naturel de mettre à jour la documentation à chaque jalon. En effet, les LLM enrichissent le contexte au fur et à mesure des prompts et savent parfaitement en faire la synthèse. De plus, le courage des LLM leur permet de faire des belles illustrations au format SVG à inclure dans la documentation. Ce format est performant pour s'adapter au différentes résolutions, et il est facile à animer pour renforcer la conviction visuelle.
Le prompt engineering n’est pas une simple technique : c’est une démarche structurée, qui s’apprend et se perfectionne. C’est en cultivant cette méthode que l’on tire le meilleur parti des LLM, tout en gardant le contrôle sur la qualité et la pertinence des résultats. L’expérience acquise sur ces projets montre que l’IA générative ne remplace pas l’expertise humaine : elle l’augmente, à condition d’adopter une démarche structurée et rigoureuse. Le prompt engineering s’impose comme la compétence clé pour exploiter la puissance des LLM, en garantissant la pertinence, la fiabilité et l’utilité des résultats. Les succès sont au rendez-vous lorsque la méthode est au centre du processus, que les instructions sont claires et que l’humain reste maître de la validation. L’aventure ne fait que commencer : il appartient à chaque équipe d’expérimenter, d’apprendre et d’inventer ses propres pratiques pour façonner l’avenir du travail avec l’IA.