Le prompting, c'est de la magie noire (et voici comment dompter la bête)

Les LLM sont plus proches de la magie noire que d'un domaine scientifique. Ce sont des boîtes noires : quelque chose qui marche pour quelqu'un peut ne pas marcher pour toi. Demande à ChatGPT quel nom il se donnerait — chacun obtient une réponse différente. C'est le chaos et l'entropie des LLM, qu'on ne résout que par la patience et l'itération.

Il y a une inégalité fondamentale entre les gens face au prompting, exactement comme certains étaient meilleurs que d'autres à chercher sur Google. Une part d'inné : la clarté, la capacité à découper en micro-tâches. Une part d'acquis : la quantité de prompts, l'itération, et le fait de ne pas s'énerver. Prompter intensément tous les jours améliore ta capacité à te faire comprendre.

les LLM, c'est beaucoup plus proche de la magie noire que de n'importe quel domaine scientifique

Le vrai piège s'appelle la dérivation. Le LLM répond à côté, tu le corriges, il répond encore plus à côté, et tu t'enfonces. On ne résout ça qu'en coupant et en recommençant. Rester des heures dans la même fenêtre est une erreur : tu parles à un type atteint d'Alzheimer, qui oublie le début dès qu'il entend un mot nouveau.

Au fondement de ces dieux, il y a le verbe. 2,7 milliards de pages crawlées, filtrées agressivement, transformées en tokens, puis 15 trillions de tokens injectés dans un transformer. Comprendre l'embedding, la tokenisation et l'entraînement n'est pas de la théorie : c'est ce qui explique pourquoi changer un seul mot change tout le résultat.

tu es en train de parler à un type qui a Alzheimer

Le LLM est un comédien professionnel. Quand il ne sait pas, il invente. Quand il dit « tu as raison, je me suis trompé », c'est du théâtre : aucune conscience, aucune intention, juste une probabilité de token suivant. Il a été entraîné pour avoir l'air vivant. Ceux qui lui posent des questions existentielles récupèrent la soupe biaisée de la science-fiction du web.

La méthode concrète pour écrire un prompt qui te ressemble : donne-lui plusieurs de tes textes, demande-lui d'en déduire un prompt à chaque fois, puis identifie les tokens qui ont le plus d'impact. Ajoute des règles négatives — ce qu'il faut absolument éviter — et coupe la mémoire pour garder un contexte neutre. C'est là que se construit un prompt réellement prédictif.

il a été entraîné pour avoir l'air vivant, mais il ne l'est pas

100% des prompts sont sensibles au mot près. Il n'y a jamais de garantie de vérité, aucun modèle du monde extérieur, aucune compréhension profonde. Utiliser un LLM demande de la rigueur : toujours recommencer, toujours comparer, ne jamais croire qu'il a vraiment lu ton document. Le reste — l'architecture décortiquée, les métaprompts, le chef d'orchestre des systèmes prompts — est derrière la porte.