Pourquoi les histoires générées par IA oublient, et ce qu'il faut pour qu'elles se souviennent

L'explication habituelle : le modèle a manqué de contexte. Elle est rassurante, facile à répéter, et globalement fausse. Les modèles actuels peuvent tenir un roman entier dans leur fenêtre de contexte. L'histoire s'effondre quand même.

Elle s'effondre parce qu'une transcription n'est pas une mémoire. Ce sont deux choses différentes, et les confondre est le vrai problème.

Une transcription est un tas, pas un modèle

Si vous recollez quarante chapitres dans un modèle et demandez la suite, vous lui demandez de redéduire l'état complet du monde à partir de la prose, à chaque tour. Qui est vivant. Qui sait quoi. Qui fait confiance à qui, et combien moins qu'au chapitre quatre. Où se trouve physiquement chacun. Quelle heure il est.

Cette déduction n'est ni gratuite ni stable. C'est une inférence, et les inférences varient. Passez deux fois les mêmes quarante chapitres et vous pouvez obtenir deux réponses différentes sur le fait qu'un personnage ait appris ou non la vérité au sujet de son frère. Le modèle ne se souvient pas. Il relit et devine, et il devine un peu différemment à chaque fois.

Le problème n'est pas que le modèle oublie. C'est que rien n'a jamais écrit le fait quelque part.

C'est pour cela que l'agrandissement des fenêtres de contexte continue de décevoir ceux qui écrivent de la fiction longue. Il agrandit le tas. Il n'en fait pas un registre.

Les pannes n'ont pas l'air de pannes

La chose la plus difficile que nous ayons apprise en construisant tout cela : on ne trouve pas ces problèmes en lisant le texte produit. Nous n'avons commencé à les voir qu'en mesurant l'histoire au lieu de la juger, et presque rien de ce que nous avons trouvé n'était ce que nous attendions.

Le motif se répète : la prose reste bonne pendant que la mécanique en dessous cesse discrètement de fonctionner. Un chapitre se lit très bien et décrit un monde que personne n'a mis à jour. Une étape échoue et l'histoire continue sans heurt sur des informations périmées, parce que continuer sans heurt est précisément ce que ces systèmes font le mieux. Rien ne lève d'erreur. Rien n'a l'air cassé. L'histoire cesse simplement, peu à peu, de parler de quoi que ce soit.

C'est une catégorie de bug plus vicieuse qu'un plantage, et c'est la raison pour laquelle nous avons investi dans la mesure avant les fonctionnalités. Un système qui échoue bruyamment se fait corriger. Un système qui échoue poliment part en production.

Ce que nous avons changé

La forme générale du correctif : cesser de demander au modèle de se souvenir, et tenir un vrai registre à la place.

Dans la plupart des systèmes de fiction IA, le modèle possède le monde : il lit l'histoire et réécrit son propre résumé de ce qui est vrai. Ce résumé est de la prose, donc la réécriture suivante est une inférence posée sur une inférence, et l'erreur se compose jusqu'à ce que plus rien n'y soit fiable.

Nous gardons l'état du monde sous forme de données structurées que l'histoire met à jour délibérément, plutôt que comme quelque chose à redeviner depuis le texte à chaque tour. Le relire est une consultation, pas une interprétation. La conséquence pratique est celle qui compte : la cohérence cesse d'être une qualité qu'on espère pour devenir une propriété qu'on peut vérifier, et un changement qui dégrade l'histoire peut être attrapé au lieu d'être discuté.

Ce qui casse encore

L'honnêteté vaut mieux qu'une conclusion propre, alors : beaucoup de choses. Un monde peut énoncer une règle qu'un chapitre enfreint ensuite, et rien ne le ramène encore dans le rang. Le temps et le lieu sont suivis quand l'histoire les énonce, pas quand elle se contente de les impliquer : un chapitre peut donc décrire un voyage de deux jours pendant que l'horloge bouge à peine. Et une partie assez longue accumule un historique dont nous n'avons pas encore prouvé que la croissance reste maîtrisée.

Mais ce sont désormais des problèmes précis, reproductibles et attribués, plutôt qu'une impression générale que l'histoire s'est dégradée. C'est la différence qu'achète le registre, et l'essentiel de la valeur tient dans ce changement de catégorie.

Pourquoi cela compte si vous voulez juste lire

Parce que ce qui rend une longue histoire digne d'être lue, c'est que les choix précédents continuent de compter. Si le monde se réinitialise tous les quelques chapitres, vos décisions n'ont jamais été des décisions. C'était de la mise en scène.

Nostyss est construit autour de ce pari unique : l'intérêt de la fiction interactive n'est pas l'embranchement, que tout le monde propose, mais la mémoire, que presque personne ne réussit.

Pour vérifier tout cela vous-même, nos cinq tests de mémoire prennent une soirée. Deux des problèmes ci-dessus ont leur propre article : pourquoi les corrections ne tiennent pas et qui sait quoi.

Vérifiez si le monde se souvient vraiment

Dix mondes que vous pouvez lancer sans compte. Jouez quelques chapitres, contredisez quelque chose que vous aviez établi plus tôt, et regardez ce que le monde en fait. C'est la façon honnête de juger tout cela.

À lire ensuite