MemSlides expliqué : un agent IA piloté par la mémoire pour la génération de présentations personnalisées et l'édition locale
Découvrez comment MemSlides exploite la mémoire des profils utilisateur, la mémoire de travail, la mémoire des outils et la capacité de révision locale pour générer des présentations personnalisées et prendre en charge des éditions multi-tours fiables.
MemSlides : Un agent IA piloté par la mémoire pour la génération personnalisée de diapositives et l'édition multi-tours
Introduction
Les outils de présentation basés sur l'IA excellent dans la production d'une première ébauche. La partie la plus difficile commence après.
Un utilisateur peut demander moins de texte, plus de diagrammes, un rythme visuel différent, ou une modification d'un petit élément sur une seule diapositive. Dans de nombreux systèmes, chaque nouvelle instruction risque d'écraser les préférences antérieures ou d'endommager un contenu déjà correct.
MemSlides aborde la création de présentations comme un processus d'écriture continu et avec état, plutôt qu'une tâche de conversion en un clic. Développé par des chercheurs de l'Université des Postes et Télécommunications de Pékin, de l'Université Tsinghua et de l'Université Jiao Tong de Shanghai, ce cadre combine une mémoire hiérarchique avec une édition de diapositives strictement ciblée.
Le système est conçu pour mémoriser les préférences stables d'un projet à l'autre, conserver les instructions temporaires au sein du diaporama en cours, réutiliser les stratégies d'édition efficaces et ne modifier que la région que l'utilisateur a réellement demandé à changer.
L'article MemSlides a atteint la première position dans les Hugging Face Daily Papers, tandis que le projet a également publié un dépôt open source, une page de projet et une démo en ligne.
MemSlides : Générer des diapositives ne suffit pas
Le travail de présentation est rarement achevé en une seule fois.
Une présentation de recherche peut nécessiter plusieurs cycles de révisions après les retours d'un superviseur. Un pitch commercial peut subir des modifications répétées de son histoire, de l'accent mis sur les données, de la hiérarchie visuelle et de l'appel à l'action final. Les préférences ne deviennent souvent claires qu'après que les utilisateurs aient vu la première version.
Cela crée trois exigences pratiques pour un agent de diapositives IA :
- Il doit se souvenir des préférences qui restent stables à travers différentes tâches de présentation.
- Il doit conserver les règles temporaires qui ne s'appliquent qu'au diaporama en cours.
- Il doit comprendre les limites d'une édition locale et éviter de réécrire un contenu sans rapport.
MemSlides ne résout pas ce problème en plaçant l'intégralité de l'historique de conversation dans une invite de plus en plus longue. Au lieu de cela, il sépare la mémoire par durée de vie et par fonction.
La conception de la mémoire hiérarchique
MemSlides utilise deux durées de vie de mémoire :
- La mémoire à long terme persiste à travers les tâches de présentation.
- La mémoire de travail reste active pendant le diaporama en cours et ses cycles de révision.
La mémoire à long terme est ensuite divisée par fonction :
- La mémoire du profil utilisateur enregistre les préférences récurrentes de l'utilisateur.
- **L'outil
memory stocke des expériences d'édition et d'exécution réutilisables.
Le résultat est un système en couches dans lequel l'agent peut distinguer une préférence permanente d'une requête temporaire, tout en séparant le style de présentation des connaissances opérationnelles d'édition.
| Composante mémoire | Durée de vie | Objectif principal | Exemple |
|---|---|---|---|
| Mémoire du profil utilisateur | Tous projets | Stocke des préférences stables et conscientes de l'intention | Préfère une faible densité textuelle et des explications visuelles |
| Mémoire de travail | Jeu actuel | Conserve les règles temporaires et l'état de révision actif | Les nouvelles diapositives de ce jeu doivent utiliser des titres bleus |
| Mémoire d'outils | Toutes éditions similaires | Réutilise des procédures d'édition réussies | Une séquence fiable pour modifier un graphique sans affecter la mise en page |
Lors d'une nouvelle tâche, MemSlides utilise le matériel source, un modèle optionnel et les mémoires de profil pertinentes pour créer le premier jeu de diapositives. Lorsque de nouveaux retours arrivent, il met à jour l'état de la session en cours et effectue une révision localisée plutôt que de régénérer automatiquement l'ensemble de la présentation.
Mémoire du Profil Utilisateur : Apprendre des Préférences de Présentation Stables
La personnalisation est souvent réduite à une description de rôle basique, comme "chercheur académique", "analyste financier" ou "fondateur de startup". Cette information est utile, mais elle ne décrit pas complètement comment une personne préfère communiquer.
Deux chercheurs peuvent vouloir des présentations très différentes. L'un peut préférer une seule conclusion par diapositive et un minimum d'équations. Un autre peut vouloir des dérivations détaillées, des conditions expérimentales et des preuves justificatives denses.
MemSlides organise la mémoire du profil utilisateur autour de l'intention de présentation et de plusieurs dimensions de préférence :
- Thème
- Contenu
- Style visuel
- Mise en page
- Utilisation de modèles
- Habitudes générales de présentation
Au début d'un nouveau travail, l'agent récupère les éléments du profil qui correspondent à l'intention actuelle. Il les concilie ensuite avec la dernière demande de l'utilisateur et tout modèle spécifique à la tâche.
Comment les Préférences Influencent la Première Ébauche
La mémoire du profil utilisateur influence la présentation initiale, ou ronde zéro.
Au lieu de diviser mécaniquement un article ou un document en un nombre fixe de diapositives, l'agent peut utiliser le profil actif pour décider :
- Quels concepts nécessitent une définition précoce
- Combien de preuves doivent apparaître sur chaque diapositive
- Si les mécanismes nécessitent des diagrammes
- Quelle quantité de texte est acceptable
- Si les conclusions doivent apparaître avant les détails
- Si la dernière diapositive doit inclure des actions ou une liste de contrôle
Cela rend
partie personnalisation de la planification et de la mise en page du contenu, et non pas simplement un changement de couleurs ou de polices.
Comment les préférences stables sont consolidées
Toutes les instructions ne doivent pas devenir une préférence permanente.
Par exemple, un utilisateur peut demander des titres en bleu pour une présentation parce que cela correspond à la marque d'un client. MemSlides ne doit pas en conclure que l'utilisateur préfère toujours les titres en bleu.
À la fin d'une tâche, le système ne consolide que les signaux d'interaction considérés comme stables et réutilisables. Les choix temporaires restent dans le travail en cours plutôt que d'être automatiquement écrits dans le profil à long terme.
Cette distinction permet d'éviter deux échecs courants :
- Demander aux utilisateurs de répéter les préférences de base pour chaque projet
- Traiter des instructions ponctuelles comme des habitudes personnelles permanentes
Mémoire de travail : maintenir les instructions temporaires actives
Certaines instructions sont importantes tout au long d'une présentation mais doivent disparaître lorsque ce travail se termine.
Considérez cette demande :
« Si une nouvelle diapositive est ajoutée ultérieurement, son titre doit également être bleu. »
L'instruction peut ne pas être pertinente lors du cycle d'édition en cours car aucune diapositive n'est ajoutée. Un agent sans état peut facilement l'oublier. MemSlides stocke l'instruction dans la mémoire de travail afin qu'elle reste active jusqu'à ce qu'un cycle ultérieur crée une nouvelle diapositive.
La mémoire de travail suit des informations telles que :
- Les préférences temporaires de présentation
- Les contraintes spécifiques à la session
- L'objectif actuel de la présentation
- Les régions précédemment éditées
- Les vérifications inachevées
- L'historique des révisions et l'état actif
Cela transforme une séquence d'invites isolées en une édition continue du même jeu de diapositives.
La mémoire de travail est également utile lorsqu'une instruction doit remplacer une préférence à long terme. Pour la tâche en cours, le retour explicite de l'utilisateur a la priorité. Le système peut donc appliquer une exception temporaire sans réécrire le profil persistant de l'utilisateur.
Mémoire d'outils : réutiliser une expérience d'édition fiable
Comprendre une demande ne garantit pas qu'un agent puisse l'exécuter en toute sécurité.
Une petite modification de diapositive peut impliquer la sélection du bon élément, la modification de la propriété correcte, la préservation de l'alignement, la mise à jour de la représentation sous-jacente, le rendu du résultat et la vérification que rien d'autre n'a bougé.
Un agent peut échouer en :
- Sélectionnant la mauvaise région
- Modifiant le mauvais code ou objet
- Appliquant une modification plus large que demandée
- S'arrêtant avant que le changement ne soit terminé
- Répétant une séquence d'outils qui a précédemment échoué
La mémoire d'outils se concentre sur cette couche d'exécution.
MemSlides enregistre deux types d'expérience :
- L'expérience de tâche au niveau du cycle, qui résume les leçons, les erreurs et les modèles utiles d'un cycle d'édition.
- L'expérience de chaîne d'outils au niveau de l'opération, qui stocke des séquences compactes de raisonnement, d'appels d'outils et d'observations pour une réutilisation lors d'opérations similaires.
Les résultats montrent un taux d'achèvement en boucle fermée plus élevé, un taux de vérification stricte plus fort et un temps moyen beaucoup plus court avant la première modification correcte lorsque la mémoire des outils est utilisée.
Ces chiffres proviennent d'un cadre de diagnostic contrôlé impliquant neuf paires de modifications appariées. Ils ne doivent pas être interprétés comme une preuve que MemSlides surpassera toutes les alternatives dans toutes les tâches de présentation. L'étude est plus ciblée : elle teste si l'expérience réutilisable des outils améliore l'édition locale dans des conditions appariées.
Exécuter MemSlides Localement
Le projet est open source sous licence Apache 2.0. Le dépôt officiel fournit à la fois une installation à partir des sources et un workflow Docker.
Installer à Partir des Sources
sudo apt-get update
sudo apt-get install -y libreoffice fontconfig fonts-noto-cjk poppler-utils
conda env create -f environment.yml
conda activate memslides
pip install -e ".[research]"
python -m playwright install chromium ffmpeg
python -m memslides.experiment --help
Exécutez la suite de tests minimale intégrée :
python -m memslides.experiment run smoke_minimal \
--output-base .memslides/experiments \
--parallel 1
Exécuter avec Docker
docker compose build
docker compose run --rm memslides python -m memslides.experiment run smoke_minimal \
--output-base /app/.cache/memslides/experiments \
--parallel 1
La suite smoke_minimal est conçue comme une petite exécution de vérification. Les vraies expériences de génération nécessitent des identifiants de modèle et de service fournis par l'utilisateur.
Conservez les identifiants en dehors du dépôt. Le projet prend en charge les variables d'environnement, les fichiers .env et la configuration YAML privée sélectionnée via MEMSLIDES_CONFIG_FILE ou --config.
Pourquoi la Conception de MemSlides est Importante au-delà de la Génération de PPT
Le même problème de mémoire apparaît dans de nombreux workflows d'agents de longue durée.
Un agent documentaire doit préserver les préférences rédactionnelles sans traiter chaque modification comme permanente. Un agent de codage doit se souvenir des conventions du projet tout en séparant les instructions temporaires spécifiques à une branche. Un agent d'analyse de données doit retenir
L'objectif actuel tout en réutilisant des procédures d'outils fiables.
MemSlides illustre un principe de conception plus large :
- Les préférences persistantes de l'utilisateur doivent être séparées de l'état de la session.
- L'état de la session doit survivre à plusieurs tours.
- L'expérience d'exécution doit être stockée indépendamment des préférences utilisateur.
- Les requêtes locales doivent opérer dans des limites explicites.
- La vérification doit avoir lieu avant qu'une révision ne soit considérée comme terminée.
La valeur du framework ne se limite donc pas à la création de diapositives attrayantes. Il offre un exemple concret de la façon dont un agent peut passer d'une génération unique à une collaboration itérative fiable.
FAQ
Qu'est-ce que MemSlides ?
MemSlides est un agent de présentation piloté par la mémoire pour la génération personnalisée de diapositives et la révision locale multi-tours. Il combine la mémoire du profil utilisateur, la mémoire de travail, la mémoire des outils et un workflow d'édition délimité.
MemSlides est-il un générateur de PowerPoint IA ?
Oui, mais son objectif principal va au-delà de la production d'une première ébauche. Il est conçu pour se souvenir des préférences, transporter les instructions entre les cycles de révision et modifier des zones limitées de diapositives sans reconstruire inutilement l'ensemble du deck.
Que stocke la mémoire du profil utilisateur ?
La mémoire du profil utilisateur stocke les préférences récurrentes organisées par intention de présentation et par dimensions telles que le thème, le contenu, le style visuel, la mise en page, l'utilisation de modèles et les habitudes générales. Seuls les éléments de profil pertinents sont acheminés vers une nouvelle tâche.
Quelle est la différence entre la mémoire de travail et la mémoire à long terme ?
La mémoire à long terme persiste entre les projets de présentation et contient des préférences utilisateur stables et une expérience d'outil réutilisable. La mémoire de travail appartient au deck actuel et suit les instructions temporaires, les contraintes actives et l'état de révision.
Comment MemSlides évite-t-il de modifier le contenu de diapositives non concernées ?
Il utilise une révision locale délimitée au niveau de la diapositive. Le système identifie la plus petite zone affectée, effectue une modification minimale et vérifie la couverture avant de terminer le cycle.
MemSlides peut-il être exécuté avec Docker ?
Oui. Le dépôt officiel inclut des fichiers Docker Compose et une commande pour exécuter la suite de tests intégrée à l'intérieur d'un conteneur.
MemSlides nécessite-t-il des clés API ?
Les expériences de génération réelles nécessitent des identifiants pour les modèles et services sélectionnés par l'utilisateur. Le dépôt recommande de les stocker dans des variables d'environnement, un fichier .env ou des fichiers de configuration privés plutôt que de les inclure dans Git.
MemSlides est-il open source ?
Oui. Le code source est disponible sur GitHub sous la licence Apache 2.0. Les auteurs fournissent également une page de projet, un article, une démo en ligne et une page d'article sur Hugging Face.
Outils connexes
- Démo MemSlides : L'espace de travail officiel en ligne pour essayer le workflow de génération personnalisée de diapositives.
- MemSlides GitHub : L'implémentation open source, les fichiers de configuration, l'exécuteur d'expériences et la configuration Docker.
- Page du projet MemSlides : Un aperçu du framework, des composants mémoire, des exemples et des résultats.
- Docker : Exécute le projet et ses dépendances dans un environnement conteneurisé reproductible.
- LibreOffice : Utilisé pour la manipulation et la conversion de documents.
libreoffice.org/): Utilisé par le workflow local pour la présentation et le traitement de documents.
- Playwright : Fournit l'automatisation du navigateur utilisée par le workflow de configuration du projet et de rendu.
Liens associés
- Article MemSlides sur arXiv : L'article de recherche officiel décrivant le cadre et les expériences.
- Version HTML de MemSlides sur arXiv : Une version lisible dans un navigateur de l'article complet.
- MemSlides sur Hugging Face : La page de l'article, les discussions communautaires et les liens vers le projet.
- Dépôt GitHub de MemSlides : Code source, commandes d'installation, fichiers Docker et outils d'expérimentation.
- Site web du projet MemSlides : Explication visuelle de la mémoire de profil, de la mémoire de travail et de la révision locale.
- Démo en direct de MemSlides : L'interface web officielle pour tester le système.
- Licence Apache 2.0 : La licence utilisée par le dépôt open source.
Résumé
MemSlides considère la création de diapositives comme un processus d'écriture continu plutôt qu'une demande de génération unique. Sa mémoire hiérarchique sépare les préférences stables de l'utilisateur, les instructions temporaires au niveau du jeu de diapositives et l'expérience d'édition réutilisable.
Le workflow de révision ciblée limite ensuite chaque modification à la plus petite région nécessaire et vérifie le résultat avant de terminer le cycle. Dans les expériences de paires appariées diagnostiques de l'article, la mémoire de l'outil a amélioré l'achèvement et la vérification tout en réduisant le temps nécessaire pour parvenir à une édition correcte.
L'idée centrale est simple : un agent de présentation utile doit se souvenir des bonnes informations, oublier les détails temporaires au bon moment et ne modifier que ce que l'utilisateur a réellement demandé de modifier.