MemSlides: Агент ИИ на основе памяти для персонализированной генерации слайдов и многоэтапного редактирования

Введение

Инструменты ИИ для презентаций хороши в создании первого черновика. Самое сложное начинается после этого.

Пользователь может попросить меньше текста, больше диаграмм, другой визуальный ритм или изменить один маленький элемент на отдельном слайде. Во многих системах каждое новое указание рискует перезаписать предыдущие предпочтения или повредить уже корректный контент.

MemSlides подходит к созданию презентаций как к непрерывному процессу авторской работы с сохранением состояния, а не как к задаче создания одним кликом. Разработанный исследователями из Пекинского университета почты и телекоммуникаций, Университета Цинхуа и Шанхайского университета Цзяо Тун, фреймворк объединяет иерархическую память с точно ограниченным редактированием слайдов.

Система разработана для запоминания стабильных предпочтений между проектами, сохранения временных инструкций в рамках текущей презентации, повторного использования успешных стратегий редактирования и изменения только той области, которую пользователь действительно попросил изменить.

Статья MemSlides достигла первой позиции в Hugging Face Daily Papers, а проект также выпустил репозиторий с открытым исходным кодом, страницу проекта и онлайн-демо.

MemSlides: Генерации слайдов недостаточно

Работа над презентацией редко завершается за один проход.

Научная презентация может потребовать нескольких раундов доработок после отзыва руководителя. Бизнес-презентация может претерпевать многократные изменения в сюжете, акцентах на данных, визуальной иерархии и финальном призыве к действию. Предпочтения часто становятся ясны только после того, как пользователи увидят первую версию.

Это создает три практических требования для ИИ-агента по работе со слайдами:

1. Он должен запоминать предпочтения, которые остаются стабильными в разных задачах презентации.
2. Он должен сохранять временные правила, применимые только к текущей презентации.
3. Он должен понимать границы локального редактирования и избегать перезаписи несвязанного контента.

MemSlides решает эту проблему не путем помещения всей истории диалога в один постоянно удлиняющийся промпт. Вместо этого он разделяет память по сроку жизни и функции.

Дизайн иерархической памяти

MemSlides использует два срока жизни памяти:

• Долговременная память сохраняется между задачами по созданию презентаций.
• Рабочая память остается активной во время работы над текущей презентацией и ее циклами редактирования.

Долговременная память далее делится по функции:

• Память профиля пользователя записывает повторяющиеся предпочтения пользователя.
• Инструмент

memory** хранит повторно используемый опыт редактирования и выполнения.

Результатом является многоуровневая система, в которой агент может отличать постоянные предпочтения от временных запросов, а также отделять стиль представления от операционных знаний редактирования.

Компонент памяти	Срок жизни	Основная цель	Пример
Память профиля пользователя	Между проектами	Хранит стабильные предпочтения, учитывающие намерения	Предпочитает низкую плотность текста и визуальные объяснения
Рабочая память	Текущая колода	Хранит временные правила и активное состояние ревизии	Новые слайды в этой колоде должны иметь синие заголовки
Память инструментов	Между похожими правками	Повторно использует успешные процедуры редактирования	Надежная последовательность для изменения одной диаграммы без влияния на макет

Во время выполнения новой задачи MemSlides использует исходный материал, необязательный шаблон и соответствующие профили памяти для создания первой колоды. Когда поступает новая обратная связь, система обновляет текущее состояние сеанса и выполняет локализованную ревизию, а не автоматически перегенерирует всю презентацию.

Память профиля пользователя: Изучение стабильных предпочтений презентации

Персонализация часто сводится к базовому описанию роли, например, "научный исследователь", "финансовый аналитик" или "основатель стартапа". Эта информация полезна, но она не полностью описывает, как человек предпочитает общаться.

Два исследователя могут захотеть совершенно разные презентации. Один может предпочитать один вывод на слайд и минимум формул. Другой может захотеть подробные выкладки, условия эксперимента и обширные подтверждающие данные.

MemSlides организует память профиля пользователя вокруг намерения презентации и нескольких измерений предпочтений:

• Тема
• Содержание
• Визуальный стиль
• Макет
• Использование шаблонов
• Общие привычки презентации

В начале новой работы агент извлекает элементы профиля, соответствующие текущему намерению. Затем он согласовывает их с последним запросом пользователя и любым специфичным для задачи шаблоном.

Как предпочтения попадают в первый черновик

Память профиля пользователя влияет на начальную, или нулевую, презентацию.

Вместо механического разбиения документа или статьи на фиксированное количество слайдов агент может использовать активный профиль для принятия решений:

• Какие концепции требуют раннего определения
• Сколько информации должно быть на каждом слайде
• Нужны ли схемы для механизмов
• Какое количество текста приемлемо
• Должны ли выводы появляться до деталей
• Должен ли последний слайд включать действия или контрольный список

Это делает

часть персонализации планирования контента и макета, а не просто изменение цветов или шрифтов.

Как закрепляются стабильные предпочтения

Не каждая инструкция должна становиться постоянным предпочтением.

Например, пользователь может запросить синие заголовки для одной презентации, потому что это соответствует бренду клиента. MemSlides не должен делать вывод, что пользователь всегда предпочитает синие заголовки.

В конце задачи система закрепляет только те сигналы взаимодействия, которые считаются стабильными и пригодными для повторного использования. Временные решения остаются в рамках текущей задачи, а не автоматически записываются в долгосрочный профиль.

Это различие помогает предотвратить два распространенных сбоя:

• Просьба к пользователям повторять базовые предпочтения для каждого проекта
• Рассмотрение одноразовых инструкций как постоянных личных привычек

Рабочая память: сохранение временных инструкций

Некоторые инструкции важны в течение одной презентации, но должны исчезать после завершения этой задачи.

Рассмотрим такой запрос:

«Если позже будет добавлен новый слайд, его заголовок также должен быть синим.»

Инструкция может быть неактуальна во время текущего сеанса редактирования, так как никакой слайд не добавляется. Агент без состояния может легко её забыть. MemSlides сохраняет инструкцию в рабочей памяти, чтобы она оставалась активной до тех пор, пока в последующем сеансе не будет создан новый слайд.

Рабочая память отслеживает такую информацию, как:

• Временные предпочтения для презентации
• Ограничения, специфичные для сеанса
• Текущая цель презентации
• Ранее отредактированные области
• Незавершённые проверки
• История изменений и текущее состояние

Это превращает последовательность изолированных запросов в непрерывное редактирование одной и той же презентации.

Рабочая память также полезна, когда инструкция должна переопределить долгосрочное предпочтение. Для текущей задачи явная обратная связь от пользователя имеет приоритет. Таким образом, система может применить временное исключение, не перезаписывая постоянный профиль пользователя.

Инструментальная память: повторное использование надёжного опыта редактирования

Понимание запроса не гарантирует, что агент сможет безопасно его выполнить.

Небольшое редактирование слайда может включать выбор правильного элемента, изменение правильного свойства, сохранение выравнивания, обновление базового представления, рендеринг результата и проверку того, что ничего другого не сдвинулось.

Агент может допустить ошибку:

• Выбрав не ту область
• Изменив не тот код или объект
• Применив более широкое редактирование, чем требовалось
• Остановившись до завершения изменения
• Повторив последовательность инструментов, которая ранее привела к сбою

Инструментальная память сосредоточена на этом уровне выполнения.

MemSlides записывает два вида опыта:

1. Опыт задачи на уровне сеанса, который обобщает уроки, ошибки и полезные шаблоны из сеанса редактирования.
2. Опыт цепочки инструментов на уровне операций, который хранит компактные последовательности рассуждений, вызовов инструментов и наблюдений для повторного использования при аналогичных операциях.

![Изображение иллюстрирует два типа памяти агента в MemSlides: Task Experience и Tool Chain Experience. Task Exper

Опыт и инструментальная память

Опыт включает в себя занятия агента, ошибки инструментов и автоматическое извлечение. Через предварительную загрузку он попадает в рабочую память (WM), проходит несколько циклов изменений и в конечном итоге завершает задание. Цепочка инструментального опыта фиксирует опыт работы с инструментами на уровне операций, включая несколько операционных циклов, каждый из которых содержит этапы рассуждения, вызова инструмента, наблюдения и т. д., что в итоге формирует инструментальную память. Эта схема тесно связана с контекстом и наглядно демонстрирует типы памяти и рабочие процессы, упомянутые в контексте.

Память профиля пользователя определяет, каким должно стать представление. Инструментальная память помогает определить, как надежно внести эти изменения.

Агент может извлечь соответствующий опыт перед попыткой аналогичного редактирования, сокращая количество повторяющихся ошибок и ненужных проб и ошибок.

Локальное редактирование на уровне слайда: изменение только запрошенного

Основной риск в многоэтапном редактировании презентаций — избыточное редактирование.

Когда пользователь просит изменить одну метку, диаграмму или абзац, система, переписывающая весь слайд или всю колоду, может случайно изменить правильные формулы, цвета, интервалы или контент.

MemSlides вводит локальный процесс редактирования на уровне слайда, состоящий из трех этапов:

1. Планирование

Система преобразует запрос пользователя в контракт на выполнение. Он определяет:

• Является ли редактирование локальным или глобальным
• Какие слайды затронуты
• Наименьшую целевую область
• Активные правила и подсказки селектора
• Требования к проверке

2. Действие

Агент применяет минимальное эффективное изменение. В зависимости от задачи это может быть локальный патч, узконаправленное обновление стиля или вставка/удаление конкретной страницы.

3. Защита

Перед завершением цикла редактирования система проверяет, была ли обновлена запрошенная цель и не были ли изменены несвязанные области. Если охват неполный, цикл блокируется, и агент должен повторить попытку.

Этот механизм защищает уже правильный контент.

Приведенный ниже пример сравнивает полное переписывание всего слайда с локальным патчем MemSlides. Запрошенное изменение затрагивает один элемент в нижней части слайда. Полное переписывание изменяет цвета, удаляет блок формул и изменяет макет, в то время как локальный патч обновляет только цель.

Экспериментальные результаты

Оценка MemSlides проверяет не только то, состоялось ли редактирование в конечном итоге. Она также измеряет, проходит ли редактирование строгую проверку и насколько быстро система достигает первого правильного результата.

Персонализация и поведение рабочей памяти

В статье сообщается, что память профиля пользователя улучшает соответствие образу в первом раунде генерации. Система использует предпочтения, соответствующие намерениям, а не применяет...

один фиксированный профиль для каждой задачи.

Качественные примеры рабочей памяти также показывают, что предпочтение, введенное на раннем этапе, может оставаться активным и проявиться позже, даже если оно не повторяется в последующих обратных связях.

Абляция инструментальной памяти

Исследовательская группа протестировала инструментальную память с помощью диагностической схемы с парными сравнениями. Каждая пара использовала один и тот же исходный набор, модель, персону и запрошенное редактирование. Основное различие заключалось в том, была ли внедрена инструментальная память.

Метрика	С инструментальной памятью	Без инструментальной памяти
Завершение в замкнутом цикле	0,963	0,815
Строгая проверка	0,534	0,310
Время первого правильного редактирования	242,5 секунды	609,5 секунд
Коэффициент времени основного инструмента	0,327×	1,000×

Результаты показывают более высокий уровень завершения в замкнутом цикле, более высокий уровень строгой проверки и гораздо более короткое среднее время до первого правильного редактирования при использовании инструментальной памяти.

Эти цифры получены в контролируемом диагностическом сценарии с девятью парными модификациями. Их не следует интерпретировать как доказательство того, что MemSlides превзойдет все альтернативы в каждой презентационной задаче. Исследование более узкое: оно проверяет, улучшает ли повторно используемый инструментальный опыт локальное редактирование в сопоставимых условиях.

Запуск MemSlides локально

Проект имеет открытый исходный код под лицензией Apache 2.0. Официальный репозиторий предоставляет как установку из исходного кода, так и рабочий процесс с Docker.

Установка из исходного кода

sudo apt-get update
sudo apt-get install -y libreoffice fontconfig fonts-noto-cjk poppler-utils

conda env create -f environment.yml
conda activate memslides
pip install -e ".[research]"

python -m playwright install chromium ffmpeg
python -m memslides.experiment --help

Запустите встроенный набор проверки "дыма":

python -m memslides.experiment run smoke_minimal \
  --output-base .memslides/experiments \
  --parallel 1

Запуск с помощью Docker

docker compose build
docker compose run --rm memslides python -m memslides.experiment run smoke_minimal \
  --output-base /app/.cache/memslides/experiments \
  --parallel 1

Набор smoke_minimal предназначен для небольшой проверки. Для реальных экспериментов по генерации требуются учетные данные модели и сервиса, предоставленные пользователем.

Храните учетные данные вне репозитория. Проект поддерживает переменные среды, файлы .env и частную конфигурацию YAML, выбираемую через MEMSLIDES_CONFIG_FILE или --config.

Почему дизайн MemSlides важен не только для создания презентаций

Та же проблема с памятью возникает во многих долго работающих агентских рабочих процессах.

Агент по работе с документами должен сохранять писательские предпочтения, не рассматривая каждое редактирование как постоянное. Агент по кодированию должен помнить соглашения проекта, сохраняя при этом временные инструкции для конкретных веток отдельно. Агент по анализу данных должен сохранять

Текущая цель при повторном использовании надёжных процедур работы с инструментами

MemSlides демонстрирует более широкий принцип проектирования:

• Постоянные предпочтения пользователя должны быть отделены от состояния сессии.
• Состояние сессии должно сохраняться на протяжении нескольких раундов.
• Опыт выполнения должен храниться независимо от предпочтений пользователя.
• Локальные запросы должны выполняться в чётко определённых границах.
• Верификация должна проводиться до того, как ревизия будет считаться завершённой.

Поэтому ценность фреймворка не ограничивается созданием привлекательных слайдов. Он представляет собой конкретный пример того, как агент может перейти от одноразовой генерации к надёжному, итеративному взаимодействию.

Часто задаваемые вопросы

Что такое MemSlides?

MemSlides — это агент для создания презентаций, управляемый памятью, предназначенный для персонализированной генерации слайдов и многораундовой локальной ревизии. Он объединяет память профиля пользователя, рабочую память, память инструментов и ограниченный рабочий процесс редактирования.

Является ли MemSlides AI-генератором PowerPoint?

Да, но его основная цель выходит за рамки создания чернового варианта. Он разработан для запоминания предпочтений, передачи инструкций между раундами ревизии и изменения ограниченных областей слайдов без необходимости полной перестройки всей презентации.

Что хранит память профиля пользователя?

Память профиля пользователя хранит повторяющиеся предпочтения, сгруппированные по цели презентации и таким параметрам, как тема, содержание, визуальный стиль, макет, использование шаблонов и общие привычки. В новую задачу передаются только релевантные элементы профиля.

В чем разница между рабочей памятью и долговременной памятью?

Долговременная память сохраняется между проектами презентаций и содержит стабильные предпочтения пользователя и многократно используемый опыт работы с инструментами. Рабочая память относится к текущей презентации и отслеживает временные инструкции, активные ограничения и состояние ревизии.

Как MemSlides избегает изменения нерелевантного содержимого слайдов?

Он использует ограниченную локальную ревизию слайдов. Система определяет наименьшую затронутую область, выполняет минимальное редактирование и проверяет полноту покрытия перед завершением раунда.

Можно ли запустить MemSlides с помощью Docker?

Да. Официальный репозиторий включает файлы Docker Compose и команду для запуска встроенного набора тестов внутри контейнера.

Требует ли MemSlides ключи API?

Для реальных экспериментов по генерации требуются учётные данные для моделей и сервисов, выбранных пользователем. Репозиторий рекомендует хранить их в переменных окружения, файлах .env или частных конфигурационных файлах, а не добавлять их в Git.

Является ли MemSlides открытым исходным кодом?

Да. Исходный код доступен на GitHub под лицензией Apache 2.0. Авторы также предоставляют страницу проекта, статью, онлайн-демонстрацию и страницу статьи на Hugging Face.

Связанные инструменты

• Демонстрация MemSlides: Официальное онлайн-рабочее пространство для опробования персонализированного рабочего процесса создания слайдов.
• MemSlides на GitHub: Реализация с открытым исходным кодом, файлы конфигурации, среда для запуска экспериментов и настройка Docker.
• Страница проекта MemSlides: Обзор фреймворка, компонентов памяти, примеров и результатов.
• Docker: Запускает проект и его зависимости в воспроизводимой контейнерной среде.
• LibreOffice: Используется для конвертации презентаций.

libreoffice.org/): Используется локальным рабочим процессом для создания презентаций и обработки документов.

• Playwright: Обеспечивает автоматизацию браузера, используемую в настройке проекта и рабочем процессе рендеринга.

Связанные ссылки

• Статья о MemSlides на arXiv: Официальная научная статья, описывающая фреймворк и эксперименты.
• HTML-версия статьи MemSlides: Версия полной статьи для чтения в браузере.
• MemSlides на Hugging Face: Страница статьи, обсуждение в сообществе и ссылки на проект.
• Репозиторий MemSlides на GitHub: Исходный код, команды установки, Docker-файлы и инструменты для экспериментов.
• Веб-сайт проекта MemSlides: Визуальное объяснение профильной памяти, рабочей памяти и локальной правки.
• Демо-версия MemSlides Live: Официальный веб-интерфейс для тестирования системы.
• Лицензия Apache 2.0: Лицензия, используемая в открытом репозитории.

Краткое описание

MemSlides рассматривает создание слайдов как непрерывный процесс авторской работы, а не как одноразовый запрос на генерацию. Его иерархическая память разделяет стабильные предпочтения пользователя, временные инструкции на уровне презентации и многократно используемый опыт редактирования.

Ограниченный рабочий процесс правок ограничивает каждое изменение минимально необходимой областью и проверяет результат перед завершением цикла. В диагностических экспериментах с парным сравнением, описанных в статье, память инструмента улучшила завершение и проверку, одновременно сократив время, необходимое для выполнения корректной правки.

Центральная идея проста: полезный агент для презентаций должен запоминать правильную информацию, вовремя забывать временные детали и изменять только то, что пользователь действительно попросил изменить.