MemSlides: 맞춤형 슬라이드 생성 및 다중 턴 편집을 위한 메모리 기반 AI 에이전트

소개

AI 프레젠테이션 도구는 초안 작성에 능숙합니다. 더 어려운 부분은 그 이후에 시작됩니다.

사용자는 텍스트를 줄이거나, 다이어그램을 추가하거나, 시각적 리듬을 변경하거나, 단일 슬라이드의 작은 요소 하나만 수정하도록 요청할 수 있습니다. 많은 시스템에서 각각의 새로운 지시는 이전 선호도를 덮어쓰거나 이미 올바른 콘텐츠를 손상시킬 위험이 있습니다.

MemSlides는 프레젠테이션 제작을 원클릭 변환 작업이 아닌 지속적이고 상태를 유지하는 저작 프로세스로 접근합니다. 베이징우전대학교, 칭화대학교, 상하이자오퉁대학교의 연구자들이 개발한 이 프레임워크는 계층적 메모리와 엄격하게 범위가 지정된 슬라이드 편집을 결합합니다.

이 시스템은 프로젝트 전반에 걸쳐 안정적인 선호도를 기억하고, 현재 덱 내에서 임시 지침을 유지하며, 성공적인 편집 전략을 재사용하고, 사용자가 실제로 변경을 요청한 영역만 수정하도록 설계되었습니다.

MemSlides 논문은 Hugging Face Daily Papers에서 1위에 올랐으며, 프로젝트는 오픈소스 저장소, 프로젝트 페이지, 온라인 데모도 공개했습니다.

MemSlides: 슬라이드 생성만으로는 충분하지 않습니다

프레젠테이션 작업은 한 번에 완료되는 경우가 드뭅니다.

연구 프레젠테이션은 지도교수의 피드백을 받은 후 여러 번의 수정 라운드를 거칠 수 있습니다. 비즈니스 피치 덱은 스토리, 데이터 강조, 시각적 계층 구조, 최종 행동 촉구 등에서 반복적인 변경을 겪을 수 있습니다. 사용자들은 첫 번째 버전을 본 후에야 선호도가 명확해지는 경우가 많습니다.

이로 인해 AI 슬라이드 에이전트에는 세 가지 실질적 요구사항이 발생합니다:

1. 다양한 프레젠테이션 작업에서 안정적으로 유지되는 선호도를 기억해야 합니다.
2. 현재 덱에만 적용되는 임시 규칙을 보존해야 합니다.
3. 로컬 편집의 경계를 이해하고 관련 없는 콘텐츠를 다시 작성하지 않아야 합니다.

MemSlides는 전체 대화 기록을 하나의 점점 길어지는 프롬프트에 넣어 이 문제를 해결하지 않습니다. 대신, 수명과 기능에 따라 메모리를 분리합니다.

계층적 메모리 설계

MemSlides는 두 가지 메모리 수명을 사용합니다:

• 장기 메모리는 프레젠테이션 작업 전반에 걸쳐 유지됩니다.
• 작업 메모리는 현재 덱 및 해당 수정 라운드 동안 활성 상태를 유지합니다.

장기 메모리는 기능별로 다시 나뉩니다:

• 사용자 프로필 메모리는 반복되는 사용자 선호도를 기록합니다.
• 도구

memory는 재사용 가능한 편집 및 실행 경험을 저장합니다.

그 결과, 에이전트가 영구적인 선호도와 임시 요청을 구분할 수 있을 뿐만 아니라 프레젠테이션 스타일을 조작적 편집 지식과 분리하여 유지할 수 있는 계층적 시스템이 만들어집니다.

메모리 구성 요소	수명	주요 목적	예시
사용자 프로필 메모리	프로젝트 간	안정적이고 의도 기반의 선호도를 저장	낮은 텍스트 밀도와 시각적 설명을 선호함
작업 메모리	현재 덱	임시 규칙과 활성 수정 상태를 유지	이 덱의 새 슬라이드는 파란색 제목을 사용해야 함
도구 메모리	유사 편집 간	성공적인 편집 절차를 재사용	레이아웃에 영향을 주지 않고 차트 하나를 변경하는 신뢰할 수 있는 순서

새 작업 중에 MemSlides는 원본 자료, 선택적 템플릿 및 관련 프로필 메모리를 사용하여 첫 번째 덱을 생성합니다. 새로운 피드백이 도착하면 현재 세션 상태를 업데이트하고 전체 프레젠테이션을 자동으로 재생성하는 대신 지역화된 수정을 수행합니다.

사용자 프로필 메모리: 안정적인 프레젠테이션 선호도 학습

개인화는 종종 "학술 연구원", "재무 분석가" 또는 "스타트업 창업자"와 같은 기본적인 역할 설명으로 축소됩니다. 그러한 정보는 유용하지만, 개인이 의사소통하는 방식을 완전히 설명하지는 못합니다.

두 명의 연구원이 매우 다른 프레젠테이션을 원할 수 있습니다. 한 명은 슬라이드당 하나의 결론과 최소한의 수식을 선호할 수 있습니다. 다른 한 명은 상세한 유도 과정, 실험 조건 및 방대한 뒷받침 증거를 원할 수 있습니다.

MemSlides는 프레젠테이션 의도와 여러 선호도 차원을 중심으로 사용자 프로필 메모리를 구성합니다:

• 주제
• 콘텐츠
• 시각적 스타일
• 레이아웃
• 템플릿 사용
• 일반적인 프레젠테이션 습관

새 작업을 시작할 때, 에이전트는 현재 의도와 일치하는 프로필 항목을 검색합니다. 그런 다음 이를 사용자의 최신 요청 및 모든 작업별 템플릿과 조정합니다.

선호도가 첫 번째 초안에 반영되는 방식

사용자 프로필 메모리는 초기, 즉 0차 프레젠테이션에 영향을 미칩니다.

에이전트는 논문이나 문서를 기계적으로 고정된 수의 슬라이드로 분해하는 대신 활성 프로필을 사용하여 다음을 결정할 수 있습니다:

• 어떤 개념에 대한 초기 정의가 필요한지
• 각 슬라이드에 얼마나 많은 증거가 나타나야 하는지
• 메커니즘에 다이어그램이 필요한지
• 얼마나 많은 텍스트가 허용되는지
• 결론이 세부 사항 앞에 나와야 하는지
• 마지막 슬라이드에 행동 항목이나 체크리스트가 포함되어야 하는지

이로 인해

콘텐츠 계획 및 레이아웃의 개인화 부분이며, 단순히 색상이나 글꼴을 변경하는 것이 아닙니다.

안정적인 선호도가 통합되는 방식

모든 지시가 영구적인 선호도가 되어서는 안 됩니다.

예를 들어, 사용자가 클라이언트 브랜드에 맞춰 한 프레젠테이션에서 파란색 제목을 요청할 수 있습니다. MemSlides는 사용자가 항상 파란색 제목을 선호한다고 결론 내려서는 안 됩니다.

작업이 끝나면 시스템은 안정적이고 재사용 가능하다고 판단되는 상호작용 신호만 통합합니다. 임시 선택 사항은 장기 프로필에 자동으로 기록되지 않고 현재 작업 내에 남아 있습니다.

이러한 구분은 두 가지 일반적인 실패를 방지하는 데 도움이 됩니다.

• 모든 프로젝트에서 사용자에게 기본 선호도를 반복해서 요청하는 것
• 일회성 지시를 영구적인 개인 습관으로 처리하는 것

작업 기억: 임시 지시 유지하기

일부 지시는 한 프레젠테이션 내내 중요하지만, 해당 작업이 끝나면 사라져야 합니다.

다음 요청을 생각해 보세요.

"나중에 새 슬라이드가 추가되면 그 제목도 파란색이어야 합니다."

현재 편집 단계에서 슬라이드가 추가되지 않으면 이 지시는 관련이 없을 수 있습니다. 상태 비저장 에이전트는 이를 쉽게 잊어버릴 수 있습니다. MemSlides는 이 지시를 작업 기억에 저장하여 이후 단계에서 새 슬라이드를 만들 때까지 활성 상태로 유지합니다.

작업 기억은 다음과 같은 정보를 추적합니다.

• 임시 프레젠테이션 선호도
• 세션별 제약 조건
• 현재 프레젠테이션 목표
• 이전에 편집된 영역
• 완료되지 않은 검사
• 수정 내역 및 활성 상태

이를 통해 일련의 개별 프롬프트가 동일한 문서의 연속적인 편집으로 전환됩니다.

작업 기억은 지시가 장기 선호도보다 우선시되어야 할 때도 유용합니다. 현재 작업의 경우 명시적인 사용자 피드백이 우선권을 갖습니다. 따라서 시스템은 사용자의 영구 프로필을 다시 쓰지 않고도 임시 예외를 적용할 수 있습니다.

도구 기억: 신뢰할 수 있는 편집 경험 재사용

요청을 이해한다고 해서 에이전트가 안전하게 실행할 수 있다는 보장은 없습니다.

작은 슬라이드 편집에는 올바른 요소 선택, 올바른 속성 변경, 정렬 유지, 기본 표현 업데이트, 결과 렌더링, 다른 요소가 이동하지 않았는지 확인이 포함될 수 있습니다.

에이전트는 다음과 같은 방식으로 실패할 수 있습니다.

• 잘못된 영역 선택
• 잘못된 코드 또는 개체 변경
• 요청보다 광범위한 편집 적용
• 변경이 완료되기 전에 중단
• 이전에 실패한 도구 시퀀스 반복

도구 기억은 이 실행 계층에 초점을 맞춥니다.

MemSlides는 두 가지 유형의 경험을 기록합니다.

1. 라운드 수준 작업 경험: 편집 라운드의 교훈, 오류 및 유용한 패턴을 요약합니다.
2. 작업 수준 도구 체인 경험: 유사한 작업 중 재사용을 위해 추론, 도구 호출 및 관찰의 간결한 시퀀스를 저장합니다.

![이미지는 MemSlides 에이전트의 두 가지 기억 유형인 Task Experience와 Tool Chain Experience를 보여줍니다. Task

Experience에는 Agent Lesson, Tool Error, Auto Extract가 포함되며, Preload를 통해 작업 기억(WM)에 진입하고 여러 수정轮次를 거쳐 최종적으로 Job End를 완료합니다. Tool Chain Experience는 작업 수준의 도구 체인 경험을 기록하며, 여러 작업 루프로 구성됩니다. 각 루프는 추론, 도구 호출, 관찰 등의 단계를 포함하고, 최종적으로 Tool Memory를 형성합니다. 이 그림은 문맥과 밀접하게 연결되어 있으며, 문맥에서 언급된 기억 유형과 작업 흐름을 직관적으로 보여줍니다.

사용자 프로필 기억은 프레젠테이션이 어떻게 구성되어야 하는지를 결정합니다. 도구 기억은 그 변경을 안정적으로 수행하는 방법을 결정하는 데 도움을 줍니다.

에이전트는 유사한 편집을 시도하기 전에 관련 경험을 검색하여 반복적인 실수와 불필요한 시행착오를 줄일 수 있습니다.

제한된 슬라이드 단위 수정: 요청된 부분만 변경

다회차 프레젠테이션 편집에서 가장 큰 위험 중 하나는 과도한 편집입니다.

사용자가 특정 레이블, 차트 또는 문단 하나만 변경하도록 요청했을 때, 전체 슬라이드나 전체 데크를 다시 작성하는 시스템은 올바른 수식, 색상, 간격 또는 내용을 실수로 변경할 수 있습니다.

MemSlides는 세 가지 단계로 구성된 제한된 슬라이드 단위 수정 프로세스를 도입합니다.

1. 계획(Plan)

시스템은 사용자의 요청을 실행 계약으로 변환합니다. 여기에는 다음이 식별됩니다.

• 편집이 국소적인지 전체적인지
• 영향을 받는 슬라이드
• 가장 작은 대상 영역
• 활성 규칙 및 선택기 힌트
• 검증 요구 사항

2. 실행(Act)

에이전트는 최소한의 유효한 변경을 적용합니다. 작업에 따라 국소 패치, 제한된 범위의 스타일 업데이트, 특정 페이지 삽입 또는 삭제가 포함될 수 있습니다.

3. 보호(Guard)

수정 라운드를 종료하기 전에 시스템은 요청된 대상이 업데이트되었고, 관련 없는 영역이 변경되지 않았는지 검증합니다. 적용 범위가 불완전하면 라운드가 차단되고 에이전트는 재시도해야 합니다.

이 메커니즘은 이미 올바른 콘텐츠를 보호합니다.

아래 예시는 슬라이드 전체를 광범위하게 다시 작성하는 것과 MemSlides의 국소 패치를 비교합니다. 요청된 변경은 슬라이드 하단의 한 항목에 영향을 미칩니다. 광범위한 재작성은 색상, 수식 블록, 레이아웃을 변경하는 반면, 범위가 제한된 패치는 대상만 업데이트합니다.

실험 결과

MemSlides 평가는 편집이 최종적으로 이루어졌는지 여부뿐만 아니라, 편집이 엄격한 검증을 통과했는지, 시스템이 첫 번째 올바른 결과에 얼마나 빠르게 도달하는지도 측정합니다.

개인화 및 작업 기억 동작

논문에 따르면 사용자 프로필 기억은 첫 번째 생성 라운드에서 페르소나 일치도를 향상시킵니다. 시스템은 모든 사용자에게 동일한 스타일을 적용하는 대신 의도와 일치하는 선호도를 사용합니다.

모든 작업에 대해 하나의 고정된 프로필이 지정됩니다.

정성적 작업 기억 사례는 또한 초기 라운드에서 도입된 선호도가 중간 피드백에서 반복되지 않더라도 활성 상태를 유지하며 이후에 효과를 발휘할 수 있음을 보여줍니다.

도구 기억 소거

연구팀은 진단용 짝 비교 설정을 통해 도구 기억을 테스트했습니다. 각 쌍은 동일한 소스 덱, 모델, 페르소나 및 요청된 편집을 사용했습니다. 주요 차이점은 도구 기억이 주입되었는지 여부였습니다.

지표	도구 기억 있음	도구 기억 없음
폐쇄 루프 완료율	0.963	0.815
엄격 검증율	0.534	0.310
첫 번째 올바른 편집 시간	242.5초	609.5초
핵심 도구 시간 비율	0.327×	1.000×

결과는 도구 기억을 사용할 때 폐쇄 루프 완료율이 더 높고, 엄격 검증율이 더 강하며, 첫 번째 올바른 편집까지의 평균 시간이 훨씬 더 짧음을 보여줍니다.

이 수치는 9개의 일치하는 수정 쌍을 포함하는 통제된 진단 설정에서 비롯된 것입니다. 이는 MemSlides가 모든 프레젠테이션 작업에서 모든 대안보다 뛰어난 성능을 발휘한다는 증거로 해석되어서는 안 됩니다. 이 연구는 더 좁은 범위에 초점을 맞추고 있습니다: 일치된 조건에서 재사용 가능한 도구 경험이 로컬 편집을 개선하는지 여부를 테스트하는 것입니다.

MemSlides 로컬 실행

이 프로젝트는 Apache 2.0 라이선스 하에 오픈 소스입니다. 공식 저장소는 소스 설치와 Docker 워크플로우를 모두 제공합니다.

소스에서 설치

sudo apt-get update
sudo apt-get install -y libreoffice fontconfig fonts-noto-cjk poppler-utils

conda env create -f environment.yml
conda activate memslides
pip install -e ".[research]"

python -m playwright install chromium ffmpeg
python -m memslides.experiment --help

내장된 스모크 테스트 스위트 실행:

python -m memslides.experiment run smoke_minimal \
  --output-base .memslides/experiments \
  --parallel 1

Docker로 실행

docker compose build
docker compose run --rm memslides python -m memslides.experiment run smoke_minimal \
  --output-base /app/.cache/memslides/experiments \
  --parallel 1

smoke_minimal 스위트는 소규모 검증 실행을 위한 것입니다. 실제 생성 실험에는 사용자가 제공한 모델 및 서비스 자격 증명이 필요합니다.

자격 증명은 저장소 외부에 보관하세요. 이 프로젝트는 환경 변수, .env 파일, 그리고 MEMSLIDES_CONFIG_FILE 또는 --config를 통해 선택되는 비공개 YAML 구성을 지원합니다.

MemSlides 디자인이 PPT 생성 이상으로 중요한 이유

동일한 기억 문제는 많은 장기 실행 에이전트 워크플로우에서 나타납니다.

문서 에이전트는 모든 편집을 영구적으로 처리하지 않으면서 작성 선호도를 보존해야 합니다. 코딩 에이전트는 프로젝트 규칙을 기억하면서 임시 브랜치별 지침을 분리하여 유지해야 합니다. 데이터 분석 에이전트는 유지해야 합니다.

신뢰할 수 있는 도구 절차를 재사용하면서의 현재 목표.

MemSlides는 더 넓은 설계 원칙을 보여줍니다:

• 지속적인 사용자 선호도는 세션 상태와 분리되어야 합니다.
• 세션 상태는 여러 라운드에 걸쳐 유지되어야 합니다.
• 실행 경험은 사용자 선호도와 독립적으로 저장되어야 합니다.
• 로컬 요청은 명확한 경계 내에서 작동해야 합니다.
• 검증은 수정이 완료된 것으로 간주되기 전에 이루어져야 합니다.

따라서 이 프레임워크의 가치는 매력적인 슬라이드를 만드는 데만 국한되지 않습니다. 이는 에이전트가 일회성 생성에서 신뢰할 수 있는 반복 협업으로 나아갈 수 있는 구체적인 예를 제공합니다.

FAQ

MemSlides란 무엇인가요?

MemSlides는 개인화된 슬라이드 생성 및 다중 턴 로컬 수정을 위한 메모리 기반 프레젠테이션 에이전트입니다. 사용자 프로필 메모리, 작업 메모리, 도구 메모리 및 범위가 지정된 편집 워크플로를 결합합니다.

MemSlides는 AI 파워포인트 생성기인가요?

네, 하지만 주요 초점은 초안 작성 이상에 있습니다. 선호도를 기억하고, 수정 라운드에 걸쳐 지침을 유지하며, 전체 데크를 불필요하게 재구축하지 않고 제한된 슬라이드 영역을 수정하도록 설계되었습니다.

사용자 프로필 메모리에는 무엇이 저장되나요?

사용자 프로필 메모리는 프레젠테이션 의도와 테마, 콘텐츠, 시각적 스타일, 레이아웃, 템플릿 사용 및 일반적인 습관과 같은 차원별로 구성된 반복적인 사용자 선호도를 저장합니다. 관련 프로필 항목만 새 작업으로 라우팅됩니다.

작업 메모리와 장기 메모리의 차이점은 무엇인가요?

장기 메모리는 프레젠테이션 프로젝트 전반에 걸쳐 지속되며 안정적인 사용자 선호도와 재사용 가능한 도구 경험을 포함합니다. 작업 메모리는 현재 데크에 속하며 임시 지침, 활성 제약 조건 및 수정 상태를 추적합니다.

MemSlides는 관련 없는 슬라이드 콘텐츠를 변경하지 않도록 어떻게 방지하나요?

범위가 지정된 슬라이드 로컬 수정을 사용합니다. 시스템은 영향을 받는 가장 작은 영역을 식별하고, 최소 편집을 수행한 후 라운드를 완료하기 전에 적용 범위를 검증합니다.

MemSlides는 Docker로 실행할 수 있나요?

네. 공식 저장소에는 Docker Compose 파일과 컨테이너 내에서 내장된 스모크 테스트 스위트를 실행하는 명령이 포함되어 있습니다.

MemSlides는 API 키가 필요한가요?

실제 생성 실험을 위해서는 사용자가 선택한 모델 및 서비스에 대한 자격 증명이 필요합니다. 저장소에서는 이를 Git에 커밋하지 않고 환경 변수, .env 파일 또는 비공개 구성 파일에 저장할 것을 권장합니다.

MemSlides는 오픈 소스인가요?

네. 소스 코드는 Apache 2.0 라이선스 하에 GitHub에서 제공됩니다. 저자들은 또한 프로젝트 페이지, 논문, 온라인 데모 및 Hugging Face 논문 페이지를 제공합니다.

관련 도구

• MemSlides 데모: 개인화된 슬라이드 생성 워크플로를 시험해볼 수 있는 공식 온라인 작업 공간입니다.
• MemSlides GitHub: 오픈 소스 구현체, 구성 파일, 실험 실행기 및 Docker 설정이 포함되어 있습니다.
• MemSlides 프로젝트 페이지: 프레임워크, 메모리 구성 요소, 예제 및 결과에 대한 개요를 제공합니다.
• Docker: 프로젝트와 그 종속성을 재현 가능한 컨테이너 환경에서 실행합니다.
• LibreOffice: PPTX 파일을 변환하고 처리하는 데 사용됩니다.

libreoffice.org/): 로컬 워크플로우에서 프레젠테이션 및 문서 처리를 위해 사용됩니다.

• Playwright: 프로젝트 설정 및 렌더링 워크플로우에서 사용되는 브라우저 자동화를 제공합니다.

관련 링크

• MemSlides 논문 (arXiv): 프레임워크와 실험을 설명하는 공식 연구 논문입니다.
• MemSlides HTML 논문: 브라우저에서 읽을 수 있는 전체 논문 버전입니다.
• Hugging Face의 MemSlides: 논문 페이지, 커뮤니티 토론 및 프로젝트 링크입니다.
• MemSlides GitHub 저장소: 소스 코드, 설치 명령어, Docker 파일 및 실험 도구입니다.
• MemSlides 프로젝트 웹사이트: 프로필 메모리, 작업 메모리 및 로컬 수정에 대한 시각적 설명입니다.
• MemSlides 라이브 데모: 시스템을 테스트할 수 있는 공식 웹 인터페이스입니다.
• Apache License 2.0: 오픈소스 저장소에 사용된 라이선스입니다.

요약

MemSlides는 슬라이드 제작을 단일 생성 요청이 아닌 지속적인 저작 과정으로 간주합니다. 계층적 메모리는 안정적인 사용자 선호도, 임시 데크 수준 명령어, 재사용 가능한 편집 경험을 분리합니다.

그런 다음 범위가 지정된 수정 워크플로우는 각 변경을 필요한 최소 영역으로 제한하고, 라운드를 완료하기 전에 결과를 검증합니다. 논문의 진단 쌍체 실험에서는 도구 메모리가 완료 및 검증을 개선하는 동시에 올바른 편집에 도달하는 데 필요한 시간을 단축했습니다.

핵심 아이디어는 간단합니다. 유용한 프레젠테이션 에이전트는 올바른 정보를 기억하고, 적절한 시기에 임시 세부 사항을 잊으며, 사용자가 실제로 요청한 내용만 변경해야 합니다.