왜 멀티턴에서 컨텍스트가 문제가 되는가
LLM은 상태가 없다. 매 요청마다 이전 대화 전체를 다시 보내야 맥락이 유지된다. 턴이 쌓일수록 입력 토큰이 선형으로 증가하고, 비용과 지연시간이 함께 늘어난다. 더 심각한 문제는 컨텍스트 윈도우 상한이다. 상한에 도달하면 오래된 메시지가 잘려나가면서 앞부분에서 확정한 사실(사용자 이름, 제약 조건, 이전 결정)이 사라진다. 결과적으로 모델이 "방금 말한 걸 잊는" 현상이 발생한다.
핵심은 "전체 이력을 보내는 것"과 "필요한 상태만 유지하는 것"을 분리하는 설계다. 모든 원문을 무한정 들고 가는 대신, 대화 상태를 구조화하고 오래된 부분은 압축한다.
대화 상태를 3계층으로 분리한다
실무에서는 상태를 세 계층으로 나누면 관리가 쉬워진다. 각 계층은 수명과 저장 방식이 다르다.
| 계층 | 내용 | 수명 | 저장 |
|---|---|---|---|
| 고정 컨텍스트 | 시스템 프롬프트, 사용자 프로필, 확정된 제약 | 세션 전체 | 항상 포함 |
| 요약 메모리 | 오래된 턴의 압축본 | 롤링 | 주기적 갱신 |
| 최근 턴 | 직전 N개 원문 메시지 | 슬라이딩 윈도우 | 원문 유지 |
최근 턴은 뉘앙스가 중요하므로 원문을 유지하고, 오래된 턴은 요약으로 밀어낸다. 고정 컨텍스트는 절대 잘리지 않도록 조립 순서를 보장한다.
슬라이딩 윈도우 + 롤링 요약 구현
가장 실용적인 패턴은 최근 N턴은 원문으로, 그 이전은 하나의 요약으로 접는 방식이다. 임계치를 넘으면 오래된 턴을 요약에 병합한다.
from anthropic import Anthropic
client = Anthropic()
KEEP_RECENT = 6 # 원문 유지 턴 수
MODEL = "claude-haiku-4-5-20251001" # 요약은 저비용 모델로
def compress(summary: str, old_turns: list[dict]) -> str:
text = "\n".join(f'{t["role"]}: {t["content"]}' for t in old_turns)
resp = client.messages.create(
model=MODEL, max_tokens=512,
system="기존 요약과 새 대화를 병합해 사실 위주로 압축하라. "
"확정된 결정, 이름, 숫자, 제약은 반드시 보존한다.",
messages=[{"role": "user",
"content": f"[기존 요약]\n{summary}\n\n[새 대화]\n{text}"}],
)
return resp.content[0].text
def build_context(state):
if len(state["turns"]) > KEEP_RECENT:
old = state["turns"][:-KEEP_RECENT]
state["summary"] = compress(state["summary"], old)
state["turns"] = state["turns"][-KEEP_RECENT:]
return state
요약 호출은 매 턴이 아니라 임계치 초과 시에만 실행해 오버헤드를 줄인다. 요약 전용으로 값싼 모델을 쓰면 압축 비용이 본 대화 비용을 잠식하지 않는다.
토큰 예산 기반 조립
턴 수 기준보다 토큰 예산 기준이 더 안전하다. 긴 메시지 하나가 예산을 초과할 수 있기 때문이다. 조립 시 고정 컨텍스트를 먼저 확보하고 남은 예산으로 최근 턴을 채운다.
def assemble(state, budget=8000, count=lambda s: len(s) // 3):
fixed = state["system"] + state["summary"]
remaining = budget - count(fixed)
picked = []
for turn in reversed(state["turns"]): # 최신부터 역순으로
c = count(turn["content"])
if remaining - c < 0:
break
picked.append(turn)
remaining -= c
return fixed, list(reversed(picked))
실제 서비스에서는 len // 3 같은 근사 대신 토크나이저 기반 카운트를 쓴다. 근사치는 예산을 여유 있게(80% 선에서) 잡아 초과 위험을 흡수한다.
상태 영속화와 동시성
세션 상태는 메모리가 아니라 외부 저장소에 둔다. 서버 재시작이나 스케일아웃 시에도 대화가 유지돼야 하기 때문이다. 요약본과 최근 턴을 함께 저장한다.
CREATE TABLE conversation_state (
session_id UUID PRIMARY KEY,
summary TEXT NOT NULL DEFAULT '',
recent_turns JSONB NOT NULL DEFAULT '[]',
updated_at TIMESTAMPTZ NOT NULL DEFAULT now(),
version INT NOT NULL DEFAULT 0 -- 낙관적 잠금
);
동일 세션에 동시 요청이 들어오면 요약 갱신이 충돌한다. version 컬럼으로 낙관적 잠금을 걸어, 업데이트 시 버전이 바뀌었으면 재시도한다. 요약은 손실 압축이므로 충돌로 두 번 요약되면 정보가 이중으로 뭉개진다.
주의점: 압축은 되돌릴 수 없다
요약은 정보를 버리는 작업이다. 한번 접힌 원문은 복구되지 않으므로 몇 가지를 지켜야 한다. 첫째, 확정 사실은 요약이 아닌 구조화된 필드(고정 컨텍스트)로 따로 뽑아 압축 대상에서 제외한다. 둘째, 원문 로그는 관측·디버깅용으로 별도 보관하되 프롬프트에는 넣지 않는다. 셋째, 요약 프롬프트에 "숫자·이름·결정 보존" 같은 명시적 제약을 걸어 핵심 손실을 막는다.
또한 요약이 요약을 다시 요약하는 누적 압축은 정보가 점진적으로 왜곡된다. 이를 완화하려면 매번 기존 요약에 원문을 더해 다시 만들기보다, 확정 사실은 키-값으로 분리하고 서술형 맥락만 요약하는 하이브리드가 안전하다.
정리
멀티턴 상태 관리의 본질은 "무엇을 원문으로 남기고 무엇을 버릴지"의 결정이다. 고정 컨텍스트는 절대 잃지 않고, 최근 턴은 원문으로, 오래된 턴은 압축으로 처리하는 3계층 구조가 기본이다. 여기에 토큰 예산 기반 조립, 외부 영속화, 낙관적 잠금을 더하면 비용과 정확성을 함께 잡을 수 있다. 압축은 비가역적이라는 점만 잊지 않으면 된다.