왜 프롬프트를 코드처럼 다뤄야 하는가

LLM 서비스에서 프롬프트는 사실상 비즈니스 로직이다. 그런데 많은 팀이 프롬프트를 코드에 하드코딩하거나 대시보드에서 즉석 수정한다. 이 경우 "지난주까지는 잘 나오던 요약 품질이 왜 떨어졌지?"라는 질문에 답할 수 없다. 어떤 프롬프트가 언제 배포됐고, 어떤 응답을 냈는지 추적이 안 되기 때문이다. 프롬프트도 모델 파라미터, few-shot 예시, 온도 값과 함께 버전 관리 대상이 되어야 한다.

버전 스키마 설계

프롬프트 하나를 불변(immutable) 아티팩트로 취급한다. 한 번 발행된 버전은 절대 수정하지 않고, 변경은 새 버전 발행으로만 이뤄진다. 이렇게 해야 로그의 prompt_version과 실제 프롬프트가 영원히 일치한다.

-- prompts: 논리적 이름, prompt_versions: 불변 버전
CREATE TABLE prompt_versions (
  id           BIGSERIAL PRIMARY KEY,
  name         TEXT NOT NULL,           -- 예: summarize.article
  version      INT  NOT NULL,           -- 1, 2, 3...
  template     TEXT NOT NULL,
  model        TEXT NOT NULL,           -- claude-sonnet-4-6 등
  params       JSONB NOT NULL,          -- {"temperature":0.2,"max_tokens":800}
  content_hash TEXT NOT NULL,           -- 중복 발행 방지
  created_at   TIMESTAMPTZ DEFAULT now(),
  UNIQUE (name, version)
);
-- 트래픽 분배는 별도 테이블로 (배포와 발행 분리)
CREATE TABLE prompt_rollout (
  name    TEXT NOT NULL,
  version INT  NOT NULL,
  weight  INT  NOT NULL,               -- 0~100
  PRIMARY KEY (name, version)
);

버전 선택과 로깅

런타임에서는 가중치 기반으로 버전을 뽑고, 요청 단위로 배정을 고정한다. 같은 사용자가 세션 내내 같은 버전을 보도록 해시 기반 결정론적 분배를 쓰면 실험 오염을 줄일 수 있다.

import hashlib

def pick_version(rollouts, unit_id: str) -> int:
    # unit_id(사용자·세션)로 0~99 버킷을 결정론적으로 계산
    h = int(hashlib.sha256(unit_id.encode()).hexdigest(), 16) % 100
    cum = 0
    for r in sorted(rollouts, key=lambda x: x["version"]):
        cum += r["weight"]
        if h < cum:
            return r["version"]
    return rollouts[-1]["version"]

# 응답과 함께 반드시 남길 것: prompt_version, model, params, latency, tokens
log.info("llm_call", extra={
    "prompt_name": "summarize.article",
    "prompt_version": v,
    "unit_id": unit_id,
    "input_tokens": usage.input_tokens,
    "output_tokens": usage.output_tokens,
})

A/B 평가: 오프라인과 온라인

평가는 두 축으로 나뉜다. 배포 전 오프라인 평가는 고정된 골든 데이터셋으로 회귀를 잡고, 온라인 A/B는 실제 트래픽에서 지표를 비교한다. 오프라인만 믿으면 실사용 분포 차이를 놓치고, 온라인만 하면 명백한 품질 저하를 프로덕션에서야 발견한다.

구분오프라인온라인 A/B
데이터고정 골든셋실사용 트래픽
지표정답 일치·LLM 채점채택률·재요청률·CTR
속도즉시(CI에서)수일~수주
위험없음실사용자 노출

CI에 붙이는 회귀 게이트

새 버전을 발행하는 PR에서 골든셋 평가를 자동 실행하고, 기준선 대비 점수가 떨어지면 머지를 막는다. 프롬프트 변경을 코드 리뷰 흐름에 그대로 녹이는 것이 핵심이다.

eval:
  dataset: goldens/summarize.jsonl   # {input, reference} 라인들
  baseline: summarize.article@3
  candidate: summarize.article@4
  judges:
    - name: faithfulness            # 원문 사실과 어긋나지 않는가
      type: llm_rubric
      threshold: 0.85
    - name: length_limit
      type: assertion
      max_chars: 800
  fail_if:
    - "candidate.faithfulness < baseline.faithfulness - 0.03"

LLM 채점기의 함정

LLM을 채점기로 쓰면 편리하지만 그대로 신뢰하면 안 된다. 채점기 자체가 위치 편향(먼저 제시된 답을 선호)과 장황함 편향(긴 답을 고평가)을 가진다. A/B 두 응답의 순서를 무작위로 섞고, 점수뿐 아니라 근거를 함께 출력하게 하며, 사람 라벨 표본으로 채점기 자체를 주기적으로 검증하라. 채점 프롬프트 역시 버전 관리 대상이다.

운영 시 주의점

첫째, 통계적 유의성 없이 승자를 정하지 마라. 트래픽이 적으면 며칠간의 차이는 노이즈다. 둘째, 발행과 배포를 분리하라. 버전은 항상 발행해두되 트래픽 가중치는 별도로 조절해야 즉시 롤백이 가능하다. 셋째, 모델 업그레이드와 프롬프트 변경을 같은 실험에 섞지 마라. 원인 분리가 불가능해진다. 넷째, 온도가 0이 아니면 같은 입력도 응답이 흔들리므로, 오프라인 평가는 시드 고정 혹은 다중 샘플 평균으로 안정화해야 한다.