왜 출력 형식 강제가 문제가 되는가

LLM을 파이프라인 중간 단계로 쓰면 후속 코드는 항상 특정 형식을 기대한다. 하지만 프롬프트에 "JSON만 출력하라"라고 적어도 모델은 설명 문장을 덧붙이거나, 후행 쉼표를 남기거나, 마크다운 코드펜스로 감싼다. 이 실패는 확률적이라 재현이 어렵고, 파싱 예외 → 재시도 → 지연·비용 증가로 이어진다. 근본 해결책은 프롬프트 요청이 아니라 디코딩 단계에서 토큰을 제약하는 것이다. 매 스텝의 로짓에서 형식상 불가능한 토큰을 마스킹하면, 문법에 맞지 않는 출력 자체가 생성될 수 없다. 이때 제약을 표현하는 방식이 정규식과 JSON 스키마(문법)로 갈린다.

두 방식의 작동 원리

정규식 방식은 출력 전체가 하나의 정규식에 매칭되도록 유한 상태 기계(FSA)를 만든다. 현재 상태에서 허용되는 문자 집합을 토크나이저 어휘와 매핑해 마스크를 미리 계산한다. 스키마 방식은 JSON Schema를 문맥 자유 문법(CFG)으로 컴파일하고, 파서 스택 상태에 따라 다음 허용 토큰을 결정한다. 중첩 구조·재귀·타입 제약을 표현할 수 있어 정규식보다 표현력이 높다. 대신 상태가 스택에 의존하므로 마스크를 완전히 사전 계산하기 어렵고, 런타임 계산이 늘어난다.

정규식 제약 예시

from outlines import models, generate

model = models.transformers("mistralai/Mistral-7B-v0.1")

# 전화번호처럼 형태가 고정된 출력에 적합
pattern = r"\d{3}-\d{3,4}-\d{4}"
gen = generate.regex(model, pattern)
print(gen("연락처를 출력하라: "))   # 010-1234-5678

플랫하고 형태가 정해진 값(날짜, 코드, enum, 숫자)에는 정규식이 가장 빠르다. FSA 전이 테이블을 한 번만 만들면 이후 스텝마다 O(1)로 마스크를 조회한다.

스키마 제약 예시

from pydantic import BaseModel
from outlines import models, generate

class Ticket(BaseModel):
    id: int
    priority: str        # low|mid|high 는 Literal 로 더 강제 가능
    tags: list[str]

model = models.transformers("mistralai/Mistral-7B-v0.1")
gen = generate.json(model, Ticket)     # 내부적으로 JSON Schema -> 문법 컴파일
ticket = gen("이 이슈를 티켓으로 구조화하라: 로그인 실패")
print(ticket.id, ticket.tags)

중첩 객체·배열·선택 타입이 필요하면 스키마가 유일한 현실적 선택이다. 형식 위반이 원천 차단되므로 downstream 파싱 코드에서 방어 로직을 크게 줄일 수 있다.

성능 비교

항목정규식(FSA)스키마(CFG)
표현력플랫·고정 형태중첩·재귀·타입
마스크 사전계산완전 가능부분(스택 의존)
초기 컴파일 비용낮음~중간중간~높음
스텝당 오버헤드매우 낮음낮음~중간
형식 위반0(패턴 내)0(스키마 내)

실측 경향은 명확하다. 단순 값이라면 정규식이 컴파일·런타임 모두 유리하다. 구조가 복잡할수록 정규식으로 억지로 표현하면 패턴이 폭발적으로 커지고 컴파일이 느려져, 스키마가 오히려 안정적이다. 즉 "무엇을 강제하느냐"가 선택 기준이지 스키마가 항상 느린 것은 아니다.

실무 주의점

  • 어휘-패턴 매핑 캐싱: FSA·문법 컴파일 결과는 (모델, 패턴) 단위로 캐시하라. 요청마다 재컴파일하면 제약의 이점을 오버헤드가 상쇄한다.
  • 과도한 제약의 품질 저하: 토큰을 강하게 막으면 모델이 자연스러운 추론 경로를 못 밟아 내용 품질이 떨어질 수 있다. 사고 과정은 자유 텍스트로 두고 최종 필드만 강제하는 2단계 구성이 안전하다.
  • 토크나이저 경계 문제: 한 토큰이 여러 문자를 걸치면 정규식 경계와 어긋난다. 라이브러리가 이를 처리하는지 확인하고, 직접 구현 시 부분 매칭을 반드시 고려하라.
  • 스키마는 값 검증이 아니다: 형식은 맞아도 의미가 틀릴 수 있다. enum·범위는 Literal·제약 타입으로 문법 수준까지 내려 강제해야 후처리 검증이 줄어든다.