왜 LLM 비용이 통제 불능이 되는가

LLM 비용은 토큰 단위 종량제라 요청량이 조금만 늘어도 청구액이 비선형으로 증가한다. 문제는 대부분의 팀이 사후 청구서로만 비용을 인지한다는 점이다. 어떤 기능이, 어떤 사용자가, 어떤 프롬프트가 비용을 유발했는지 분해되지 않으면 최적화 지점을 찾을 수 없다. 특히 RAG나 에이전트처럼 컨텍스트가 누적되는 구조에서는 입력 토큰이 출력 토큰보다 훨씬 큰 비중을 차지하는데, 이를 놓치고 출력만 줄이려다 실패하는 경우가 많다.

먼저 측정: 요청 단위 계측

최적화의 전제는 계측이다. 모든 LLM 호출을 감싸는 얇은 래퍼를 두고, 응답의 usage 필드를 저장한다. 모델 응답은 대부분 입력/출력 토큰을 분리해 반환하므로 이를 그대로 기록하고, 요청 주체(사용자, 기능, 요청 ID)를 태그로 붙인다.

import time
from anthropic import Anthropic

client = Anthropic()

def call_with_metering(messages, feature, user_id, model="claude-sonnet-4-6"):
    t0 = time.time()
    resp = client.messages.create(
        model=model, max_tokens=1024, messages=messages,
    )
    u = resp.usage
    record_usage({
        "model": model,
        "feature": feature,
        "user_id": user_id,
        "input_tokens": u.input_tokens,
        "output_tokens": u.output_tokens,
        "cache_read": getattr(u, "cache_read_input_tokens", 0),
        "latency_ms": int((time.time() - t0) * 1000),
    })
    return resp

비용을 저장하고 집계하기

토큰 수만으로는 부족하다. 모델별 단가 테이블을 두고 비용을 계산해 저장해야 기능별·사용자별 집계가 가능하다. 캐시 읽기 토큰은 일반 입력보다 저렴하므로 단가를 분리해 반영한다.

-- 일별·기능별 비용 집계
SELECT
  date_trunc('day', created_at) AS day,
  feature,
  SUM(input_tokens)  AS in_tok,
  SUM(output_tokens) AS out_tok,
  ROUND(SUM(
    input_tokens  * 3.0 / 1e6 +
    output_tokens * 15.0 / 1e6 +
    cache_read    * 0.3 / 1e6
  ), 4) AS usd
FROM llm_usage
WHERE created_at >= now() - interval '7 days'
GROUP BY 1, 2
ORDER BY usd DESC;

단가는 하드코딩하지 말고 설정으로 분리한다. 모델 버전이 바뀌거나 단가가 조정될 때 코드 배포 없이 대응할 수 있어야 한다.

예산 관리: 사후가 아니라 사전 차단

집계는 사후 분석이고, 예산 관리는 사전 통제다. 사용자·조직 단위로 기간별 한도를 두고, 호출 직전에 잔여 예산을 확인한다. 초과 시 저가 모델로 강등하거나 요청을 거절하는 정책을 명시적으로 둔다.

def enforce_budget(user_id, est_cost):
    spent = get_period_spend(user_id)   # 캐시된 누적 비용
    limit = get_user_limit(user_id)
    if spent + est_cost > limit:
        if spent < limit:               # 여유 있으면 저가 모델로
            return "claude-haiku-4-5-20251001"
        raise BudgetExceeded(user_id, spent, limit)
    return None  # 예산 내, 기본 모델 유지

예상 비용은 프롬프트 토큰을 사전 계산해 추정한다. token counting API나 로컬 토크나이저로 입력 토큰을 미리 구하면 정확도가 올라간다.

비용 절감 레버 비교

레버효과주의점
프롬프트 캐싱반복 컨텍스트 입력 비용 대폭 절감캐시 TTL·최소 토큰 조건 확인
모델 라우팅쉬운 작업을 저가 모델로 처리품질 저하 모니터링 필요
컨텍스트 절삭불필요한 히스토리 제거과도하면 정확도 하락
출력 제한max_tokens로 상한 고정응답 잘림 처리 필요

운영상 주의점

첫째, 캐시 읽기·쓰기 토큰을 일반 입력과 섞어 집계하면 실제 비용이 왜곡된다. 필드를 분리해 저장하라. 둘째, 재시도와 스트리밍 중단도 토큰을 소비하므로 계측 래퍼가 이 경로를 빠짐없이 덮어야 한다. 셋째, 예산 강등 정책은 사용자에게 투명해야 한다. 조용히 저가 모델로 바꾸면 품질 저하의 원인을 추적하기 어렵다. 넷째, 단가와 모델 매핑은 반드시 외부 설정으로 관리해 배포 없이 갱신하라.

정리

LLM 비용 관리는 측정 → 집계 → 사전 통제의 순서로 접근한다. 요청 단위 계측으로 비용을 기능·사용자 축으로 분해하고, 단가 테이블로 금액화한 뒤, 호출 직전 예산 검증으로 폭주를 막는다. 이 세 단계를 갖추면 청구서가 아니라 대시보드로 비용을 관리할 수 있다.