왜 인자 검증이 필요한가
LLM에게 함수(툴) 스키마를 주고 호출을 위임하면, 모델은 대부분 올바른 JSON을 만들어낸다. 문제는 "대부분"이다. 필수 필드 누락, 타입 불일치(숫자를 문자열로), 열거형 밖의 값, 존재하지 않는 ID 참조 같은 오류가 일정 비율로 섞인다. 이 인자를 검증 없이 실제 함수에 그대로 넘기면 DB 조회 실패, 결제 파라미터 오류처럼 부작용이 하위 시스템까지 번진다. 스키마를 프롬프트에 명시했다는 사실만으로는 보장이 되지 않는다. 스키마는 힌트일 뿐 강제력이 아니기 때문이다.
검증 계층을 분리한다
실무에서는 검증을 두 단계로 나눈다. 첫째, 구조 검증(structural): 타입·필수 여부·범위·형식. 둘째, 의미 검증(semantic): 해당 ID가 실제로 존재하는가, 권한이 있는가, 상태가 호출 가능한가. 구조 검증은 JSON Schema나 Pydantic으로 즉시 처리하고, 의미 검증은 DB·외부 API를 태워야 하므로 비용이 크다. 순서를 지켜 구조 검증을 먼저 통과시킨 뒤에만 의미 검증에 진입해야 불필요한 호출을 줄인다.
from pydantic import BaseModel, Field, ValidationError
from typing import Literal
class TransferArgs(BaseModel):
from_account: str = Field(min_length=8, max_length=20)
to_account: str = Field(min_length=8, max_length=20)
amount: int = Field(gt=0, le=10_000_000)
currency: Literal["KRW", "USD"]
def validate_structural(raw: dict) -> tuple[TransferArgs | None, str | None]:
try:
return TransferArgs(**raw), None
except ValidationError as e:
# 모델이 다시 읽고 고칠 수 있게 필드/사유를 압축해 반환
msgs = [f"{'.'.join(map(str, err['loc']))}: {err['msg']}"
for err in e.errors()]
return None, "; ".join(msgs)
강제 재시도 루프의 핵심
검증 실패를 예외로 던지고 끝내면 안 된다. 실패 사유를 모델이 이해할 수 있는 형태로 대화에 다시 주입하고, 같은 함수를 다시 호출하도록 유도하는 것이 강제 재시도다. 이때 원본 사용자 요청은 유지하고, 직전 잘못된 tool_call과 그에 대한 tool_result(에러 내용)를 메시지 히스토리에 추가한다. 모델은 자신의 이전 출력과 에러를 함께 보고 스스로 교정한다.
MAX_RETRIES = 3
def call_with_retry(client, messages, tools):
for attempt in range(1, MAX_RETRIES + 1):
resp = client.messages.create(
model="claude-sonnet-4-6",
messages=messages, tools=tools, max_tokens=1024,
)
tool_use = next((b for b in resp.content if b.type == "tool_use"), None)
if tool_use is None:
return resp # 툴 호출 없이 최종 답변
args, err = validate_structural(tool_use.input)
if err is None:
return execute(tool_use.name, args) # 검증 통과 → 실제 실행
# 실패 사유를 tool_result로 되먹임 → 강제 재시도
messages.append({"role": "assistant", "content": resp.content})
messages.append({"role": "user", "content": [{
"type": "tool_result",
"tool_use_id": tool_use.id,
"is_error": True,
"content": f"인자 검증 실패: {err}. 스키마에 맞게 다시 호출하세요.",
}]})
raise RuntimeError("검증 재시도 한도 초과")
재시도 전략 비교
실패를 어떻게 처리하느냐에 따라 성공률과 비용이 달라진다.
| 전략 | 동작 | 장점 | 주의점 |
|---|---|---|---|
| 즉시 실패 | 검증 실패 시 예외 | 단순·저비용 | 일시적 오류도 그대로 실패 |
| 에러 되먹임 재시도 | 사유를 대화에 주입 | 교정률 높음 | 토큰·지연 증가 |
| 구조 강제(스키마 모드) | 디코딩 단계에서 형식 보장 | 구조 오류 원천 차단 | 의미 오류는 못 막음 |
루프가 폭주하지 않게
재시도는 반드시 상한을 둔다. 같은 에러가 반복되면 모델이 교정 능력이 없는 상황이므로 무한 루프에 빠진다. 최대 횟수(보통 2~3회)를 두고, 동일한 에러 메시지가 연속되면 조기 종료한다. 또한 재시도마다 프롬프트에 "직전 시도에서 무엇이 틀렸는지"를 누적하지 말고 최근 것만 유지해 컨텍스트 팽창을 막는다. 의미 검증 실패(예: 존재하지 않는 계좌)는 모델이 임의로 값을 지어내게 두기보다, 사용자에게 되묻는 경로로 빠지는 편이 안전하다.
실무 체크리스트
- 구조 검증을 먼저, 비용 큰 의미 검증을 나중에 배치한다.
- 에러 메시지는 사람이 아니라 모델이 읽고 고칠 형태로 압축한다.
- 재시도 상한과 동일 에러 조기 종료를 반드시 넣는다.
- 부작용 있는 함수는 검증 통과 후에만 실행하고, 실행 자체는 멱등성을 확보한다.
- 검증 실패율·재시도 횟수를 지표로 수집해 스키마 설명을 개선한다.
정리
LLM 함수 호출을 신뢰하려면 "모델이 잘 만들어주겠지"라는 가정을 버리고, 검증을 실행 경로의 필수 관문으로 만들어야 한다. 구조/의미 검증을 분리하고, 실패 사유를 되먹여 강제 재시도하되 상한과 조기 종료로 안정성을 확보하는 것이 핵심이다. 스키마 강제 디코딩은 구조 오류를 줄여주지만 의미 오류는 여전히 남으므로, 재시도 루프와 함께 쓸 때 가장 견고하다.