왜 문제가 되는가
다단계 추론 체인(검색 → 요약 → 판단 → 실행)은 각 단계의 출력이 다음 단계의 입력이 된다. 문제는 한 단계에서 발생한 사소한 오류가 뒤로 갈수록 증폭된다는 점이다. 검색 단계에서 잘못된 문서 하나를 물어오면, 요약은 그 오염된 근거를 사실처럼 압축하고, 판단 단계는 이미 정제되어 보이는 텍스트를 신뢰한다. 최종 출력만 보면 어디서 틀렸는지 추적할 수 없다.
단일 정확도 지표로는 이 구조를 진단할 수 없다. 각 단계 정확도가 90%여도 4단계를 곱하면 전체 성공률은 약 66%로 떨어진다. 즉 개별 단계는 멀쩡한데 파이프라인 전체가 실패하는 상황이 빈번하다.
오류 유형 구분
격리의 첫걸음은 오류를 발생 지점과 전파 여부로 나누는 것이다.
| 유형 | 설명 | 대응 |
|---|---|---|
| 발원 오류 | 해당 단계에서 처음 생긴 오류 | 단계별 검증·재시도 |
| 전파 오류 | 이전 단계 오류를 그대로 받은 경우 | 입력 신뢰도 게이팅 |
| 증폭 오류 | 전파된 오류가 더 심각해진 경우 | 중간 산출물 스냅샷 비교 |
단계별 추적 계측
진단의 전제는 모든 중간 산출물을 구조화해 남기는 것이다. 단계 ID, 입력 해시, 출력, 신뢰도를 기록하면 사후에 어느 단계가 오염원인지 역추적할 수 있다.
import hashlib, json, time
def trace_step(step_id, fn, payload, run_id):
inp = json.dumps(payload, sort_keys=True, ensure_ascii=False)
out = fn(payload)
record = {
"run_id": run_id,
"step": step_id,
"input_hash": hashlib.sha256(inp.encode()).hexdigest()[:12],
"output": out.get("value"),
"confidence": out.get("confidence", 0.0),
"ts": time.time(),
}
log_jsonl("trace.jsonl", record) # 단계별 append-only 로그
return out
신뢰도 게이팅으로 전파 차단
핵심 격리 전략은 다음 단계로 넘기기 전에 게이트를 두는 것이다. 이전 단계 신뢰도가 임계값 미만이면 전파를 멈추고, 재시도하거나 사람에게 넘기거나 안전한 기본값으로 폴백한다. 오류를 뒤로 흘려보내지 않는 것이 증폭을 막는 유일한 방법이다.
def gated_chain(steps, payload, run_id, threshold=0.7):
for step_id, fn in steps:
out = trace_step(step_id, fn, payload, run_id)
if out["confidence"] < threshold:
return {
"status": "halted",
"failed_at": step_id,
"confidence": out["confidence"],
}
payload = out["value"]
return {"status": "ok", "result": payload}
오염원 역추적 쿼리
로그가 쌓이면 실패한 실행들이 어느 단계에서 신뢰도가 처음 무너졌는지 집계로 확인한다. 특정 단계가 halt의 다수를 차지하면 그 단계가 실질적 병목이자 오염원이다.
SELECT step, COUNT(*) AS halts, AVG(confidence) AS avg_conf
FROM trace
WHERE run_id IN (SELECT run_id FROM outcome WHERE status = 'fail')
GROUP BY step
ORDER BY halts DESC;
주의점
- 신뢰도 값을 모델 자체에 물어보면 과신 편향이 심하다. 가능하면 검색 히트 수, 스키마 검증 통과 여부 같은 외부 신호로 보정하라.
- 임계값을 너무 높이면 halt가 남발되어 처리량이 급감한다. 단계별로 다른 임계값을 적용하고 halt율을 모니터링하라.
- 중간 산출물 로그에는 원문 일부가 남으므로 개인정보 마스킹과 보존 기간 정책을 반드시 함께 설계한다.
- 재시도는 무한 루프를 막기 위해 횟수 상한과 백오프를 둔다.
정리
다단계 체인의 안정성은 각 단계 성능이 아니라 오류가 전파되지 않도록 끊는 구조에서 나온다. 단계별 추적 로그로 오염원을 특정하고, 신뢰도 게이트로 전파를 차단하며, 집계 쿼리로 병목을 지속 관찰하는 세 축을 갖추면 "어디서 틀렸는지 모르는" 실패를 관측 가능한 문제로 바꿀 수 있다.