왜 라운드트립이 병목이 되는가

Redis 자체는 대부분의 명령을 마이크로초 단위로 처리한다. 그런데 실무에서 "Redis가 느리다"는 체감이 생기는 순간은 대개 명령 처리 시간이 아니라 네트워크 왕복(RTT) 때문이다. 클라이언트가 명령 하나를 보내고 응답을 받은 뒤에야 다음 명령을 보내는 요청-응답 구조에서는, 명령 하나당 최소 1 RTT가 고정 비용으로 붙는다.

같은 데이터센터 내부라도 RTT는 보통 0.2~0.5ms 수준이다. 명령 1만 개를 순차로 보내면 처리 자체는 수 ms인데 왕복 대기만 2~5초가 쌓인다. CPU도 놀고 Redis도 놀지만 애플리케이션은 계속 기다린다. 이 구간이 바로 파이프라인이 겨냥하는 지점이다.

파이프라인의 동작 원리

파이프라인은 여러 명령을 응답을 기다리지 않고 소켓에 연속으로 밀어 넣은 뒤, 응답을 한꺼번에 순서대로 읽는 방식이다. 명령 N개를 보내도 왕복은 1회에 수렴한다. Redis는 싱글 스레드로 명령을 받은 순서대로 처리하므로 응답 순서도 보장된다.

중요한 점은 파이프라인이 원자성을 보장하지 않는다는 것이다. 트랜잭션(MULTI/EXEC)이 아니므로 중간에 다른 클라이언트 명령이 끼어들 수 있다. 파이프라인은 "묶어서 원자적으로 실행"이 아니라 "묶어서 전송"이 목적이다.

순차 실행 vs 파이프라인 비교

구분순차 실행파이프라인
네트워크 왕복명령당 1 RTT배치당 1 RTT
원자성없음없음(MULTI 필요)
에러 처리즉시응답 수집 후 개별 확인
메모리낮음배치 크기만큼 버퍼링

Python 예시: 순차 vs 파이프라인

import time
import redis

r = redis.Redis(host="localhost", port=6379)

# 순차 실행: 명령마다 RTT가 붙는다
start = time.perf_counter()
for i in range(10000):
    r.set(f"seq:{i}", i)
print("sequential:", time.perf_counter() - start)

# 파이프라인: 왕복을 배치 단위로 줄인다
start = time.perf_counter()
pipe = r.pipeline(transaction=False)
for i in range(10000):
    pipe.set(f"pipe:{i}", i)
results = pipe.execute()  # 응답을 한 번에 수집
print("pipeline:", time.perf_counter() - start)

같은 네트워크에서 이 코드는 보통 수십 배의 처리량 차이를 낸다. 차이의 크기는 RTT에 정비례하므로, 클라우드 리전 간 통신처럼 RTT가 큰 환경일수록 효과가 커진다.

배치 크기를 나눠야 하는 이유

명령을 무한정 쌓으면 두 가지 문제가 생긴다. 첫째, 클라이언트와 서버 양쪽에 응답 버퍼가 배치 크기만큼 쌓여 메모리를 압박한다. 둘째, 거대한 배치 하나가 실행되는 동안 싱글 스레드 Redis가 점유되어 다른 요청의 지연이 튄다. 실무에서는 수백~수천 개 단위로 잘라 보내는 것이 안전하다.

def chunked_pipeline(r, items, batch_size=1000):
    for start in range(0, len(items), batch_size):
        batch = items[start:start + batch_size]
        pipe = r.pipeline(transaction=False)
        for key, value in batch:
            pipe.set(key, value)
        # 배치 단위로 flush → 메모리와 지연을 함께 통제
        pipe.execute()

items = [(f"user:{i}", i) for i in range(100000)]
chunked_pipeline(r, items, batch_size=1000)

주의점과 함정

파이프라인을 도입할 때 자주 밟는 함정들이 있다.

  • 에러가 조용히 묻힌다: execute()가 반환한 결과 리스트에서 각 명령의 성공/실패를 개별로 확인해야 한다. 예외를 던지지 않고 결과에 에러 객체가 섞여 오는 경우가 있다.
  • Redis Cluster에서는 키 분산에 주의: 서로 다른 슬롯의 키를 한 파이프라인에 섞으면 노드마다 갈라져 처리된다. 라이브러리에 따라 노드별로 재그룹핑되므로 순서 가정에 의존하면 안 된다.
  • 읽기-쓰기 의존성: 앞 명령의 응답값을 뒤 명령의 인자로 써야 한다면 파이프라인으로 묶을 수 없다. 이 경우 Lua 스크립트(EVAL)가 서버 사이드에서 왕복 없이 처리하는 대안이 된다.
  • 타임아웃 설정: 큰 배치는 소켓 타임아웃을 넘길 수 있으므로 배치 크기에 맞춰 클라이언트 타임아웃을 여유 있게 잡는다.

정리

파이프라인은 Redis의 명령 처리 속도가 아니라 네트워크 왕복이라는 고정 비용을 줄이는 기법이다. 대량 쓰기·읽기 작업에서 순차 호출을 배치로 바꾸는 것만으로 처리량이 크게 개선된다. 다만 원자성이 필요하면 MULTI/EXEC, 명령 간 의존성이 있으면 Lua 스크립트로 구분해 접근하고, 배치 크기는 메모리와 지연을 함께 고려해 수백~수천 단위로 통제하는 것이 핵심이다.