빅키가 왜 문제인가
Redis는 단일 스레드로 명령을 처리한다. 값 하나가 수십 MB에 달하는 빅키(big key)를 DEL, HGETALL, SMEMBERS로 건드리는 순간, 해당 명령이 이벤트 루프를 오래 점유해 다른 모든 클라이언트가 대기한다. 즉 하나의 키가 전체 인스턴스의 지연으로 번진다.
또한 Redis Cluster는 키 단위로 슬롯에 배치되므로, 빅키는 특정 노드에만 메모리와 트래픽을 몰아주는 메모리 핫스팟을 만든다. 리샤딩으로도 분산되지 않고, 마이그레이션 시 슬롯 이동이 통째로 블로킹된다.
어디까지가 빅키인가
절대 기준은 없지만 실무 임계선은 다음과 같다. 이 선을 넘으면 조회·삭제·마이그레이션 비용이 비선형으로 커진다.
| 타입 | 주의 임계 | 위험 임계 |
|---|---|---|
| String | 10KB | 1MB |
| Hash/Set/ZSet/List | 1,000 요소 | 10,000 요소 |
빅키를 안전하게 찾기
운영 중 탐색의 핵심은 블로킹하지 않는 것이다. KEYS *는 절대 금지. redis-cli --bigkeys는 내부적으로 SCAN과 MEMORY USAGE를 쓰므로 안전하다. 다만 타입별 최대 1개만 보고하므로 상위 N개를 보려면 별도 스캔이 필요하다.
#!/bin/bash
# 타입별 최대 빅키 요약 (읽기 부하 최소화)
redis-cli -h 127.0.0.1 -p 6379 --bigkeys -i 0.01
# 상위 빅키를 직접 수집: SCAN + MEMORY USAGE
redis-cli --scan --count 500 | while read key; do
bytes=$(redis-cli MEMORY USAGE "$key")
echo "$bytes $key"
done | sort -rn | head -20
--count는 한 번의 SCAN이 훑는 힌트값이다. 크게 잡으면 순회는 빠르지만 개별 호출이 무거워지니 500 안팎이 무난하다.
핫스팟까지 정밀 분석: RDB 오프라인 분석
운영 인스턴스에 부하를 주기 싫다면 RDB 스냅샷을 떠서 오프라인 분석한다. rdb 툴로 메모리 리포트를 뽑으면 키 패턴별 누적 용량이 보여 핫스팟 구조를 파악할 수 있다.
import subprocess, csv, collections
# rdb --command memory dump.rdb -f mem.csv 로 생성한 CSV를 접두어로 집계
prefix_size = collections.Counter()
with open("mem.csv") as f:
for row in csv.DictReader(f):
prefix = row["key"].split(":")[0] # user:123 -> user
prefix_size[prefix] += int(row["size_in_bytes"])
for prefix, total in prefix_size.most_common(10):
print(f"{prefix:20s} {total/1024/1024:8.1f} MB")
특정 접두어가 전체 메모리의 큰 비중을 차지하면, 그 키 설계 자체가 핫스팟의 원인이다.
빅키를 쪼개서 제거하기
가장 근본적인 해결은 샤딩이다. 예를 들어 회원 전체를 담은 하나의 Hash user:all 대신, ID를 해시 버킷으로 나눠 user:{0..255}로 분산한다. 이렇게 하면 요소 수가 쪼개지고 클러스터 슬롯에도 고르게 퍼진다.
import redis
r = redis.Redis()
def bucket(uid: int) -> str:
return f"user:{uid % 256}" # 256개 버킷으로 분산
def set_user(uid: int, data: str):
r.hset(bucket(uid), uid, data) # 각 Hash는 요소 수가 1/256
def get_user(uid: int):
return r.hget(bucket(uid), uid)
Set/ZSet도 동일하게 접미어 버킷으로 나누고, 조회 시 여러 버킷을 pipeline으로 병합한다. List라면 시계열·범위 단위로 키를 분리한다.
삭제도 블로킹이다: UNLINK와 점진 삭제
빅키를 DEL로 지우면 메모리 회수가 동기적으로 일어나 그 시간만큼 멈춘다. Redis 4.0 이상은 UNLINK로 키를 논리적으로 끊고 백그라운드 스레드가 회수하게 한다. 이미 존재하는 빅키를 지울 땐 HSCAN 등으로 배치 삭제한다.
# 즉시 백그라운드 회수
UNLINK user:all
# 지연 free를 기본값으로: 만료/삭제/리사이즈 시 논블로킹
CONFIG SET lazyfree-lazy-expire yes
CONFIG SET lazyfree-lazy-server-del yes
CONFIG SET lazyfree-lazy-user-del yes
거대한 Hash를 통째로 지울 수 없는 상황이라면 HSCAN으로 커서를 돌며 수백 개씩 HDEL 하는 방식으로 부하를 분산한다.
주의점
- SCAN은 완전성을 보장하지 않는다. 순회 도중 추가된 키는 누락될 수 있으니 탐색·정리 작업은 여러 번 반복하거나 오프라인 스냅샷을 병행한다.
- MEMORY USAGE는 샘플링한다. 요소가 많은 컬렉션은 근사치이므로, 정확한 값이 필요하면
SAMPLES 0옵션으로 전수 계산하되 비용을 감안한다. - 핫키와 빅키는 다르다. 크기는 작아도 호출이 몰리는 핫키는 로컬 캐시나 읽기 복제로 풀어야 하며, 샤딩만으로는 해결되지 않는다.
- 버킷 수는 나중에 바꾸기 어렵다. 모듈로 기반 분산은 버킷 개수를 바꾸면 전 키 재배치가 필요하니 초기에 여유 있게 잡는다.