빅키가 왜 문제인가

Redis는 단일 스레드로 명령을 처리한다. 값 하나가 수십 MB에 달하는 빅키(big key)를 DEL, HGETALL, SMEMBERS로 건드리는 순간, 해당 명령이 이벤트 루프를 오래 점유해 다른 모든 클라이언트가 대기한다. 즉 하나의 키가 전체 인스턴스의 지연으로 번진다.

또한 Redis Cluster는 키 단위로 슬롯에 배치되므로, 빅키는 특정 노드에만 메모리와 트래픽을 몰아주는 메모리 핫스팟을 만든다. 리샤딩으로도 분산되지 않고, 마이그레이션 시 슬롯 이동이 통째로 블로킹된다.

어디까지가 빅키인가

절대 기준은 없지만 실무 임계선은 다음과 같다. 이 선을 넘으면 조회·삭제·마이그레이션 비용이 비선형으로 커진다.

타입주의 임계위험 임계
String10KB1MB
Hash/Set/ZSet/List1,000 요소10,000 요소

빅키를 안전하게 찾기

운영 중 탐색의 핵심은 블로킹하지 않는 것이다. KEYS *는 절대 금지. redis-cli --bigkeys는 내부적으로 SCAN과 MEMORY USAGE를 쓰므로 안전하다. 다만 타입별 최대 1개만 보고하므로 상위 N개를 보려면 별도 스캔이 필요하다.

#!/bin/bash
# 타입별 최대 빅키 요약 (읽기 부하 최소화)
redis-cli -h 127.0.0.1 -p 6379 --bigkeys -i 0.01

# 상위 빅키를 직접 수집: SCAN + MEMORY USAGE
redis-cli --scan --count 500 | while read key; do
  bytes=$(redis-cli MEMORY USAGE "$key")
  echo "$bytes $key"
done | sort -rn | head -20

--count는 한 번의 SCAN이 훑는 힌트값이다. 크게 잡으면 순회는 빠르지만 개별 호출이 무거워지니 500 안팎이 무난하다.

핫스팟까지 정밀 분석: RDB 오프라인 분석

운영 인스턴스에 부하를 주기 싫다면 RDB 스냅샷을 떠서 오프라인 분석한다. rdb 툴로 메모리 리포트를 뽑으면 키 패턴별 누적 용량이 보여 핫스팟 구조를 파악할 수 있다.

import subprocess, csv, collections

# rdb --command memory dump.rdb -f mem.csv 로 생성한 CSV를 접두어로 집계
prefix_size = collections.Counter()
with open("mem.csv") as f:
    for row in csv.DictReader(f):
        prefix = row["key"].split(":")[0]          # user:123 -> user
        prefix_size[prefix] += int(row["size_in_bytes"])

for prefix, total in prefix_size.most_common(10):
    print(f"{prefix:20s} {total/1024/1024:8.1f} MB")

특정 접두어가 전체 메모리의 큰 비중을 차지하면, 그 키 설계 자체가 핫스팟의 원인이다.

빅키를 쪼개서 제거하기

가장 근본적인 해결은 샤딩이다. 예를 들어 회원 전체를 담은 하나의 Hash user:all 대신, ID를 해시 버킷으로 나눠 user:{0..255}로 분산한다. 이렇게 하면 요소 수가 쪼개지고 클러스터 슬롯에도 고르게 퍼진다.

import redis
r = redis.Redis()

def bucket(uid: int) -> str:
    return f"user:{uid % 256}"          # 256개 버킷으로 분산

def set_user(uid: int, data: str):
    r.hset(bucket(uid), uid, data)      # 각 Hash는 요소 수가 1/256

def get_user(uid: int):
    return r.hget(bucket(uid), uid)

Set/ZSet도 동일하게 접미어 버킷으로 나누고, 조회 시 여러 버킷을 pipeline으로 병합한다. List라면 시계열·범위 단위로 키를 분리한다.

삭제도 블로킹이다: UNLINK와 점진 삭제

빅키를 DEL로 지우면 메모리 회수가 동기적으로 일어나 그 시간만큼 멈춘다. Redis 4.0 이상은 UNLINK로 키를 논리적으로 끊고 백그라운드 스레드가 회수하게 한다. 이미 존재하는 빅키를 지울 땐 HSCAN 등으로 배치 삭제한다.

# 즉시 백그라운드 회수
UNLINK user:all

# 지연 free를 기본값으로: 만료/삭제/리사이즈 시 논블로킹
CONFIG SET lazyfree-lazy-expire yes
CONFIG SET lazyfree-lazy-server-del yes
CONFIG SET lazyfree-lazy-user-del yes

거대한 Hash를 통째로 지울 수 없는 상황이라면 HSCAN으로 커서를 돌며 수백 개씩 HDEL 하는 방식으로 부하를 분산한다.

주의점

  • SCAN은 완전성을 보장하지 않는다. 순회 도중 추가된 키는 누락될 수 있으니 탐색·정리 작업은 여러 번 반복하거나 오프라인 스냅샷을 병행한다.
  • MEMORY USAGE는 샘플링한다. 요소가 많은 컬렉션은 근사치이므로, 정확한 값이 필요하면 SAMPLES 0 옵션으로 전수 계산하되 비용을 감안한다.
  • 핫키와 빅키는 다르다. 크기는 작아도 호출이 몰리는 핫키는 로컬 캐시나 읽기 복제로 풀어야 하며, 샤딩만으로는 해결되지 않는다.
  • 버킷 수는 나중에 바꾸기 어렵다. 모듈로 기반 분산은 버킷 개수를 바꾸면 전 키 재배치가 필요하니 초기에 여유 있게 잡는다.