TOAST가 왜 필요한가
PostgreSQL의 한 페이지(블록)는 기본 8KB다. 하나의 튜플은 한 페이지를 넘어갈 수 없기 때문에, JSONB·text·bytea 같은 가변 길이 컬럼이 커지면 행 자체가 페이지에 들어가지 못하는 문제가 생긴다. 이를 해결하는 장치가 TOAST(The Oversized-Attribute Storage Technique)다. 튜플이 약 2KB(TOAST_TUPLE_THRESHOLD)를 넘으면 큰 컬럼을 압축하거나 별도의 TOAST 테이블(pg_toast.pg_toast_*)로 분리해 저장하고, 원본 튜플에는 포인터만 남긴다.
어디서 성능 문제가 생기는가
TOAST는 편리하지만 세 가지 비용이 숨어 있다. 첫째, TOAST된 컬럼을 읽으려면 메인 테이블과 TOAST 테이블을 추가로 조회하므로 랜덤 I/O가 늘어난다. 둘째, 압축/해제에 CPU가 소모된다. 셋째, 큰 컬럼을 SELECT *로 매번 끌어오면 실제로 필요 없는데도 디토스트(detoast) 비용을 낸다. 특히 대용량 JSONB에서 한 필드만 필요한데 전체를 읽는 패턴이 흔한 함정이다.
저장 전략(storage) 이해하기
컬럼마다 4가지 저장 전략을 지정할 수 있다. 워크로드에 따라 튜닝 포인트가 된다.
| 전략 | 압축 | 라인 밖 저장 | 적합한 경우 |
|---|---|---|---|
| PLAIN | X | X | 고정 길이 타입(int 등) |
| MAIN | O | 최후에만 | 압축은 하되 가급적 인라인 유지 |
| EXTERNAL | X | O | 부분 읽기·substring 잦은 bytea/text |
| EXTENDED | O | O | 대부분의 가변 컬럼(기본값) |
부분 접근이 잦다면 압축을 끄는 EXTERNAL이 substring 성능을 크게 높인다. 압축된 값은 부분만 꺼내도 전체를 해제해야 하기 때문이다.
-- 로그 본문을 부분 조회 위주로 쓴다면 압축 해제 비용 제거
ALTER TABLE events ALTER COLUMN payload SET STORAGE EXTERNAL;
-- 현재 어떤 컬럼이 TOAST 테이블로 나갔는지 확인
SELECT relname, reltoastrelid::regclass AS toast_table
FROM pg_class
WHERE relname = 'events';
-- TOAST 테이블 실제 크기
SELECT pg_size_pretty(pg_relation_size(reltoastrelid))
FROM pg_class WHERE relname = 'events';
압축 알고리즘 선택
PostgreSQL 14부터 컬럼별 압축 방식으로 기존 pglz 외에 lz4를 선택할 수 있다. lz4는 압축률은 다소 낮지만 압축/해제 속도가 빨라, 디토스트가 병목인 읽기 위주 워크로드에서 유리하다. 서버 기본값은 default_toast_compression으로 지정한다.
# postgresql.conf — 신규 데이터 기본 압축을 lz4로
default_toast_compression = lz4
-- 특정 컬럼만 lz4로 변경 (기존 행은 재작성 전까지 그대로)
ALTER TABLE events ALTER COLUMN payload SET COMPRESSION lz4;
-- 기존 행까지 즉시 재압축하려면 테이블 재작성 필요
VACUUM FULL events; -- 잠금 주의, 대안: pg_repack
쿼리 패턴으로 디토스트 줄이기
가장 효과가 큰 튜닝은 저장 옵션이 아니라 쿼리다. 필요한 컬럼만 명시하고, 대용량 컬럼은 필터·정렬 조건에 두지 않는다. JSONB에서 특정 키만 쓴다면 생성 컬럼이나 표현식 인덱스로 값을 미리 뽑아 두면 원본을 디토스트하지 않는다.
-- status만 필요한데 payload 전체를 디토스트하는 안티패턴
-- SELECT * FROM events WHERE payload->>'status' = 'ok';
-- 자주 쓰는 키를 표현식 인덱스로 (원본 디토스트 회피)
CREATE INDEX idx_events_status ON events ((payload->>'status'));
-- 조회 시 큰 컬럼 제외
SELECT id, created_at FROM events WHERE payload->>'status' = 'ok';
운영 시 주의점
TOAST 테이블도 결국 별도 테이블이므로 죽은 튜플이 쌓이면 부풀어 오른다. 대용량 컬럼을 자주 UPDATE하면 TOAST 청크 전체가 새로 쓰이고 이전 버전이 남으므로, 오토배큐엄 대상에서 빠지지 않았는지 pg_stat_all_tables로 TOAST 관계까지 확인해야 한다. 또한 STORAGE·COMPRESSION 변경은 이후 기록되는 행에만 적용되며 기존 데이터는 바꾸지 않는다. 전체 반영이 필요하면 VACUUM FULL이나 pg_repack으로 재작성해야 하고, 이때 잠금과 디스크 여유 공간을 반드시 고려한다.
정리
TOAST는 대용량 컬럼을 자동으로 다뤄주지만, 기본값이 모든 워크로드에 최적은 아니다. 부분 읽기가 많으면 EXTERNAL로 압축을 끄고, 읽기 병목이면 lz4를 선택하며, 무엇보다 큰 컬럼을 불필요하게 디토스트하지 않는 쿼리 설계가 핵심이다. 변경 후에는 실제 크기와 배큠 상태를 측정해 효과를 검증한다.