왜 스테이지 순차 실행이 문제인가

기본적으로 GitLab CI는 stages 순서대로 파이프라인을 실행한다. 같은 스테이지의 잡이 모두 끝나야 다음 스테이지가 시작되는 stage barrier 때문이다. 예를 들어 build 스테이지에 프론트엔드와 백엔드 빌드가 함께 있으면, 3분짜리 백엔드 테스트를 시작하려는데 8분 걸리는 프론트엔드 빌드가 끝날 때까지 대기해야 한다. 서로 의존이 없는데도 말이다. 모노레포처럼 독립 컴포넌트가 많을수록 이 낭비는 커진다.

DAG와 needs의 개념

GitLab CI의 DAG(Directed Acyclic Graph)는 needs 키워드로 잡 간 의존성을 명시해, 스테이지 순서와 무관하게 준비된 잡부터 실행한다. 잡 A가 needs: [B]를 선언하면 B가 끝나는 즉시 A가 시작한다. 같은 스테이지의 다른 잡을 기다리지 않고, 심지어 이전 스테이지의 무관한 잡도 기다리지 않는다.

순차 파이프라인 예시

먼저 barrier가 걸리는 전형적인 설정이다. 모든 build 잡이 끝나야 test가 시작된다.

stages:
  - build
  - test
  - deploy

build:frontend:
  stage: build
  script: npm ci && npm run build   # 8분

build:backend:
  stage: build
  script: ./gradlew assemble        # 2분

test:backend:
  stage: test
  script: ./gradlew test            # build:frontend까지 끝나야 시작

needs로 DAG 구성하기

각 테스트 잡이 자신에게 필요한 빌드만 needs로 지정하면, 백엔드 라인은 프론트엔드 빌드를 기다리지 않는다.

test:backend:
  stage: test
  needs: ["build:backend"]          # 2분 후 바로 시작
  script: ./gradlew test

test:frontend:
  stage: test
  needs: ["build:frontend"]
  script: npm run test

deploy:
  stage: deploy
  needs: ["test:backend", "test:frontend"]
  script: ./deploy.sh

이렇게 하면 백엔드 테스트는 파이프라인 시작 2분 뒤 돌기 시작한다. 두 라인이 실제로 병렬 실행되어 전체 시간이 각 라인 중 최댓값으로 수렴한다.

아티팩트 전달 최적화

needs는 기본적으로 지정한 잡의 아티팩트를 다운로드한다. 아티팩트가 필요 없는 의존이라면 artifacts: false로 다운로드를 꺼서 네트워크·디스크 비용을 줄인다.

test:lint:
  stage: test
  needs:
    - job: build:backend
      artifacts: false            # 순서 의존만, 파일은 불필요
  script: ./gradlew lint

순차 vs DAG 비교

항목기본 stagesneeds(DAG)
실행 기준스테이지 순서의존 잡 완료 시점
병렬성같은 스테이지 내로 한정독립 라인 전체
대기 시간가장 느린 잡에 종속각 라인의 임계 경로
설정 복잡도낮음의존 관계 관리 필요

주의점

  • needs 한도: 잡당 needs는 기본 50개까지다. 팬인이 과하면 리팩터링을 고려한다.
  • 순환 금지: DAG는 비순환이어야 한다. A→B→A 형태는 파이프라인 검증에서 실패한다.
  • 아티팩트 누락: 순차 실행에서는 이전 스테이지 아티팩트가 암묵적으로 전달됐지만, DAG에서는 needs에 명시한 잡의 아티팩트만 받는다. 필요한 잡을 빠뜨리면 파일을 찾지 못한다.
  • 부분 파이프라인: needs를 쓰면 일부 잡만 있는 파이프라인 생성이 가능하지만, deploy 같은 최종 잡의 의존을 정확히 나열하지 않으면 검증 없이 배포되는 사고가 날 수 있다.

DAG는 마법이 아니라 의존성을 정직하게 선언하는 작업이다. 임계 경로가 긴 잡을 찾아 우선 분리하는 것부터 시작하면 효과가 크다.