[NEXT] X1: Airflow 통합 DAG 정리 (oliveyoung → iceberg → graphrag 파이프라인 연결)

[jaewonnow]

개요

현재 각 파이프라인 DAG가 분산되어 있음. 단일 Airflow 오케스트레이션으로 통합하여 end-to-end 크롤링 → ETL → GraphRAG 흐름 자동화 필요.

작업 항목

• cosme_pipeline/dags와 INCI_Pipeline/dags 역할 분리 및 정리
• 크롤링 트리거 DAG 구성

  oliveyoung_crawl
       ↓ TriggerDagRunOperator
  iceberg_bronze_to_gold
       ↓ TriggerDagRunOperator
  graphrag_claim_extraction
  

• inci_monthly_pipeline 기존 DAG 유지
• DockerOperator 로그 드라이버 → CloudWatch / stdout 전환
• SLA 타임아웃 설정: 크롤링 4h / Iceberg 2h / GraphRAG 6h

담당자

지우

선행 조건

N3-lite (설정 파편화 1차 해소) 완료 후 착수

완료 조건

단일 Airflow DAG 트리거로 크롤링부터 GraphRAG 적재까지 자동 실행

관련 태스크

• F2 데이터 계약 문서의 선행 조건