[NOW] N3-lite: 설정 파편화 1차 해소 (batch_id · S3 경로 규약 통일)

[jaewonnow]

개요

4개 파이프라인(Oliveyoung_Crawling, Iceberg_pipeline, INCI_Pipeline, GraphRAG_Pipeline) 간 batch_id 형식, AWS 리전, S3 버킷/prefix 규약이 파편화되어 있음. 전체 NEXT 태스크의 전제 조건.

작업 항목

• batch_id 형식 통일: YYYYMMDD_HHMMSS UTC
• S3 버킷명 / 리전 / prefix 규약 중앙화
• .env / Airflow Variable / 기본값 우선순위 문서화
• run_id, batch_id, upstream_batch_id 추적 규약 정의

담당자

재원

선행 조건

없음 (즉시 진행 — 전체 NEXT 태스크의 게이팅 조건)

완료 조건

4개 파이프라인 모두 동일한 batch_id/S3 경로 규약 사용

관련 태스크

• N3-lite 완료 후 → X1 Airflow 통합 DAG, X2 Logging, X4 단위 테스트 병렬 착수 가능
• 완료 후 N3-2 (공통 설정 레이어 확장) 진행