포트폴리오
Data Pipeline AX
데이터 수집·분석 자동화
흩어진 데이터를 자동 수집·정제하고 AI 분석 리포트를 생성하는 파이프라인을 구축했습니다.
PythonAirflowBigQueryGPT-4
Challenge
매출·재고·고객 데이터가 5개 이상의 시스템에 분산되어 있어, 주간 리포트를 만들기 위해 담당자가 수동으로 데이터를 수집·정리하는 데 3일이 소요되었습니다.
Solution
Airflow 기반 ETL 파이프라인을 구축하여 모든 데이터 소스를 BigQuery로 자동 통합하고, GPT-4가 데이터를 분석하여 인사이트 리포트를 자동 생성합니다.
Before
수작업 3일
After AX
실시간 자동화
Features
핵심 기능
다중 소스 통합
5개 이상의 데이터 소스를 자동으로 수집·통합합니다.
실시간 데이터 정제
수집된 데이터를 자동으로 정제·표준화합니다.
AI 인사이트 리포트
GPT-4가 데이터를 분석하여 인사이트를 도출합니다.
이상 탐지 알림
비정상 패턴 발견 시 즉시 Slack으로 알림합니다.
Results
프로젝트 성과
3일 → 실시간
리포트 작성
99.2%
데이터 정확도
월 120시간
인력 절감