본문/내용
1.지원 직무와 관련한 경력 및 경험 활동의 주요 내용과 본인의 역할에 대해서 구체적으로 기술해 주십시오
[데이터 파이프라인 최적화와 확장 경험] 대형 유통사 온라인 플랫폼의 데이터 엔지니어로서 고객 행동 데이터를 실시간으로 처리하고 분석하는 프로젝트를 담당하였습니다. 서버 부하와 지연 시간을 줄이기 위해 Apache Spark와 Flink 기반의 스트림 처리 시스템을 설계 및 구축하였으며, 기존 시스템에 비해 처리 속도를 35% 향상시켰습니다. 매일 약 50억 건의 로그 데이터를 수집하고 20TB 이상의 데이터를 처리하며, ETL 프로세스의 안정성과 신뢰성을 높이기 위해 Airflow와 Kafka를 결합한 워크플로우를 개발하였습니다. 이를 통해 일별 데이터 적재 실패율을 기존 5%에서 0. 5%로 낮추었고, 데이터 품질을 확보하면 데이터 기반 추천 서비스의 정확도도 10% 향상시켰습니다. 서버 성능과 용량 확장에 따른 클라우드 인프라 비용 최적화에도 집중하여 AWS 비용을 연간 15% 절감하는 성과를 거두었습니다. 또한, 데이터 수집부터 저장, 가공 단계에 이르기까지 전체 프로세스를 모니터링하고 이슈 발생 시 즉각 대응하는 대시보드 시스템을 구축하여 운영 안…