본문/내용
1.지원 직무와 관련한 경력 및 경험 활동의 주요 내용과 본인의 역할에 대해서 구체적으로 기술해 주십시오
[데이터 기반 혁신의 핵심 플래폼 개발] 유디에스 데이터 플랫폼의 핵심 데이터 수집 개발 업무를 담당하며, 수집 성능 향상과 안정성을 목표로 다양한 프로젝트를 수행하였습니다. 주된 역할은 데이터 수집 엔진 설계 및 구현, 실시간 스트리밍 데이터 처리 시스템 개발, ETL 프로세스 자동화입니다. 특히, 수집 대상 데이터의 양이 매일 약 50TB에 달하는 상황에서 수집 지연 시간을 기존의 15분에서 5분으로 감축하는 성과를 이루었습니다. 이를 위해 Apache Kafka와 Spark Streaming 기반의 데이터 수집 구조를 설계하고, 수집 속도 향상과 장애 발생 시 신속 복구를 위한 모니터링 시스템을 구축하였습니다. 또한, 수집 오류 발생률을 3% 이하로 낮추기 위해 오류 처리 및 데이터 정제 로직을 정교하게 설계하였으며, 장애 시 자동 복구 프로세스를 적용하여 시스템 가용성을 9 99% 이상 확보하였습니다. 구축된 시스템은 다양한 소스에서의 데이터 수집을 가능하게 하였으며, 수집 데이터의 품질 검증 자동화로 데이터 신뢰성을 크게 향상시켰습니다. 이를 …