유디에스 부설연구소 Data Platform- 기술지원 자기소개서

1. 본인이 데이터 플랫폼 또는 관련 분야에서 경험한 프로젝트 또는 업무 사례를 상세히 기술해 주세요.

데이터 플랫폼 분야에서 다양한 프로젝트와 업무를 수행하며 실무 경험을 쌓아왔습니다. 그 중에서도 가장 기억에 남는 프로젝트는 대형 제조업체의 생산 데이터 통합 및 분석 플랫폼 개발 업무입니다. 이 프로젝트에서는 먼저 기존에 흩어져 있던 다양한 생산 설비 데이터와 품질 데이터, 설비 유지보수 데이터를 수집하여 중앙 통합 데이터베이스로 구축하는 작업을 담당하였으며, 데이터 수집 단계에서는 IoT 센서에서 발생하는 데이터를 실시간으로 처리할 수 있는 스트리밍 데이터 파이프라인을 설계하였습니다. 이때 Apache Kafka와 Spark Streaming을 활용하여 대용량 실시간 데이터를 빠르게 처리하였으며, 데이터의 정확성 확보를 위해 데이터 정제와 검증 과정을 엄격하게 수행하였습니다. 이후, 분석용 데이터 셋을 구축하기 위해 정형 데이터와 비정형 데이터를 통합하는 과정이 필요하였고, 이때 데이터 모델링 작업과 ETL 프로세스 설계에 집중하였습니다. 데이터베이스는 대용량 처리에 강한 분산 데이터 저장소인 Hadoop과 Spark를 적극 활용하였으…