아모레퍼시픽 Data Engineer 자기소개서

1. 본인이 데이터 엔지니어로서 수행한 프로젝트 경험과 역할에 대해 구체적으로 기술해주세요.

데이터 엔지니어로서 다양한 프로젝트를 수행하며 데이터 인프라 구축과 최적화를 위해 노력해 왔습니다. 특히 고객 행동 분석을 위한 데이터 파이프라인 구축 프로젝트에서 핵심 역할을 담당하였습니다. 해당 프로젝트는 여러 데이터 소스에서 발생하는 다양한 데이터를 수집, 처리, 저장하는 과정을 자동화하는 것이 목표였습니다. 먼저 데이터 소스별로 적절한 수집 방법을 설계하였으며, 실시간 데이터 처리를 위해 스트림 처리 시스템인 Kafka를 도입하였습니다. Kafka를 활용하여 실시간으로 고객의 행동 데이터를 수집하였으며, 수집된 데이터는 Spark 스트림을 통해 필요한 전처리 과정을 거치게 하였습니다. 전처리 과정에서는 데이터 정제와 중복 제거, 결측치 처리 등 품질 향상 작업을 수행하였고, 최종적으로 정제된 데이터는 Hadoop 분산 파일 시스템(HDFS)에 저장하였습니다. 이후 데이터를 활용하는 Analyst와 Data Scientist들이 쉽게 접근할 수 있도록 데이터 웨어하우스에 적재하는 작업도 진행하였으며, 이를 위해 Apache Hive와 Spark SQL을 적극 활용…