한화솔루션 큐셀부문 IT-Data Engineering 자기소개서

1. 본인의 데이터 엔지니어링 관련 경험과 기술에 대해 구체적으로 서술해 주세요.

데이터 엔지니어로서 다양한 프로젝트를 수행하며 실무 경험을 쌓아왔습니다. 데이터 파이프라인 구축과 운영, 데이터 웨어하우스 설계 및 최적화, 데이터 품질관리 등 여러 분야에 걸쳐 경험이 있습니다. 대용량 데이터를 처리하기 위해 분산처리 시스템인 Hadoop과 Spark를 활용한 경험이 있습니다. Hadoop의 HDFS를 이용하여 데이터를 수집하고 저장하며, Spark를 활용하여 데이터의 정제, 가공, 분석 작업을 수행하였습니다. Spark의 인메모리 특징을 적극 활용하여 데이터 처리 시간을 단축시키고, 효율성을 높였습니다. 또한, ETL 프로세스를 설계할 때는 Apache Airflow를 도입하여 작업 흐름을 자동화하고 스케줄링하였으며, 에러 발생 시 알림 시스템을 구축하여 안정성을 확보하였습니다. 데이터 저장소에는 관계형 데이터베이스인 MySQL과 비관계형 데이터베이스인 MongoDB를 활용하였으며, 각각의 특징에 맞게 설계하였습니다. MySQL은 정형 데이터를 효율적으로 저장하고, 인덱스와 파티셔닝을 통해 쿼리 성능을 개선하였으며, MongoDB는 비정형 데이터에 대한 유연한 저장…