야놀자 트러스테이 Data Engineer 자기소개서

1. 본인의 데이터 엔지니어링 관련 경험과 기술을 구체적으로 설명해 주세요.

데이터 엔지니어로서 다양한 프로젝트를 수행하며 데이터 수집, 저장, 처리, 분석에 대한 폭넓은 경험을 쌓아왔습니다. 특히 대규모 데이터 인프라 구축과 자동화 작업에 강점을 가지고 있으며, 데이터 품질 향상과 효율적인 워크플로우 설계에 많은 노력을 기울여 왔습니다. 처음에는 여러 데이터 소스에서 발생하는 방대한 데이터를 안정적으로 수집하는 작업에 참여하였으며, Kafka와 Flink를 활용하여 실시간 스트리밍 데이터 파이프라인을 설계하고 운영하였습니다. 이를 통해 실시간 분석이 가능하도록 데이터의 적시성 확보를 이루었으며, 시스템의 장애 발생 시 신속한 복구와 안정성 유지에 집중하였습니다. 다양한 데이터 저장소를 활용하여 데이터를 체계적으로 관리하였습니다. Hadoop과 Spark 기반의 분산 파일 시스템을 활용하여 수백 테라바이트에 달하는 데이터를 효율적으로 저장하고 관리하였으며, 데이터웨어하우스에는 Redshift와 Snowflake를 도입하여 다차원 분석이 가능하도록 구조를 설계하였습니다. 이와 함께 ETL 파이프라인 자동화에 많은 노력을 기울였으며, Apac…