야놀자 Data Engineer 자기소개서

1. 본인의 데이터 엔지니어로서의 경험과 기술 스택에 대해 구체적으로 설명해 주세요.

다양한 데이터 처리와 분석 작업을 수행하며 데이터 엔지니어로서의 역량을 쌓아왔습니다. 처음 데이터 관련 프로젝트를 시작했을 때는 여러 데이터 소스에서 정보를 수집하고 정제하는 작업이 주를 이루었으며, 이 과정에서 SQL과 Python을 활용하여 데이터를 효율적으로 추출하고 가공하는 방법을 익혔습니다. 특히, 데이터의 정합성과 일관성을 유지하는 데 중점을 두었으며, 이를 위해 데이터 정제 및 변환 작업에 많은 시간을 투자하였습니다. 이후 대규모 데이터셋을 다루는 과정에서 Hadoop과 Spark 플랫폼을 접하게 되었으며, 분산처리 환경을 활용하여 빠르고 안정적인 데이터 처리를 경험하였습니다. Spark SQL을 활용한 데이터 집계와 분석 작업을 통해 실시간과 배치 방식의 데이터 처리 능력을 키우게 되었습니다. 또한, 데이터 파이프라인 구축과 오케스트레이션에 Airflow를 적극 활용하며, 데이터 수집부터 저장, 분석에 이르는 전체 프로세스를 효율적으로 자동화하는 경험도 쌓았습니다. 클라우드 환경에서는 AWS 플랫폼을 활용하여 EC2, S3, RDS 등을 연동, 운영…