SK플래닛 A camp Data Engineer 자기소개서

1. 데이터 엔지니어로서 본인이 가지고 있는 기술적 역량과 경험을 구체적으로 서술해 주세요.

대규모 데이터 집합을 처리하는 데 필요한 다양한 데이터 처리 기술에 익숙합니다. Hadoop 생태계의 핵심 구성요소인 HDFS와 맵리듀스에 대한 깊은 이해를 바탕으로 효율적인 분산 저장과 병렬 처리 방식을 구현해 왔습니다. 또한, Spark를 활용한 실시간 데이터 처리와 배치 작업 설계에 능숙합니다. Spark의 RDD와 DataFrame API를 활용하여 대용량 데이터를 빠르게 분석하고 처리하는 작업을 수행하였으며, 이를 통해 데이터 처리 시간과 비용 효율성을 높인 경험이 있습니다. 데이터 파이프라인 설계와 구축에 있어서 ETL 작업 자동화에 많은 노력을 기울여 왔습니다. Apache Airflow와 같은 워크플로 관리 도구를 활용하여 복잡한 데이터 흐름을 안정적이고 재사용 가능하게 설계하였으며, 이를 통해 데이터의 일관성과 신뢰성을 확보하였습니다. 또한, Python과 Scala를 주 프로그래밍 언어로 활용하며, 데이터 정제, 변환, 집계 작업을 효율적으로 수행하였습니다. 데이터의 여러 원천에서 데이터를 수집할 때는 API 연동, 데이터베이스 연동 작업을 수행했으며, 이를 …