비바리퍼블리카(토스) Data Engineering 자기소개서

1. 본인의 데이터 엔지니어링 경험과 기술 역량에 대해 구체적으로 서술해 주세요.

데이터 엔지니어로서 데이터 수집, 처리, 저장, 분석을 위한 시스템 설계 및 구축 경험이 풍부합니다. 특히 대규모 데이터 환경에서 신뢰성 있고 확장 가능한 인프라를 구축하는 데 강점을 가지고 있습니다. 여러 프로젝트를 수행하면서 데이터 파이프라인의 설계와 최적화, 데이터 품질 확보 등 중요한 역할을 수행하였으며, 다양한 기술 스택을 활용하여 문제 해결 역량을 키워왔습니다. 고객 행동 데이터를 기반으로 분석 시스템을 개발할 때는 Kafka와 Spark 같은 스트리밍 처리 기술을 적극 활용하였으며, 수집된 데이터를 정제하고 적재하는 과정에서는 Airflow를 이용한 워크플로우 자동화와 스케줄링을 경험하였습니다. 데이터 저장 측면에서는 분산 저장 시스템인 Hadoop HDFS와 데이터 웨어하우스인 Snowflake, Redshift를 활용하여 수집된 데이터를 효율적으로 저장하고 관리하였으며, 데이터 엔지니어링 표준과 모범 사례를 준수하여 시스템의 안정성과 성능을 확보하였습니다. 또한, 실시간 데이터 처리와 분석이 필요한 경우 Kafka와 Spark Streaming을 조합하여 실시간 처…