toss Data Engineering 자기소개서

1. 본인의 데이터 엔지니어링 관련 경험과 기술 스택에 대해 구체적으로 작성해 주세요.

데이터 엔지니어로서 다양한 프로젝트를 수행하며 데이터 수집, 저장, 처리 및 분석 시스템을 구축하는 경험을 갖추고 있습니다. 주로 대규모 데이터 처리와 데이터 파이프라인 최적화에 집중하여 효율적인 데이터 흐름을 만들어내는 데 역량을 쌓아 왔습니다. 초기에는 ETL 프로세스 설계부터 시작하여 데이터 웨어하우스 구축까지 담당하며 데이터 품질 관리와 실시간 처리 시스템 구축에 힘썼습니다. 이를 위해 다양한 데이터베이스와 저장소를 활용하였으며, SQL과 NoSQL 계열 데이터베이스 모두에 능숙합니다. 특히 관계형 데이터베이스인 MySQL, PostgreSQL을 활용하여 구조화된 데이터를 효과적으로 저장하고, 비관계형 데이터베이스인 MongoDB, Elasticsearch를 이용해 비정형 데이터의 빠른 검색과 분석이 가능하게 하였습니다. 대용량 데이터 처리에는 Hadoop과 Spark를 적극적으로 활용하였으며, Spark에서는 RDD, DataFrame, Spark SQL 등의 API를 이용하여 대규모 분산 처리와 데이터 변환 작업을 수행하였습니다. 또한, 데이터 스트리밍 처리에는 Kafka와 Flink를 활…