이베이코리아 Big Data Engineer 자기소개서

1. 본인의 데이터 엔지니어링 관련 경험과 기술 스택에 대해 구체적으로 서술하시오.

데이터 엔지니어로서 다양한 프로젝트를 통해 안정적이고 확장 가능한 데이터 파이프라인을 구축하는 데 집중해 왔습니다. 주로 대용량 데이터를 처리하는 환경에서 다양한 기술 스택을 활용하여 효율적인 데이터 수집, 저장, 가공, 배포 업무를 수행해 왔으며 실시간 데이터 처리와 배치 처리 모두에 대한 경험을 갖추고 있습니다. 가장 데이터 수집 단계에서는 다수의 외부 API와 데이터베이스, 로그 데이터를 통합할 수 있도록 파이프라인을 설계하였습니다. 이를 위해 Python을 비롯한 스크립트 언어와 함께 Apache NiFi와 같은 데이터 흐름 자동화 도구를 활용하여 장애에 강한 데이터 수집 프로세스를 구축하였습니다. 또한, 실시간 데이터 처리를 위해 Kafka와 RabbitMQ를 이용하여 스트리밍 데이터를 처리하였으며, 이와 연계하여 Spark Streaming을 활용한 실시간 분석 시스템도 개발하였습니다. 데이터 저장 단계에서는 데이터의 특성에 맞게 적절한 저장소를 선택하였습니다. 구조화된 데이터의 경우 관계형 데이터베이스와 데이터 웨어하우스 솔루션인 Redshift 또는 Click…