라인플러스 LINE Ads Data Engineer 자기소개서

1. 본인의 데이터 엔지니어링 관련 경험과 기술에 대해 구체적으로 서술하시오.

데이터 엔지니어로서 다양한 프로젝트 경험과 기술 역량을 보유하고 있습니다. 대용량 데이터 처리와 분석을 위한 데이터 파이프라인 구축에 강점을 가지고 있으며, 복잡한 데이터 흐름을 효율적이고 안정적으로 설계하는 업무를 수행해 왔습니다. 데이터 수집 단계에서는 크롤러와 API 연동을 통해 다양한 소스의 데이터를 실시간 또는 배치 방식으로 수집할 수 있는 시스템을 개발하였습니다. 주로 파이썬과 자바를 활용하여 웹 크롤러를 작성하였으며, API 호출 최적화와 에러 핸들링을 통해 데이터의 신뢰성을 높이기 위해 노력하였습니다. 데이터 저장에는 다양한 데이터베이스와 데이터 웨어하우스를 활용하였으며, 특히 관계형 데이터베이스인 MySQL과 NoSQL 계열인 몽고DB를 프로젝트별로 적절히 조합하여 사용하였습니다. 대량의 로그 데이터와 사용자 행동 데이터를 효율적으로 저장하고 분석할 수 있도록 스키마 설계와 인덱싱 작업을 수행하였으며, 이러한 작업은 데이터의 검색 속도와 분석 효율성을 크게 향상시켰습니다. 데이터 처리 파이프라인은 주로 아파치 스파크와 하둡…