LS ITC 데이터 엔지니어 자기소개서

1. 본인이 데이터 엔지니어로서 수행했던 프로젝트 또는 경험에 대해 구체적으로 설명해 주세요.

데이터 엔지니어로서 여러 프로젝트를 수행하며 데이터 처리 및 분석 능력을 키워왔습니다. 그중 한 개는 고객 행동 분석을 위한 데이터 파이프라인 구축 프로젝트입니다. 당시 고객 행동 데이터는 여러 시스템에서 수집되었으며, 데이터의 일관성과 적시성을 확보하는 것이 핵심 과제였습니다. 먼저 데이터 수집 단계에서는 로그 서버와 트랜잭션 시스템에서 발생하는 데이터를 실시간으로 수집하기 위해 Kafka를 도입하였습니다. 데이터의 정제와 가공이 필요하다고 판단하여 Spark 스트리밍을 활용한 ETL 프로세스를 설계하였고, 이를 통해 수집된 원시 데이터를 구조화된 형태로 변환하였습니다. 이후 데이터 저장 단계에서는 안정성과 확장성을 위해 클라우드 기반의 데이터 웨어하우스인 Snowflake를 선택하였으며, 수집된 데이터를 효율적으로 적재하는 작업을 자동화하였습니다. 데이터를 적재하는 과정에서는 데이터 품질 확보를 위해 검증 스크립트와 데이터 무결성 검사를 병행하였으며, 이상 데이터에 대해서는 별도로 모니터링하며 빠르게 처리하였습니다. 이…