GS네오텍 Cloud Solutions Architect Data 엔지니어 자기소개서

1. 본인이 데이터 엔지니어로서 수행했던 프로젝트 경험과 역할을 구체적으로 서술하시오.

처음 참여했던 프로젝트는 고객 행동 분석 시스템 구축이었으며, 이 프로젝트의 핵심 목표는 방대한 고객 데이터를 효율적으로 수집하고 저장하여 실시간 분석과 보고에 활용하는 것이었습니다. 데이터 파이프라인 설계와 구축을 주도하였으며, 다양한 데이터 소스에서 데이터를 안정적으로 수집하기 위해 Apache Kafka를 활용한 스트리밍 데이터 처리 시스템을 개발하였습니다. 이를 통해 실시간으로 들어오는 고객 이벤트 데이터를 안정적으로 처리하여 데이터 웨어하우스로 전송하였고, 데이터 손실 없이 빠른 처리 속도를 유지할 수 있었습니다. 이후 데이터 저장소 설계는 데이터의 특성과 사용 목적에 맞게 Snowflake와 Hadoop HDFS를 병행 사용하여 구조화된 데이터와 비구조화된 데이터를 각각 최적화된 환경에서 저장하였습니다. 데이터 수집부터 저장까지의 전체 프로세스를 자동화하기 위해 Airflow를 활용한 워크플로우 관리 시스템을 도입하였으며, 이를 통해 데이터 적재 작업의 스케줄링과 모니터링을 효율적이고 안정적으로 수행할 수 있었습니다. 또한, 수집된 …