현대카드 Data Engineer 자기소개서 (1)

1. 데이터 엔지니어로서 본인이 가지고 있는 기술적 역량과 경험에 대해 구체적으로 서술해 주세요.

데이터 엔지니어로서 다양한 기술적 역량과 실무 경험을 갖추고 있습니다. 데이터 파이프라인 개발에 강점을 가지고 있습니다. 대용량 데이터를 안정적이고 효율적으로 처리하기 위해 Apache Spark와 Hadoop을 활용하여 병렬처리 시스템을 구축하고 운영해 본 경험이 있습니다. 특히, 고객 행동 분석을 위한 실시간 데이터 처리 시스템을 설계하여 일별 데이터 수집, 정제, 저장 과정을 자동화함으로써 데이터 처리 시간과 비용을 크게 절감한 바 있습니다. 또한, 데이터 저장과 관리를 위해 관계형 데이터베이스인 MySQL과 NoSQL인 MongoDB를 활용하여 다양한 유형의 데이터를 효율적으로 저장·검색할 수 있는 구조를 설계하였으며, 데이터 품질 유지와 보안을 위해 정기적인 검증 과정을 도입하였습니다. 데이터를 수집하는 과정에서는 Kafka를 이용한 실시간 스트리밍 데이터 수집 시스템을 구축하고, 데이터 유실 방지와 처리 속도 향상에 초점을 맞추어 메시지 큐 시스템의 튜닝과 최적화를 진행하였으며, 이로 인해 서비스의 안정성을 크게 높였습니다. 데이…