네오위즈 데이터엔지니어링 자기소개서

1. 본인이 데이터 엔지니어로서 해결했던 가장 어려운 문제와 그 과정을 구체적으로 설명해 주세요.

해결했던 가장 어려운 문제는 대규모 로그 데이터를 효율적으로 처리하고 분석할 수 있는 데이터 파이프라인을 구축하는 일이었습니다. 당시 회사는 방대한 사용자 행동 로그를 수집하고 실시간으로 분석하는 시스템이 필요했으나, 기존 시스템은 처리 속도가 느리고 확장성이 떨어져 데이터 누락이나 분석 지연 문제들이 자주 발생하였습니다. 이 문제를 해결하기 위해 먼저 데이터를 수집하는 단계부터 점검하였습니다. 다양한 로그 소스에서 데이터를 안정적으로 모으기 위해 Kafka를 도입하여 데이터 스트림을 안정적으로 관리할 수 있도록 설계하였고, 데이터를 정제하고 가공하는 과정에서는 Spark를 활용해 배치 및 스트림 처리를 병행하였습니다. 그러나 문제는 데이터의 양이 계속 증가하면서 처리 속도가 점점 더 느려지고, 실시간 분석이 어려워지는 것이었습니다. 이를 해결하기 위해 먼저 데이터를 분산 저장할 수 있는 데이터 레이크 구축을 계획했고, HDFS와 데이터 웨어하우스를 결합하여 데이터를 효율적으로 저장하고 조회할 수 있도록 설계하였습니다…