본문/내용
1.지원 직무와 관련한 경력 및 경험 활동의 주요 내용과 본인의 역할에 대해서 구체적으로 기술해 주십시오
[대용량 데이터 실시간 처리의 마스터] 아프리카TV의 실시간 방송 서비스는 매일 평균 2천만 건 이상의 데이터 발생으로 인해 초당 500만 건 이상의 이벤트를 처리해야 합니다. 이를 위해 분산 시스템 구조 설계와 최적화에 집중하여 데이터 처리 성능을 30% 향상시킨 경험이 있습니다. Kafka와 Spark Streaming을 연계하여 데이터의 무손실 처리와 실시간 분석 시스템을 구축했고, 멀티 노드 환경에서의 확장성을 고려하였으며, 평균 지연 시간을 200ms 이내로 유지하였습니다. 이 과정에서 1억 건 이상의 히트 데이터를 처리하며 시스템 병목 현상을 최소화했고, 장애 발생 시 자동 복구 모니터링 시스템을 구축하여 가용성을 9 99% 이상 확보하였습니다. 대용량 데이터 저장 관점에서는 Hadoop HDFS와 NoSQL 데이터베이스를 활용하여 10PB 규모의 데이터 저장 및 관리를 담당하였으며, 데이터 읽기/쓰기 평균 성능을 기존 대비 40% 이상 향상시켰습니다. 또한, 사용자 행동 로그와 채팅 데이터를 분석하는 머신러닝 파이프라인 개발에 참여해 사용자 맞춤형 컨…