본문/내용
1. 11번가의 빅데이터 인프라 구조에 대해 설명해 주세요.
11번가의 빅데이터 인프라 구조는 고도화된 분산 처리 시스템과 저장 솔루션이 결합되어 있으며, 데이터의 신속한 실시간 분석과 장기 저장이 가능하도록 설계되어 있습니다. 수백 테라바이트 이상의 데이터를 효율적으로 처리하기 위해 Hadoop과 Spark를 주로 활용하며, 이들은 클라우드 기반 또는 온프레미스 환경에서 안정적으로 운영됩니다. 실시간 데이터 처리를 위해 Kafka와 Flink를 도입하여 사용자 행동, 클릭 데이터 등을 1초 이내에 분석하며, 연간 수억 건의 거래 데이터를 빠르게 처리합니다. 또한, 데이터 웨어하우스로는 Amazon Redshift와 Snowflake를 이용하여 고객 맞춤형 추천 시스템, 재고 관리 등 핵심 비즈니스에 활용됩니다. 저장소는 HDFS와 분산 파일 시스템을 사용하여 데이터의 가용성과 확장성을 높이고, 평균 데이터 처리 속도는 2초 이내로 유지됩니다. 이러한 구조 덕분에 연간 2PB 이상의 데이터를 안전하게 저장하면서도, 데이터 분석, 머신러닝 모델 학습에 요구되는 높은 처리 속도를 확보하고 있습니다. 실시간 고객 행동 분석을 통해 이커머스 매출이 15% 증가하는 성과를 …