[면접 합격자료] 11번가 빅데이터 엔지니어 합격 문항 기출 최종합격

1. 빅데이터 엔지니어로서 가장 중요한 기술 스택은 무엇이라고 생각하며, 그 이유는 무엇인가요

빅데이터 엔지니어로서 가장 중요한 기술 스택은 분산 처리 시스템과 데이터 저장 기술입니다. Hadoop과 Spark는 방대한 데이터를 신속하게 처리하는데 필수적입니다. 예를 들어, 11번가에서는 일일 거래 데이터가 10TB 이상 발생하는데, 이를 실시간 분석하기 위해 Spark를 도입하여 처리 속도를 4배 향상시켰습니다. 또한, 데이터 저장을 위해 HDFS와 분산 데이터베이스인 Cassandra를 활용하여 고가용성과 확장성을 확보해야 합니다. 최근 프로젝트에서는 고객 행동 분석 데이터를 저장하기 위해 Cassandra 클러스터를 구축했으며, 9 99%의 가용성을 달성하였다고 합니다. 이와 함께 SQL과 NoSQL 시스템의 적절한 활용 능력도 중요하며, 특히 쿼리 최적화와 데이터 파이프라인 설계 능력이 빅데이터 작업의 효율성을 결정짓습니다. 이를 통해 고객 맞춤 추천, 재고 예측 등의 핵심 인사이트를 확보하여 매출 증가와 고객 만족도 향상에 기여할 수 있습니다. 이러한 기술 스택을 습득하고 활용하는 능력이 빅데이터 엔지니어의 핵심 역량임은 분명합니다.

2. 데이터를 …