[면접 합격자료] 라인플러스 SW개발 Cloud BigData 부문 합격 문항 기출 최종합격

1. 클라우드 환경에서의 빅데이터 처리 경험에 대해 설명해주세요.

클라우드 환경에서 빅데이터 처리 경험은 Hadoop, Spark, AWS EMR 등을 활용하여 대규모 데이터셋을 실시간으로 분석하는 작업이 주를 이룹니다. 예를 들어, 고객 행동 분석을 위해 일평균 50TB 규모의 로그 데이터를 수집하고, 클라우드 기반의 Spark 클러스터를 사용하여 3시간 내에 데이터 전처리 및 분석을 수행하였습니다. 이 과정에서 클라우드 인프라의 확장성을 적극 활용하여 인스턴스 수를 최대 300개까지 증설했고, 전처리 작업의 처리 속도는 기존 온프레미스 대비 4배 이상 향상되었습니다. 또한, Amazon S3와 Glue를 연동하여 데이터 파이프라인을 자동화함으로써, 데이터 유입량이 증가해도 안정적인 처리와 신속한 리포트 생성이 가능하였습니다. 데이터 시각화를 위해 Tableau와 연동하는 대시보드를 구축하여 매일 10억 건 이상의 데이터를 실시간으로 분석하고, 마케팅 전략 수립에 활용되도록 하였습니다. 이러한 경험은 클라우드 특유의 유연성과 확장성을 최대한 활용하며, 데이터 처리 비용을 30% 절감하는 성과를 이뤄내는 데 기여하였습니다.

2. Hadoop과 Spark의 차이점과 …