[면접 합격자료] kt NexR Big Data Engineer 합격 문항 기출 최종합격

1. Hadoop과 Spark의 차이점에 대해 설명하세요.

Hadoop과 Spark는 모두 빅데이터 처리에 활용되지만, 구조와 성능 면에서 차이가 큽니다. Hadoop은 분산 저장과 맵리듀스 기반의 배치 처리 시스템으로, 디스크 기반 작업이기 때문에 대용량 데이터 처리에 적합하며, 1TB 이상의 데이터도 안정적으로 처리할 수 있습니다. 그러나 처리 속도는 느리고, 보통 1시간 이상 소요되는 경우도 많아 실시간 처리가 어렵습니다. 반면 Spark는 인메모리 컴퓨팅을 기반으로 하여, 데이터를 메모리에 적재한 후 작업을 수행하기 때문에 Hadoop보다 10배 이상 빠른 속도를 보여줍니다. 예를 들어, 대량 로그 분석에서 Spark는 분 단위로 실시간 분석이 가능했고, 웹 서비스의 추천 시스템 개발에 활용되어 응답 시간이 평균 0. 1초로 단축된 사례도 있습니다. 기술적 차이로는 Hadoop이 HDFS를 사용하여 데이터를 저장하는 반면, Spark는 RDD(Resilient Distributed Dataset)를 활용하여 유연성과 빠른 연산이 가능하게 합니다. 또한, Spark는 SQL, 스트리밍, 머신러닝과 같은 다양한 모듈을 통합 지원하여 개발 생산성을 높이고 있으며, 연구에서는 처리 속도와 확장성을 고려할 때 어…