NH투자증권 Hadoop 전문가 자기소개서

1. Hadoop 관련 프로젝트 경험과 역할에 대해 구체적으로 기술해 주세요.

Hadoop 관련 프로젝트에 참여하며 데이터 처리 및 분석의 핵심 역할을 맡아왔습니다. 첫 번째 프로젝트에서는 대형 유통기업의 고객 행동 데이터를 분석하는 시스템을 구축하였습니다. 이 프로젝트는 고객 구매 패턴을 분석하여 맞춤형 마케팅 전략을 수립하는 것이 목표였으며, 수억 건에 달하는 데이터를 효율적으로 저장하고 처리하는 것이 관건이었습니다. 이를 위해 Hadoop의 분산 저장 시스템인 HDFS를 활용하여 데이터를 안정적으로 저장하였으며, 데이터를 일괄 처리하는 맵리듀스(MapReduce) 작업을 설계 및 최적화하였습니다. 특히 데이터 정제 및 가공 단계에서는 데이터를 중복 제거하고 결측치를 채우는 커스텀 맵리듀스 프로그램을 개발하여 분석의 정확성을 높였습니다. 또, 데이터 처리 속도를 향상시키기 위해 맵리듀스 작업의 병렬 처리를 극대화하는 방안을 모색하였고, 작업 스케줄링과 자원 관리를 효율적으로 수행할 수 있도록 Hadoop YARN을 적극 활용하였습니다. 이후 분석 결과를 시각화하는 단계에서는 HBase와 Hive를 연동하여 쿼리 속도를 높였으며, 고객 세분화 기준…