11번가 빅데이터 엔지니어 자기소개서 (1)

1. 본인의 빅데이터 관련 경험과 기술에 대해 구체적으로 서술하시오.

빅데이터 엔지니어로서 다양한 프로젝트 경험과 폭넓은 기술 역량을 갖추고 있다고 자신있게 말씀드릴 수 있습니다. 기업의 고객 행동 분석을 위한 데이터 수집 및 정제 작업을 수행한 경험이 있습니다. 이 과정에서 로그 데이터, 전환 데이터, 고객 행동 데이터 등을 수집하여 데이터 전처리 과정을 거쳤으며, 파이썬과 스파크를 활용하여 대용량 데이터를 처리하였습니다. 특히, 데이터 정제 단계에서는 결측치 제거, 이상치 탐지, 데이터 변환 등 다양한 기술을 적용하여 분석의 신뢰도를 높였습니다. 데이터 저장은 하둡 HDFS를 이용하여 분산 저장 구조를 설계하였고, 데이터 조회와 분석 속도를 높이기 위해 적절한 인덱싱과 파티셔닝 기법을 도입하였습니다. 이후, 수집된 데이터를 활용하여 고객 세분화와 상품 추천 알고리즘 개발을 위한 데이터 피처 엔지니어링 작업도 수행하였습니다. 이 과정에서는 텍스트 데이터 분석을 위해 자연어처리 기술을 응용하였으며, TF-IDF, 워드임베딩 등을 이용하여 의미있는 피처를 생성하였습니다. 더욱이, 실시간 데이터 스트리밍 처리 경험도 갖추고 있…