엔코아 빅데이터 엔지니어 자기소개서

1. 빅데이터 엔지니어로서 본인이 보유한 기술 역량과 경험에 대해 구체적으로 기술해주세요.

다양한 빅데이터 기술과 도구를 활용하여 데이터 분석 및 처리 업무를 수행해온 경험이 풍부합니다. 데이터 수집 단계에서 여러 소스의 데이터를 효율적으로 모으기 위한 노하우를 보유하고 있습니다. 웹 크롤러와 API 연동을 통해 구조화되지 않은 데이터를 정제하는 작업을 진행하였으며, 이를 위해 파이썬과 자바 언어를 능숙하게 사용하였습니다. 수집된 데이터는 분산처리 환경에서 빠르게 처리하기 위해 하둡과 스파크를 적극 활용하였으며, 스파크 SQL을 이용하여 대용량 데이터를 효율적으로 분석하였습니다. 데이터 전처리 단계에서는 데이터의 품질 향상을 위해 결측치 처리, 이상치 제거, 데이터 정규화 작업을 수행하였으며, 텍스트 데이터의 경우 자연어처리 기법을 접목하여 의미 있는 정보로 가공하였습니다. 이를 위해 자바와 파이썬 기반의 자연어처리 라이브러리인 코로넬리와 자소서 라이브러리를 활용하였으며, 형태소 분석과 불용어 제거, 토큰화 과정을 통해 데이터의 정제도를 높였습니다. 데이터 분석과 시각화에 있어서는 파이썬의 판다스, 넘파이, …