kt NexR Big Data Engineer 자기소개서

1. 본인이 데이터 엔지니어로서 수행했던 프로젝트 또는 경험을 구체적으로 설명하고, 그 과정에서 어떤 역할을 담당했는지 서술하시오.

데이터 엔지니어로서 다양한 프로젝트를 수행하며 빅데이터 환경에서 높은 품질의 데이터를 제공하는 데 몰두해 왔습니다. 특히 고객 행동 분석과 추천 시스템 개발 프로젝트에서 핵심 역할을 담당하였으며, 데이터 수집부터 저장, 처리, 분석까지 전 과정에 적극 참여하였습니다. 해당 프로젝트에서는 대용량의 데이터를 효과적으로 처리하기 위해 Hadoop과 Spark 기반의 데이터 파이프라인을 설계하고 구축하였으며, 데이터 전처리, 정제 작업을 주도적으로 수행하였습니다. 데이터를 수집하는 과정에서는 여러 소스에서 실시간으로 데이터를 크롤링하고 API를 활용하여 데이터를 수집하였으며, 수집된 데이터의 품질을 확보하기 위해 중복 제거, 결측값 처리, 이상치 제거 등의 정제 과정을 명확한 기준에 따라 수행하였습니다. 이후에 데이터 저장을 위해 분산 파일 시스템인 HDFS와 데이터 웨어하우스인 Hive를 이용하였으며, 데이터의 구조화와 효율적인 쿼리 성능 향상에 중점을 두었습니다. 데이터 파이프라인의 핵심은 데이터…