본문/내용
1.지원 직무와 관련한 경력 및 경험 활동의 주요 내용과 본인의 역할에 대해서 구체적으로 기술해 주십시오
[데이터를 통한 혁신으로 미래를 열다] 데이터 엔지니어로서 LG전자의 스마트 가전 제품과 연동된 데이터처리 시스템 구축 및 운영에 중점을 두고 활동하였습니다. 5개월 간의 프로젝트 기간 동안 고객 행동 데이터를 수집, 저장, 분석하는 데이터 파이프라인을 설계하였으며, 전체 데이터량이 월평균 10테라바이트를 초과하는 환경에서도 안정적인 데이터 처리와 저장이 가능하도록 Apache Kafka, Hadoop, Spark 기반의 분산 시스템을 구축하였습니다. 데이터 수집 단계에서는 IoT 디바이스에서 실시간으로 발생하는 데이터를 Kafka로 흐름을 최적화하여 처리량이 초당 2만 건 이상 유지되도록 설계하였으며, 데이터 정제 및 저장 단계에서는 Hadoop HDFS를 이용하여 9 999%의 가용성을 확보하는데 주력하였습니다. 또한, Spark를 활용하여 대규모 데이터를 실시간으로 분석하는 시스템을 개발하여 고객 맞춤형 제품 추천 및 성능 개선 전략 수립에 기여하였으며, 이로 인해 고객 만족도 조사에서 전년 대비 25% 향상된 결과를 얻었습니다. 데이터 품질 향상을 위…