스마일게이트 스토브 빅데이터 플랫폼 엔지니어 자기소개서

1. 본인의 빅데이터 플랫폼 관련 경험과 기술 스택에 대해 구체적으로 설명해 주세요.

빅데이터 플랫폼 개발과 운영 경험이 풍부하며, 다양한 기술 스택을 활용하여 안정적이고 확장 가능한 데이터 인프라를 구축하는 데 강점을 가지고 있습니다. 빅데이터 처리 시스템 설계와 구현을 주된 업무로 수행하며, 데이터 수집, 저장, 처리, 분석 전 과정을 아우르는 전체 시스템을 개발해왔습니다. 데이터 수집 단계에서는 Kafka와 Flume 등 분산 메시징 시스템을 활용하여 실시간 데이터를 안정적으로 수집할 수 있도록 설계하였으며, 데이터 저장을 위해 Hadoop HDFS를 기반으로 한 분산 저장 환경을 구축하였습니다. 뿐만 아니라, 여러 데이터 소스에서 수집된 대량의 데이터를 효율적으로 저장하고 조회할 수 있도록 데이터 레이크 아키텍처를 적용하였으며, 데이터 품질과 일관성을 위해 ETL 파이프라인을 구축하여 데이터 정제와 가공 과정을 자동화하였습니다. 데이터 처리 측면에서는 Spark와 Flink를 활용하여 대용량 데이터를 빠르게 처리할 수 있도록 하였으며, 배치 및 스트림 처리를 모두 지원하는 시스템을 설계하여 실시간 데이터 분석이 가능하게 하였습니다. …