GS네오텍 Cloud Data 엔지니어 자기소개서

1. 본인의 데이터 엔지니어링 관련 경험과 기술 스택을 구체적으로 기술해 주세요.

데이터 엔지니어로서 다양한 프로젝트 경험과 풍부한 기술 스택을 갖추고 있습니다. 데이터 수집 단계에서는 여러 출처에서 데이터를 안정적으로 수집하기 위해 Kafka, Flink 등을 이용하여 실시간 데이터 스트리밍 시스템을 구축하였습니다. 이를 통해 대용량의 데이터를 빠르고 안정적으로 처리하였으며, 데이터 수집 과정에서 발생하는 장애를 최소화하는 방안도 마련하였습니다. 데이터 저장 부분에서는 Hadoop HDFS와 Amazon S3를 활용하여 데이터 웨어하우스를 구축하였으며, 효율적인 데이터 저장과 관리가 가능하도록 데이터 파티셔닝과 압축 기술을 적용하였습니다. 또한, 관계형 데이터베이스인 MySQL과 NoSQL 계열인 MongoDB를 연동하여 데이터의 다양성과 확장성을 확보하였으며, 이를 기반으로 한 ETL 파이프라인을 Apache NiFi와 Pentaho Data Integration을 이용하여 설계하였습니다. 데이터 처리와 변환에서는 Spark와 Flink를 주로 활용하여 대용량 데이터 분석 및 실시간 데이터 처리 작업을 수행하였습니다. Spark에서는 배치 및 스트리밍 환경 모두에서 데이터 정제…