야놀자 Software Engineer Data Infrastructure 자기소개서

1. 본인의 데이터 인프라 관련 경험과 기술에 대해 구체적으로 서술해 주세요.

데이터 인프라 분야에서 활발히 활동하며 다양한 경험과 기술을 쌓아왔습니다. 데이터 처리 파이프라인 설계와 운영 경험이 풍부합니다. 대용량 데이터를 안정적으로 수집, 저장, 가공하는 시스템을 구축하는 데 집중하며 실시간 데이터 처리와 배치 데이터 처리 모두에 익숙해졌습니다. 이를 위해 분산 시스템인 Spark와 Hadoop을 활용하여 대량의 데이터를 효과적으로 처리하는 작업을 수행하였고, 데이터의 정확성과 일관성을 확보하기 위해 여러 검증 및 품질 관리 프로세스를 도입하였습니다. 또한, 다양한 데이터 저장소와 데이터베이스를 활용하여 요구에 맞는 맞춤형 인프라를 구성하는 역량도 갖추고 있습니다. 예를 들어, NoSQL 데이터베이스인 Cassandra와 MongoDB를 이용해 빠른 읽기/쓰기 성능을 요구하는 서비스를 지원하였으며, 관계형 데이터베이스인 MySQL과 PostgreSQL에서는 스키마 설계와 최적화를 통해 데이터 무결성과 성능을 동시에 확보하였습니다. 이러한 저장소 간의 연동과 데이터 흐름을 원활히 유지하기 위해 ETL 프로세스와 데이터 파이프라인 자동화 툴을 적…