본문/내용
1. 데이터레이크 구축 경험이 있다면 구체적으로 어떤 프로젝트를 수행했는지 설명해주세요.
코스맥스그룹 데이터레이크 구축 프로젝트를 수행하면서 약 6개월 동안 총 200테라바이트 규모의 데이터를 위한 통합 데이터 플랫폼을 설계하고 구축하였습니다. 데이터 수집은 AWS S3와 Hadoop HDFS를 활용하여 공급망, 생산, 영업, 재무 등 다양한 부서 데이터를 실시간으로 수집하고 저장하였으며, ETL 프로세스를 자동화하여 매일 50GB 이상의 데이터를 신속하게 처리하였습니다. 이를 통해 데이터 품질을 향상시키고 데이터 검색 속도를 평균 40% 단축하였으며, 사용자들이 필요한 데이터를 3분 이내에 조회할 수 있도록 최적화하였습니다. 또한, 파이썬과 Spark 기반 빅데이터 분석 환경을 구축하여 판매 예측, 고객 행동 분석 등을 수행하였으며, 분석 결과를 바탕으로 신규 제품 개발 및 마케팅 전략 수립에 활용하였습니다. 구축 이후 6개월 만에 보고서 생성 시간이 평균 30% 단축되고, 의사결정의 신속성 및 정확성이 크게 향상되어, 연간 매출 성장률 15% 향상과 비용 절감 효과도 달성하였습니다.
2. 데이터레이크 설계 시 어떤 데이터 소스와 데이터를 주로 다…