[면접 합격자료] 버킷플레이스(오늘의집) Data Engineer 합격 문항 기출 최종합격

1. 데이터 파이프라인 설계 경험이 있다면, 어떤 과정을 통해 데이터를 수집, 저장, 분석하는 시스템을 구축했는지 설명해주세요.

과거 프로젝트에서 데이터 파이프라인을 설계할 때, 크롤러와 API를 활용하여 유저 행동 데이터, 상품 정보 등을 실시간으로 수집하였습니다. 수집된 데이터는 Kafka로 스트리밍 처리하여 데이터 손실 방지와 확장성을 확보하였으며, 이후 Spark 구조로 저장하여 ETL 과정을 수행하였습니다. 저장 데이터는 AWS S3와 HDFS에 이중 저장하여 안정성을 높였으며, 데이터 품질 검증을 위해 데이터 검증 스크립트와 정기적 모니터링 시스템을 구축하였습니다. 분석 단계에서는 Redshift와 BigQuery를 활용하여 대용량 쿼리 속도를 최대 10배 향상시켰으며, 이를 기반으로 고객 맞춤형 추천 알고리즘을 운영하여, 추천 시스템으로 인한 구매률이 기존 대비 15% 상승하는 성과를 달성하였습니다. 또한, 데이터 파이프라인 자동화를 위해 Airflow를 도입하여 배치 작업의 95% 이상이 자동으로 실행되도록 하였고, 전체 시스템의 안정성과 확장성을 확보하여 일일 데이터 처리량이 평균 5TB 이상을 원활하게 처리할 수 있게 하였습니다.

2. SQL을 …