[면접 합격자료] 티빙 [데이터엔지니어링] 데이터사이언티스트 합격 문항 기출 최종합격

1. 데이터 엔지니어링 프로젝트에서 가장 중요하게 고려해야 할 성능 최적화 방법은 무엇인가요

데이터 엔지니어링 프로젝트에서 가장 중요하게 고려해야 할 성능 최적화 방법은 데이터 처리과정의 병렬화와 인메모리 컴퓨팅을 적극 활용하는 것입니다. 예를 들어, 대용량 로그 데이터를 처리할 때 Spark 같은 분산 처리 엔진을 활용하여 작업 시간을 기존 8시간에서 2시간 이하로 단축시킨 사례가 있습니다. 또한, 데이터 파티셔닝과 인덱싱을 통해 읽기 성능을 높이고 불필요한 데이터 스캔을 최소화하는 것이 필수적입니다. 특히, ETL 과정에서 병목 구간을 분석하여 병렬 처리 가능한 단계는 최대한 병렬로 처리함으로써 전체 처리 속도를 최대 5배 향상시킨 경험이 있습니다. 또한, 적절한 데이터 압축 기법과 컬럼 기반 저장 형식을 사용하면 저장 공간과 읽기 속도를 동시에 개선할 수 있는데, 예를 들어, Parquet 포맷을 도입하여 저장 공간을 30% 줄이고 읽기 성능은 2배 이상 향상시킨 사례도 있습니다. 마지막으로, 클라우드 환경 내 오토스케일링과 모니터링 시스템을 구축하여 자원 사용 최적화와 실시간 성능 감시를 통해 병목 현상 발생 시 신속히 대응하…