[면접 합격자료] 엔코아 데이터 엔지니어링 캠프 합격 문항 기출 최종합격

1. 데이터 파이프라인을 설계할 때 어떤 요소들을 고려해야 하는지 설명해주세요.

데이터 파이프라인을 설계할 때는 데이터의 소스, 처리 방식을 고려해야 합니다. 데이터 소스의 신뢰성 및 실시간 또는 배치 처리 여부를 판단하여 적합한 아키텍처를 선정합니다. 예를 들어, 수집되는 트랜잭션 데이터가 초당 10만 건 이상인 경우 Kafka와 Spark Streaming을 연계해 실시간 처리가 필요합니다. 다음으로, 데이터의 품질 유지와 일관성을 위해 데이터 정제 및 검증 과정을 설계해야 합니다. 예를 들어, 중복 제거율이 9 9% 이상인 클린 데이터가 필요하다면, ETL 단계에서 정제 작업을 꼼꼼하게 구현해야 합니다. 또한, 확장성과 유연성을 고려해 모듈화된 구조를 갖추어야 하며, 데이터 용량 증가 시에도 시스템 전체 성능이 유지되도록 설계해야 합니다. 데이터 저장소 선택은 분석 목적에 따라 달라지며, 빠른 조회를 위해 NoSQL 또는 분산 파일 시스템(HDFS, S3 등)을 활용하기도 합니다. 보안 관점에서는 데이터 암호화와 접근 제어, 감사 로그를 통해 개인정보 보호와 규제 준수를 확보해야 합니다. 마지막으로, 파이프라인 성능 모니터링을 위해 다양한 지표(지연 …