[면접 합격 자료] 티빙 [데이터엔지니어링] 데이터사이언티스트 우수 예문 질문 및 답변

1.본인의 성격의 장단점에 대해 말씀해 주세요.

데이터 엔지니어링 팀에서 정확성과 속도를 함께 추구하는 사람입니다. 강점으로는 대용량 로그 데이터를 수집저장처리하는 파이프라인을 설계하고 운영해온 경험이 있습니다. 예를 들어 하루에 수십억건의 이벤트 데이터를 수집하는 ETL 파이프라인에서 데이터 수집 안정성을 99.95%에서 99.99%로 끌어올린 사례가 있습니다. 이 과정에서 Kafka 대기시간이 길어지는 이슈를 파악하기 위해 파티션 수를 재구성하고, 백프레셔를 줄이기 위한 컨슈머 그룹 병렬성 최적화를 수행했습니다. 결과적으로 데이터 재처리 지연을 평균 12분에서 3분 이하로 감소시켰습니다. 또한 스키마 관리의 중요성을 체감해 Avro 스키마 레지스트리를 도입하고, 데이터 품질 지표로 null 비율과 중복 로우를 모니터링하는 대시보드를 구축했습니다. 이 대시보드에서 누적 중복 로우가 0.03%에서 0.009%로 감소했고, null 비율은 주요 테이블에서 0.2% 미만으로 관리되었습니다. 협업 측면에서는 데이터 설계 초기 단계에서 데이터 소비자 역할과 데이터 제공자 역할 간의 계약을 정의해 API 형태의 데이터 재사용성을 높였고, 변경 이력 관리와 …