[면접 합격자료] 티맥스에이아이 크롤링 시스템 엔지니어 합격 문항 기출 최종합격

1. 크롤러 개발 시 주로 고려해야 하는 성능 최적화 방법은 무엇인가요

크롤러 개발 시 성능 최적화를 위해서는 멀티쓰레딩 또는 비동기 처리를 활용하여 병렬 요청 수를 극대화하는 것이 중요합니다. 실제로 비동기 기반 크롤러를 구현하면 50% 이상의 속도 향상이 가능하며, 요청 대기 시간을 최소화할 수 있습니다. 또한, 적절한 큐 시스템을 도입해 요청의 우선순위를 관리하고, 동적 적응형 요청 딜레이를 적용하여 서버 과부하를 방지합니다. 캐시 전략도 필수적입니다. 이미 크롤링한 데이터는 즉시 캐시에 저장하여 중복 요청을 최소화하고, Redis와 같은 인메모리 DB를 활용하면 조회 속도를 10배 이상 높일 수 있습니다. 또한, DNS 프리페치와 연결 재사용, TCP Keep-Alive 설정 등을 통해 네트워크 성능을 최적화할 수 있으며, 이로 인해 요청 당 평균 응답 시간이 20% 감소하는 효과를 얻을 수 있습니다. 크롤러의 스케줄러와 타임아웃 값을 상황에 맞게 조절하면 서버 차단이나 지연 같은 이슈도 적극 피할 수 있습니다. 마지막으로 로그와 모니터링 시스템을 도입해 병목 지점과 실패율을 분석하고, 병렬 처리 규모를 조절하는 것이 전체 성능 향상에 도움…