[면접 합격자료] 티맥스에이아이 기술지원엔지니어 크롤링 시스템 엔지니어 합격 문항 기출 최종합격

1. 크롤링 시스템 개발에 사용했던 기술 스택과 그 이유를 설명해 주세요.

크롤링 시스템 개발 시 파이썬과 셀레니움을 주 기술 스택으로 선택하였는데, 이는 빠른 프로토타입 개발과 다양한 웹 데이터 추출에 강점을 가지고 있기 때문입니다. 파이썬은 풍부한 라이브러리와 오픈소스 생태계를 통해 크롤러 구축에 용이하며, 셀레니움은 동적 페이지와 자바스크립트 렌더링 데이터를 효과적으로 수집할 수 있습니다. 또한, 크롤링 대상 페이지가 자주 변경되어도 크롤러 유지보수가 쉽도록 크롤러 구성에 프레임워크 기반의 모듈화를 적용하였으며, 병렬처리와 비동기 요청 처리를 위해 aiohttp와 multiprocessing도 활용하였습니다. 이를 통해 크롤링 속도를 평균 30% 향상시키고, 하루 최대 1,000만 건 이상의 데이터를 안정적으로 수집할 수 있었다. 또한, 크롤링 과정 중 발생하는 IP 차단 문제를 차단 우회용 프록시 서버와 사용자 에이전트 스푸핑 기법으로 해결하여 데이터 수집의 안정성을 높였으며, 수집 정확도를 높이기 위해 정기적인 데이터 검증과 오류 로그 분석 시스템도 구축하였다. 이러한 기술적 선택과 최적화로 하루 평균 크롤링 속도가 2배 이상 증…