에이블리코퍼레이션 스크래핑 운영 담당자 자기소개서

1. 본인의 스크래핑 경험과 관련하여 구체적인 사례를 소개해 주시고, 그 과정에서 직면했던 어려움과 해결 방안을 설명해 주세요.

다양한 웹사이트에서 상품 정보와 가격 데이터를 수집하는 크롤러를 개발하며 실력을 쌓아왔습니다. 특히, 전자상거래 플랫폼과 소셜커머스 사이트의 데이터를 효율적으로 스크래핑하는 프로젝트를 수행한 경험이 많습니다. 예를 들어, 한 번은 국내 유명 온라인 쇼핑몰에서 인기 상품 정보뿐만 아니라 실시간 가격 변동 데이터를 수집하는 작업을 진행했었습니다. 당시에는 여러 상품군별로 데이터가 정기적으로 업데이트되어 많은 데이터를 빠르게 수집해야 하는 필요가 있었습니다. 초기에는 파이썬의 셀레니움과 뷰티풀수프로 거의 동시에 데이터를 수집했으나, 페이지 로딩 속도와 데이터 완전성 문제에 직면했습니다. 특히, 페이지가 자주 변경되고 동적 콘텐츠가 많아 데이터 누락과 중복이 발생하는 문제들이 컸습니다. 이를 해결하기 위해 크롤링 방식을 비동기적으로 처리하는 방식을 도입하였으며, 셀레니움 대신에 크롬 드라이버와 함께 요청하는 시간을 제한하는 스크롤 방법을 개선하였습니다. 또한, 동적 페이지 구조를 분…