버드뷰(화해) Data Scraping Engineer 자기소개서

1. 본인의 데이터 스크래핑 경험과 수행했던 프로젝트에 대해 구체적으로 서술해 주세요.

데이터 수집과 분석에 큰 관심을 갖고 있으며, 이를 위해 다양한 웹사이트에서 데이터를 추출하는 경험을 쌓아 왔습니다. 주로 온라인 쇼핑몰, 커뮤니티 게시판, 뉴스 사이트 등 여러 사이트에서 필요한 데이터를 자동으로 수집하기 위해 파이썬 기반의 크롤러와 스크래퍼를 설계하고 구현하는 작업을 수행하였습니다. 처음에는 BeautifulSoup과 requests 라이브러리를 활용하여 웹페이지의 HTML 구조를 분석하고, 필요한 정보가 담긴 태그를 찾은 후 해당 데이터를 정제하는 데 집중하였습니다. 이후에는 크롤링 속도를 높이고, 대량의 데이터를 안정적으로 수집하기 위해 셀레니움과Headless Chrome을 도입하였으며, AJAX 호출이 많은 페이지에서는 네트워크 요청을 추적하여 API 호출을 분석하고, 해당 API를 직접 호출하는 방식으로 효율과 속도를 개선하기도 하였습니다. 가장 큰 프로젝트는 화장품 리뷰 사이트의 평가 데이터를 수집하는 것이었으며, 상품별 리뷰, 평점, 작성자 정보 등을 추출하는 작업이었습니다. 사이트에서 수집한 데이터를 활용하여 고객들의 선호도 분…