본문/내용
1.지원 직무와 관련한 경력 및 경험 활동의 주요 내용과 본인의 역할에 대해서 구체적으로 기술해 주십시오
[정확성 높은 데이터 수집과 최적화] 지난 수년 간 카카오뱅크의 웹 스크래핑 엔진 개발 프로젝트에 참여하며 실시간 금융 데이터 수집 시스템을 구축하였습니다. 한 달 평균 150만 건 이상의 고객 거래 데이터를 안정적으로 크롤링하기 위해 크롤러의 병렬처리 성능을 2배 이상 향상시켰으며, 이를 통해 데이터 수집 속도를 초당 50 건으로 개선하였습니다. 다양한 금융 서비스에 맞춘 맞춤형 크롤러 설계와 웹 페이지의 구조 변화에 따른 자동 수정 알고리즘을 도입하여, 비정기적 페이지 변경에도 9 98% 이상의 크롤러 안정성을 유지하였습니다. 또한 크롤러의 데이터 품질 검증을 위해 정교한 필터링 및 중복 제거 알고리즘을 개발하였으며, 데이터 오염률을 0. 02% 미만으로 낮추는 성과를 거두었습니다. 이를 바탕으로 고객 금융 분석 및 상품 개발에 필요한 핵심 데이터를 안정적으로 제공하여 회사의 서비스 경쟁력을 높이는 데 기여하였습니다. 이와 함께 웹 스크래핑 엔진의 성능 향상을 위해 분산처리 기반의 아키텍처를 설계하였고, 이를 클라우드 환…