[면접 합격자료] 한국기업데이터 IT(프로그래밍 개발, 스크래핑 정보보호, 인프라운영, DBA) 합격 문항 기출 최종합격

1. 본인이 수행했던 프로그래밍 프로젝트 중 가장 어려웠던 점과 해결 방안을 설명하세요.

가장 어려웠던 프로그래밍 프로젝트는 대규모 웹 데이터 스크래핑 작업이었습니다. 1억 건 이상의 데이터를 수집하는 과정에서 서버 차단과 데이터 누락 문제들이 발생하여 작업이 지연됐습니다. 이를 해결하기 위해 다중 IP 회전 방식을 도입했고, 프록시 서버를 활용하여 IP 차단을 회피하였습니다. 또한, 데이터 수집 속도를 높이기 위해 비동기 프로그래밍과 병렬 처리를 적용하였으며, 서버 부하를 고려해 적절한 요청 간격을 조절하며 안정성을 확보하였습니다. 이 과정에서 요청 실패 비율이 15%에서 2%로 낮아졌으며, 전체 데이터 수집 시간은 기존 72시간에서 36시간으로 단축시켰습니다. 더불어, 수집 데이터의 정합성을 검증하기 위해 중복 제거 알고리즘과 실시간 모니터링 시스템을 도입하여 데이터 품질을 향상시켰습니다. 이 프로젝트를 통해 데이터 수집 효율성과 안정성을 크게 개선하였으며, 고객사의 실시간 시장 분석에 중요한 기반 자료를 제공하였습니다.

2. 웹 스크래핑 개발 경험이 있다면, 어떤 기술을 사용했고 데이터 수집 과정에서 고려했던 점은 …