스테코 엔지니어 자기소개서

1. 본인이 엔지니어로서 문제를 해결했던 경험을 구체적으로 기술하시오.

엔지니어로서 문제를 해결했던 경험은 이전 회사에서의 데이터 처리 시스템 개선 프로젝트에서 비롯되었습니다. 당시 회사는 방대한 양의 고객 데이터를 실시간으로 처리하는 작업에 많은 시간이 소요되고 있었으며, 처리 속도가 느려지면서 고객 서비스의 신속성이 저하되고 있었습니다. 이에 팀의 일원으로서 문제 해결에 참여하게 되었습니다. 먼저 기존 시스템의 전체적인 구조를 분석하고 병목 구간을 파악하는 과정을 진행하였습니다. 로그 분석과 모니터링 도구를 활용하여 데이터가 흐르는 경로 중 일부 과정에서 처리 속도가 현저히 낮아지는 점을 발견하였고, 원인은 데이터 분산 처리의 병렬화 부재임을 알게 되었습니다. 기존에는 단일 서버에서 데이터를 순차적으로 처리하는 방식이었기 때문에 데이터량이 증가할수록 처리 시간이 급격히 늘어문제들이 있었습니다. 이를 해결하기 위해 서버 클러스터 환경을 구축하고, 데이터 병렬 처리를 위해 분산 처리 프레임워크인 하둡과 스파크를 도입하는 방안을 제안하였습니다. 도입에 앞서 여러 번의 사전 테스트와 성능 검증을 거쳐야 했…