마이다스아이티 응용SW개발 자기소개서 (1)

1. 본인이 수행했던 프로젝트 또는 업무 경험 중, 가장 도전적이었던 사례와 이를 해결하기 위해 사용한 방법에 대해 서술하십시오.

대규모 데이터 처리 시스템을 구축할 때 가장 도전적인 업무 경험이었습니다. 기존 시스템은 데이터 수집과 분석이 느리고 불안정한 문제들이 있었으며, 고객사의 빠른 의사결정을 지원하기 위해 실시간 데이터 처리 기능을 갖춘 새로운 플랫폼을 개발하는 과제였어요. 프로젝트 초기에는 시스템 구조와 기술 스택 선정에서 많은 어려움이 있었습니다. 대용량 데이터를 효율적으로 처리하고 분석하는 것이 목표였지만, 도입 당시 사용하던 기술들은 실시간성 확보에 한계가 있었기 때문에 적합하지 않다고 판단했어요. 이 문제를 해결하기 위해 먼저 기존 시스템의 구조를 면밀히 분석하여 병목 구간을 찾았습니다. 이후 실패했던 부분은 확장성과 안정성이 낮은 데이터베이스와 배치 중심의 처리 프로세스였다라는 결론에 도달했어요. 이에 따라 분산처리와 실시간 데이터 스트리밍 기술인 Kafka와 Spark를 도입하기로 결정하였어요. Kafka를 사용하여 데이터의 흐름을 비동기식으로 처리하며, Spark를 통해 대용량 데이터를 빠르게 분석…