화승코퍼레이션 AI 데이터 엔지니어 자기소개서 및 면접자료

화승코퍼레이션 AI 데이터 엔지니어 자기소개서 및 면접자료
지금까지 살아오면서 달성했던 가장 큰 목표는 무엇입니까 그 목표를 어떤 이유로 정하였으며, 어떤 과정을 거쳐 달성 하였는지 구체적으로 기술하여 주십시오.
[데이터의 정제, 98%의 신뢰도를 향한 엔지니어링적 집착]
학부 시절, 스마트 팩토리 공정 최적화 프로젝트를 수행하며 `실시간 공정 이상 감지 시스템의 정확도 95% 달성`을 목표로 삼았습니다. 당시 데이터 엔지니어링의 중요성을 체감하게 된 계기는 모델의 알고리즘보다 원천 데이터의 품질이 결과에 미치는 영향이 압도적이라는 것을 깨달았기 때문입니다. 초기 모델의 정확도는 70% 수준에 머물렀는데, 이는 센서에서 수집되는 데이터에 과도한 노이즈와 결측치가 포함되어 있었기 때문이었습니다.
저는 단순한 모델 수정이 아닌, 데이터 파이프라인의 전면 재설계를 해결책으로 정했습니다. 우선 Kafka를 활용해 실시간 데이터 스트림을 구축하고, 유입되는 120여 개의 변수 중 공정 압력과 온도의 상관관계를 분석하여 불필요한 노이즈를 필터링하는 전처리 알고리즘을 도입했습니다. 특히 제조 현장의 특성상 발생…(생략)