본문/내용
1. 연구 배경
CDAQ_1817은 현대 사회에서 점점 중요성이 커지고 있는 데이터 품질 향상과 관리 기술의 발전에 따른 연구 필요성에서 출발하였다. 최근 통계에 따르면 전 세계 데이터 생성량은 연평균 30%씩 증가하고 있으며, 2023년 기준으로 약 59제타바이트의 데이터가 생성된 것으로 보고되었다. 이처럼 방대한 데이터를 효과적으로 관리하고 분석하는 것이 기업 경쟁력 확보의 핵심이 되고 있으나, 많은 기업들이 데이터의 신뢰성, 정확성, 일관성 문제로 인해 막대한 손실을 경험하고 있다. 예를 들어, 글로벌 금융기관인 JP모건은 부정확한 데이터로 인한 손실액이 연간 수억 달러에 달하는 것으로 추정되며, 이는 데이터 품질 문제의 심각성을 보여주는 사례이다. 또한, 정부기관에서도 공공 데이터의 오류로 인해 정책 결정이 지연되거나 잘못된 정책이 시행되는 사례가 빈번하게 발생하고 있으며, 이에 대한 개선 요구가 높아지고 있다. 기존의 데이터 품질관리 기법들은 일부 특정 분야에만 적용 가능하거나, 대용량 데이터에 대한 처리 능력이 미흡하여 실효성을 확보하지 못하는 한계가 있었다. 이에 따라 데이터 관련 표준화와 자동화, 실시간 품질 평가 기술…