기계번역시스템 성능 평가 시범 DB 구축방법론 및 평가 모델링 방법과 이에 따른실제 제품 분석서

평가 방법

1.2.1. 운용 평가 (Operational Evaluation)

사용자가 관심을 갖는 것은 시스템 엔진의 성능이나 구조가 아니라 시스템이 전체적으로 번역을 얼마나 잘 해 내느냐 하는 것이다. 평가에서도 마찬가지로 사용자는 시스템의 성능을 전체적으로 평가하는 데 관심을 갖는다. Van Slype가 1982년에 제안한 이런 종류의 평가로서 효율성 평가 (Evalution de l`efficacit / Evaluation of effectiveness)가 있는데 이는 운용 평가 또는 경제성 분석이라고 불리운다. 이 평가의 기본적인 개념은 기계번역의 단어당 비용과 후편집에 드는 비용 계산에 의해 평가하는 것이다.
이 평가의 장점은 시스템의 전체적 관점에서 평가할 수 있다. 즉 이러한 평가에서는 시스템 엔진의 성능부터 번역가가 느끼는 작업 만족도가 번역의 수준에 미치는 영향까지가 평가에 포함된다. 그러나 이 평가의 중요한 단점은 평가 결과가 일반성을 갖지 않는다는 것이다. 즉 다른 사용자나 다른 시스템에 적용 가능한 결론을 끌어내기가 어렵고 개별적인 구성 요소에 대한 평가가 어렵다. 그래서 이와 같은 평가를 “블랙박스 (blackbox) 평가”라고도 한다. 그 외에도 시간과 비용이 많이 들고, 현실적인 요구를 맞추기가 어렵다는 문제점이 있다. 이러한 문제점은 사용될 수 있는 텍스트가 적고, 번역가를 훈련시키는데 시간과 노력이 많이 든다. 또한, 번역의 품질을 평가할 수 있는 기준을 정하기가 어렵고, 현재 시스템 사전에 특수한 어휘가 부족할 경우에는 이를 보완하는 데는 시간과 훈련이 요구된다.

1.2.2. 선언적 평가 (Declarative Evaluation)

명료성 (Intelligibility), 정확성 (Accuracy), 문체 (Style) 등을 기준으로 하여 입력과 출력을 모두 평가하는 방법이다.