lex를 이용한 형태소 분석기 생성하기

(1) lex 란 이 도구는 여러 언어의 형태소 분석기를 나타내는데 널리 사용되고 있다. 여기서는 도구를 lex 컴파일러로 간주하고 입력 형태를 lex 언어로 간주한다. 현존하는 도구를 다루는 것은 정규식을 사용하여 어떻게 패턴의 형태가 행동과 결합될 수 있는지를 보여준다. 즉, 항목들이 심벌 테이블에 등록되고 형태소 분석기가 수행되어진다. Lex와 유사한 표현들은 lex 컴파일러가 사용되지 않을 때에도 쓰일 수 있다. 표현들은 앞 절에서의 정이 다이어그램 기법을 사용하여 수행 가능한 프로그램으로 작성될 수 있다. Lex는 일반적으로 아래의 그림 3.17에서 묘사된 것과 같은 식으로 사용된다. 우선 형태소 분석기의 양식이 lex 언어로 된 프로그램 lex.l 의 정규식으로부터 구성된 전이 다이어그램의 테이블 형태와 렉심을 인식하기 위해 테이블을 사용하는 표준 루틴으로 구성되어 있다. lex.l 에서의 정규식과 연관되는 행동들은 C코드로 표현되고 직접 lex.yy.c 로 넘어간다. 마지막으로 lex.yy.c 는 C 컴파일러를 통해 목적 프로그램인 a.out 으로 만들어지는데 이 프로그램은 입력 문자열을 토큰의 순서로 변환해 주는 형태소 분석기가 된 것이다. &…