有什么显著的区分能将Tokenize和parser的定义分开呢？
关注者
13
被浏览
2,001
登录后你可以
不限量看优质回答
私信答主深度交流
精彩内容一键收藏
区别嘛, 其实这两个都算parser. 但是你可以人为地加入一些区别. 比如说, tokenizer只能处理type 3 文法, (该语境下的)parser可以处理type 2.
又由于type 2包含type 3, 所以tokenizer也是parser的一种.