Tokenizer
定义界定符
定义关键词
定义操作符
非法字符
遍历字符串，将字符转化为 token 一个一个的 token
token 是有起止位置的
token 练起来转化为表达式 ast 代码块 block
推荐阅读：
- 1. 自己动手实现Lua | 自己动手实现Lua：从零构建Lua虚拟机和编译器
- 2. 目标计划清单 | 2022 年 11 月学习计划：深入探索 Lua 编程语言及编译器实现
- 3. 明确自己想做的几件事 | 克服学习焦虑：高效学习英语、写作、Rust和编译原理的实践与反思
- 4. CSRF攻击 | CSRF 跨站请求伪造攻击：原理、防御及解决方案
- 5. 去掉PHP项目中的所有注释 | 高效移除PHP代码注释：正则表达式 VS 词法分析
- 6. 大纲 | Python 解释器深度解析：从基础到高级特性
- 7. index | Python 内核源码深度解析：虚拟机、词法分析与编译原理
- 8. Parse-入门字符解析-python实现简单的计算器 | Python实现后缀表达式计算器：支持加减乘除和括号
- 9. token | Lua 词法分析器：token 的定义与实现
- 10. 英文单词 | Implementing Expression Parsing with Top Down Operator Precedence in a Monkey Compiler