Tokenizer
定义界定符
定义关键词
定义操作符
非法字符
遍历字符串，将字符转化为 token 一个一个的 token
token 是有起止位置的
token 练起来转化为表达式 ast 代码块 block
推荐阅读：
- 1. 自己动手实现Lua | 自己动手实现Lua：从零构建Lua虚拟机和编译器
- 2. 明确自己想做的几件事 | 克服学习焦虑：高效学习英语、写作、Rust和编译原理的实践与反思
- 3. CSRF攻击 | CSRF 跨站请求伪造攻击：原理、防御及解决方案
- 4. 去掉PHP项目中的所有注释 | 高效移除PHP代码注释：正则表达式 VS 词法分析
- 5. 自己动手实现Lua | 自己动手实现Lua：从零构建Lua虚拟机和编译器
- 6. 明确自己想做的几件事 | 克服学习焦虑：高效学习英语、写作、Rust和编译原理的实践与反思
- 7. CSRF攻击 | CSRF 跨站请求伪造攻击：原理、防御及解决方案
- 8. 去掉PHP项目中的所有注释 | 高效移除PHP代码注释：正则表达式 VS 词法分析
- 9. index | Python 内核源码深度解析：虚拟机、词法分析与编译原理
- 10. tokenizer | Tokenizer：词法分析器详解及实现