基于Python实现类高级语言的词法分析器

要求&＃xff1a;阐述词法分析系统所要完成的功能

设计实现类高级语言的词法分析器&＃xff0c;基本功能如下&＃xff1a;

• 能识别以下几类单词&＃xff1a;

  • 标识符&＃xff08;由大小写字母、数字以及下划线组成&＃xff0c;但必须以字母或者下划线开头&＃xff09;

  • 关键字&＃xff08;① 类型关键字&＃xff1a;整型、浮点型、布尔型、记录型&＃xff1b;② 分支结构中的 if 和 else&＃xff1b;③ 循环结构中的 do 和 while&＃xff1b;④ 过程声明和调用中的关键字&＃xff09;

  • 运算符&＃xff08;① 算术运算符&＃xff1b;② 关系运算符&＃xff1b;③ 逻辑运算&＃xff09;

  • 界符&＃xff08;① 用于赋值语句的界符&＃xff0c;如“&＃61;”&＃xff1b;② 用于句子结尾的界符&＃xff0c;如“&＃xff1b;”&＃xff1b;③ 用于数组表示的界符&＃xff0c;如“[”和“]”&＃xff1b;④ 用于浮点数表示的界符“.”&＃xff09;

  • 常数&＃xff08;无符号整数&＃xff08;含八进制和十六进制数&＃xff09;、浮点数&＃xff08;含科学计数法&＃xff09;、字符串常数等&＃xff09;

  • 注释&＃xff08;/……/形式&＃xff09;

• 能够进行简单的错误处理&＃xff0c;即识别出测试用例中的非法字符。程序在输出错误提示信息时&＃xff0c;需要输出具体的错误类型&＃xff08;即词法错误&＃xff09;、出错的位置&＃xff08;源程序行号&＃xff09;以及相关的说明文字&＃xff0c;其格式为&＃xff1a;

Lexical error at Line [行号]: [说明文字].

说明文字的内容没有具体要求&＃xff08;例如&＃xff1a;非法字符&＃xff09;&＃xff0c;但是错误类型和出错的行号一定要正确&＃xff0c;因为这是判断输出错误提示信息是否正确的唯一标准。

• 系统的输入形式&＃xff1a;要求能够通过文件导入测试用例。测试用例要涵盖“实验内容”中列出的各类单词。

• 系统的输出形式&＃xff1a;打印输出测试用例对应的 token 序列 。

要求&＃xff1a;对如下内容展开描述

• 给出各类单词的词法规则描述&＃xff08;正则文法或正则表达式&＃xff09;

标识符&＃xff1a;

[_ | [a-z]][\w*]


关键字&＃xff1a;

r&＃39;((auto){1}|(double){1}|(int){1}|(if){1}|&＃39; \r&＃39;(#include){1}|(return){1}|(char){1}|(stdio\.h){1}|(const){1})&＃39;


运算符&＃xff1a;

r&＃39;(\&＃43;\&＃43;|\&＃43;&＃61;|\&＃43;|--|-&＃61;|-|\*&＃61;|/&＃61;|/|%&＃61;|%)&＃39;


界符&＃xff1a;

r&＃39;([,:\{}:)(<>])&＃39;


常数&＃xff1a;

r&＃39;(\d&＃43;[.]?\d&＃43;)&＃39;


• 各类单词的转换图

其余的单词转换图较为简单

常数&＃xff1a;

要求&＃xff1a;分为系统概要设计和系统详细设计。

• 系统概要设计&＃xff1a;给出必要的系统宏观层面设计图&＃xff0c;如系统框架图、数据流图、功能模块图等以及相应的文字说明。

功能模块&＃xff1a;

• 系统详细设计&＃xff1a;对如下工作进行展开描述

核心数据结构的设计

使用 Python 的列表 list[]

主要功能函数说明

def is_blank(self, index):判断是否是空白字符


def skip_blank(self, index):跳过空白字符


def is_keyword(self, value):判断是否是关键字


def main(self):词法分析的主程序


程序核心部分的程序流程图

要求&＃xff1a;对如下内容展开描述。

• 系统实现过程中遇到的问题&＃xff1b;

系统对十六进制的数的识别没有考虑进去。

解决方法为在判断常数时如果判断该常数第一个数为 0 时&＃xff0c;再判断其后的一个字母是否为 X&＃xff0c;如果是&＃xff0c;再判断后面的字符串是否为一连串的 0-9 或 A-F 组成&＃xff0c;如果是&＃xff0c;则认为该单词是常数。

• 针对某测试程序输出其词法分析结果&＃xff1b;

测试样例如下&＃xff1a;

• 对实验结果进行分析。

词法分析的结果大体上都是正确的&＃xff0c;但对于&&并没有识别出来&＃xff0c;而是识别成了两个&