编译器一日一练（DIY系列之词法分析）

作者：胡慧君孟勋欣怡 | 来源：互联网 | 2023-09-15 07:12

词法分析是编译原理的基础。目前来说，大部分编程语言还是以英文为主。使用英文有几个好处，这户要是因为英文的单词和单词之间是用空格分开来的，不像中文需要用词组来分割。记得读书的时候，有一个编译原理上机作业，就是编写一个词法分析器。如果是纯手工编写词法分析器，那么势必涉及到状态机的知识。然而如果使用javacc来编写，只需要描述清楚规则就可以了。

目前词法分析涉及到的分词主要有这么几种，一种是关键字，一种是标识符，剩下来的就是各种各样的符号、字符串、数字等等。通常来说，分词就是将一长串的字符串解析成一个一个token。

当然，除了分词之外，有一些字符也是要过滤的，比如换行、空格、注释等等。

代码链接：https://github.com/feixiaoxing/DIYCompiler

1、关键字

关键字比较好理解。就是某个编程语言当中被预留的一些单词。比如c语言里面if、else、for、while、switch、case、goto等等，这些都属于关键字。javacc中一般是这么安排的，

TOKEN: {} TOKEN: {} TOKEN: {} TOKEN: {} TOKEN: {} TOKEN: {} TOKEN: {}

2、标识符

除了关键字之外，接下来就该说说标志符了。标识符通常就是各种各样变量的名字。这个名字一般用于描述全局变量、局部变量、函数名、函数参数、函数调用等等。对于标识符，javacc是这样来描述的，

TOKEN: {}

3、其他符号

在关键字和标识符之后，留下来的就是各种各样的计算符号、数字、字符串和一些特殊付好了。比如，数字一般这么描述，

TOKEN: { }

计算符号通常这么来描述，

TOKEN: {} TOKEN: {_{} TOKEN: {} TOKEN: {}

}
TOKEN: {TOKEN: {}
TOKEN: {}
TOKEN: {}
TOKEN: {}
TOKEN: {}
TOKEN: {}
TOKEN: {}

4、待过滤的符号

在编程代码中，有一些符号是要过滤的，他们不参与最终的代码生成，

SKIP: { <[" ", "\t", "\r", "\n"]> }

这样，有了上面四种形式的符号，基本的词法分析就差不多了。这里没有描述出来所有的符号，本着用多少记录多少的想法，大家在实际开发中可以根据自己的需要灵活增减。

5、实例

之前我们谈到了四则运算，这里稍作改变，其实就可以将语法表达式全部用token来表示了，

options {STATIC = false; }PARSER_BEGIN(Parse) import java.io.*; public class Parse {public static void main(String[] args) {for (String arg : args) {try {System.out.println(evaluate(arg));} catch (ParseException ex) {System.err.println(ex.getMessage());}}}public static long evaluate(String src) throws ParseException {Reader reader = new StringReader(src);return new Parse(reader).expr();} } PARSER_END(Parse)SKIP: { <[" ", "\t", "\r", "\n"]> }TOKEN: { }TOKEN: {} TOKEN: {_{} TOKEN: {} TOKEN: {}

}
TOKEN: {}TOKEN: {}
TOKEN: {}
TOKEN: {}
TOKEN: {}
TOKEN: {}
TOKEN: {}
TOKEN: {}long expr() throws NumberFormatException :
{long value = 0 ;
}
{value = main_expr() { return value ; }
}long main_expr() throws NumberFormatException :
{long a ;long b ;long value = 0 ;
}
{a = primary() {value = a;}( b = primary(){ value  += b; }|_{b = primary(){ value -= b; })*{ return value ; }
}long primary() throws NumberFormatException :
{long a ;long b ;long value = 0 ;
}
{a = secondary() {value = a;}( b = secondary(){ value  *= b; }|}

 b = secondary(){ value /= b; })*{ return value ; }
}long secondary() throws NumberFormatException:
{Token a;long b = 0;long value = 0;
}
{(a =  {value = Integer.parseInt( a.image );} | b =main_expr()  { value = b;}){ return value;}
}

这里有一点需要注意下，如果在语法表达式中需要使用token的时候，应该用<>来表示。此外如果需要解析这个token的时候，可以直接转变为Token，获取对应的信息就可以了。

推荐阅读

main
java boolean 大小_java boolean 大小

先看官方文档TheJavaTutorialshavebeenwrittenforJDK8.Examplesandpracticesdescribedinthispagedontta ... [详细]

蜡笔小新 2023-12-12 13:36:56
search
Python爬虫中使用正则表达式的方法和注意事项

本文介绍了在Python爬虫中使用正则表达式的方法和注意事项。首先解释了爬虫的四个主要步骤，并强调了正则表达式在数据处理中的重要性。然后详细介绍了正则表达式的概念和用法，包括检索、替换和过滤文本的功能。同时提到了re模块是Python内置的用于处理正则表达式的模块，并给出了使用正则表达式时需要注意的特殊字符转义和原始字符串的用法。通过本文的学习，读者可以掌握在Python爬虫中使用正则表达式的技巧和方法。 ... [详细]

蜡笔小新 2023-12-12 11:51:07
main
c语言基础编写,c语言基础

本文目录一览：1、C语言如何编写？2、如何编写 ... [详细]

蜡笔小新 2023-10-17 20:49:09
main
Java太阳系小游戏分析和源码详解

本文介绍了一个基于Java的太阳系小游戏的分析和源码详解。通过对面向对象的知识的学习和实践，作者实现了太阳系各行星绕太阳转的效果。文章详细介绍了游戏的设计思路和源码结构，包括工具类、常量、图片加载、面板等。通过这个小游戏的制作，读者可以巩固和应用所学的知识，如类的继承、方法的重载与重写、多态和封装等。 ... [详细]

蜡笔小新 2023-12-14 19:53:34
post
在类中定义数组时出错 - Error on defining arrays in class

Iamtryingtomakeaclassthatwillreadatextfileofnamesintoanarray,thenreturnthatarra ... [详细]

蜡笔小新 2023-12-14 17:38:12
uri
向QTextEdit拖放文件的方法及实现步骤

本文介绍了在使用QTextEdit时如何实现拖放文件的功能，包括相关的方法和实现步骤。通过重写dragEnterEvent和dropEvent函数，并结合QMimeData和QUrl等类，可以轻松实现向QTextEdit拖放文件的功能。详细的代码实现和说明可以参考本文提供的示例代码。 ... [详细]

蜡笔小新 2023-12-14 16:06:38
hash
开发笔记:加密&json&StringIO模块&BytesIO模块

篇首语：本文由编程笔记#小编为大家整理，主要介绍了加密&json&StringIO模块&BytesIO模块相关的知识，希望对你有一定的参考价值。一、加密加密 ... [详细]

蜡笔小新 2023-12-14 15:18:35
main
Java容器中的compareto方法排序原理解析

本文从源码解析Java容器中的compareto方法的排序原理，讲解了在使用数组存储数据时的限制以及存储效率的问题。同时提到了Redis的五大数据结构和list、set等知识点，回忆了作者大学时代的Java学习经历。文章以作者做的思维导图作为目录，展示了整个讲解过程。 ... [详细]

蜡笔小新 2023-12-14 13:53:31
数组
C语言注释工具及快捷键，删除C语言注释工具的实现思路

本文介绍了C语言中注释的两种方式以及注释的作用，提供了删除C语言注释的工具实现思路，并分享了C语言中注释的快捷键操作方法。 ... [详细]

蜡笔小新 2023-12-14 11:22:08
main
JavaSE笔试题-接口、抽象类、多态等问题解答

本文解答了JavaSE笔试题中关于接口、抽象类、多态等问题。包括Math类的取整数方法、接口是否可继承、抽象类是否可实现接口、抽象类是否可继承具体类、抽象类中是否可以有静态main方法等问题。同时介绍了面向对象的特征，以及Java中实现多态的机制。 ... [详细]

蜡笔小新 2023-12-14 10:01:13
hash
[大整数乘法] java代码实现

本文介绍了使用java代码实现大整数乘法的过程，同时也涉及到大整数加法和大整数减法的计算方法。通过分治算法来提高计算效率，并对算法的时间复杂度进行了研究。详细代码实现请参考文章链接。 ... [详细]

蜡笔小新 2023-12-13 11:21:32
include
Android源码深入理解JNI技术的概述和应用

本文介绍了Android源码中的JNI技术，包括概述和应用。JNI是Java Native Interface的缩写，是一种技术，可以实现Java程序调用Native语言写的函数，以及Native程序调用Java层的函数。在Android平台上，JNI充当了连接Java世界和Native世界的桥梁。本文通过分析Android源码中的相关文件和位置，深入探讨了JNI技术在Android开发中的重要性和应用场景。 ... [详细]

蜡笔小新 2023-12-13 10:00:57
main
OO第一单元自白：简单多项式导函数的设计与bug分析

本文介绍了作者在学习OO的第一次作业中所遇到的问题及其解决方案。作者通过建立Multinomial和Monomial两个类来实现多项式和单项式，并通过append方法将单项式组合为多项式，并在此过程中合并同类项。作者还介绍了单项式和多项式的求导方法，并解释了如何利用正则表达式提取各个单项式并进行求导。同时，作者还对自己在输入合法性判断上的不足进行了bug分析，指出了自己在处理指数情况时出现的问题，并总结了被hack的原因。 ... [详细]

蜡笔小新 2023-12-12 14:51:21
search
C语言自带的快排和二分查找

Author🚹:CofCaiEmail✉️:cai.dongjunnexuslink.cnQQ😙:1664866311personalPage&#x ... [详细]

蜡笔小新 2023-10-17 21:23:47
main
C语言的经典程序有哪些

本篇内容介绍了“C语言的经典程序有哪些”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何 ... [详细]

蜡笔小新 2023-10-17 19:32:24

胡慧君孟勋欣怡

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章