当前位置: 开发笔记 > 数据库 > 正文

使用flex和bison实现的sql引擎解析

作者：沙漏虎 | 来源：互联网 | 2018-06-06 12:56

由于老师要求，最近在做oceanbase存储过程的实现，在oceanbase0.4以前是不支持存储过程的。实现的主要步骤主要包括1、语法解析2、词法解析3、具体执行语法树的步骤现在先来说说语法解析吧，在这一块主要是使用的flex（词法分析器生成工具）和bison(语

由于老师要求，最近在做oceanbase存储过程的实现，在oceanbase 0.4以前是不支持存储过程的。实现的主要步骤主要包括 1、语法解析 2、词法解析 3、具体执行语法树的步骤现在先来说说语法解析吧，在这一块主要是使用的flex（词法分析器生成工具）和bison(语

由于老师要求，最近在做oceanbase存储过程的实现，在oceanbase 0.4以前是不支持存储过程的。实现的主要步骤主要包括

1、语法解析

2、词法解析

3、具体执行语法树的步骤

现在先来说说语法解析吧，在这一块主要是使用的flex（词法分析器生成工具）和bison(语法分析器生成器) 这两个是对用户输入的存储过程语句进行解析的

来具体说说该怎么实现对sql语句的分析吧

1、首先建立一个lex的文件

%option noyywrap nodefault yylineno case-insensitive

%{

#include "prosql.tab.hpp"
#include 
#include 
#include 
#include 
#include 
//YYSTYPE yylval;
int oldstate;
extern "C" int yylex();
//extern "C" int yyparse();
extern "C" void yyerror(const char *s, ...);
extern char globalInputText[10000];
extern int readInputForLexer( char *buffer, int *numBytesRead, int maxBytesToRead );
#undef YY_INPUT
#define YY_INPUT(b,r,s) readInputForLexer(b,&r,s)
%}

%x COMMENT

%%

CREATE		{ return CREATE; }
PROCEDURE	{ return PROCEDURE; }
SQL		{ return SQL; }

DECLARE		{ return DECLARE; }
SET		{ return SET; }
BEGIN		{ return BEGINT; }
END		{ return END; }

INT		{ return INT; }
VARCHAR		{ return VARCHAR; }
DATE		{ return DATE; }
TIME		{ return TIME; }
DOUBLE		{ return DOUBLE; }

IF		{ return IF; }
THEN		{ return THEN; }
ELSE		{ return ELSE; }
ENDIF		{ return ENDIF; }
FOR		{ return FOR; }
WHEN		{ return WHEN; }
WHILE		{ return WHILE; }


[0-9]+	{ yylval.strval = strdup(yytext);/*printf("number=%s\n",yylval.strval);*/ return INTNUM; }/*number*/

[0-9]+"."[0-9]* |
"."[0-9]+	|
[0-9]+E[-+]?[0-9]+	|
[0-9]+"."[0-9]*E[-+]?[0-9]+ |
"."[0-9]*E[-+]?[0-9]+	{ yylval.strval = strdup(yytext);/*printf("float=%s\n",yylval.strval);*/ return APPROXNUM; }/*double*/

TRUE	{ yylval.strval = "1";/*printf("bool=%s\n",yylval.strval);*/ return BOOL; }/*bool*/

FALSE	{ yylval.strval = "0";/*printf("bool=%s\n",yylval.strval);*/ return BOOL; }/*bool*/

&＃39;(\\.|&＃39;&＃39;|[^&＃39;\n])*&＃39;	|
\"(\\.|\"\"|[^"\n])*\"  {
				char *temp = strdup(yytext); 
				yylval.strval = strdup(yytext);

				//GetCorrectString(yylval.strval, temp);
				
				/*printf("string=%s\n",yylval.strval);*/
				return STRING;
			}/*string*/
&＃39;(\\.|[^&＃39;\n])*$		{ yyerror("Unterminated string %s", yytext); }
\"(\\.|[^"\n])*$		{ yyerror("Unterminated string %s", yytext); }


X&＃39;[0-9A-F]+&＃39; |  
0X[0-9A-F]+  	{ yylval.strval = strdup(yytext); return STRING; }


0B[01]+      |
B&＃39;[01]+&＃39;     { yylval.strval = strdup(yytext); return STRING; }


[-+&~|^/%*(),.;!]   { return yytext[0]; }

"&&"	{ return ANDOP; }
"||"	{ return OR; }

"<"	{ yylval.subtok = 1; return COMPARISON; }
">"	{ yylval.subtok = 2; return COMPARISON; }
"!="	|
"<>"	{ yylval.subtok = 3; return COMPARISON; }
"="	{ yylval.subtok = 4; return COMPARISON; }
"<="	{ yylval.subtok = 5; return COMPARISON; }
">="	{ yylval.subtok = 6; return COMPARISON; }
"<=>"	{ yylval.subtok = 12; return COMPARISON; }

"<<"	{ yylval.subtok = 1; return SHIFT; }
">>"	{ yylval.subtok = 2; return SHIFT; }


[A-Za-z][A-Za-z0-9_]*	{ yylval.strval = strdup(yytext);
			  /*printf("name 1=%s\n",yylval.strval);*/
                          return NAME; }
`[^`/\\.\n]+`           { yylval.strval = strdup(yytext+1);
			  /*printf("name 2=%s\n",yylval.strval);*/
                          yylval.strval[yyleng-2] = 0;
                          return NAME; }

`[^`\n]*$               { yyerror("unterminated quoted name %s", yytext); }


@[0-9a-z_.$]+ |
@\"[^"\n]+\" |
@`[^`\n]+` |
@&＃39;[^&＃39;\n]+&＃39; { yylval.strval = strdup(yytext+1);  return USERVAR; }

@\"[^"\n]*$ { yyerror("unterminated quoted user variable %s", yytext); }
@`[^`\n]*$ { yyerror("unterminated quoted user variable %s", yytext); }
@&＃39;[^&＃39;\n]*$ { yyerror("unterminated quoted user variable %s", yytext); }

":="     { return ASSIGN; }

#.*		;
"--"[ \t].*	;

"/*"            { oldstate = YY_START; BEGIN COMMENT; }
"*/"   { BEGIN oldstate; }
.|\n   ;
<> { yyerror("unclosed comment"); }


[ \t\n]         /* white space */
.               { yyerror("mystery character &＃39;%c&＃39;", *yytext); }

%%

这一部分呢就是对 每个我们自定义的满足正则的识别

接下来是对词的语法识别

%{
#include 
#include 
#include 
#include 
#include 
char * parsetreeroot=NULL;
extern "C" int yylex();
extern "C" int yyparse();
extern "C" void yyerror(const char *s, ...);
char globalInputText[10000];
int globalReadOffset;
int readInputForLexer( char *buffer, int *numBytesRead, int maxBytesToRead );
char * mystrcat(char *s1,char *s2)
{
	char *p1=(char *)malloc(strlen(s1)+strlen(s2)+1);
	strcpy(p1,s1);
	strcat(p1,s2);
	return p1;
}
%}
%locations
%union {
	int intval;		
	double floatval;	
	char *strval;
	int subtok;
}
%token  NAME
%token  STRING
%token  INTNUM
%token  BOOL
%token  APPROXNUM
%token  USERVAR

%type  stmt_root  create_stmt para_list definition  data_type pro_block pro_parameters declare_list set_list 
%type  assign_var  pro_body pro_stmt_list sql_stmt expr



%right ASSIGN
%left OR
%left XOR
%left ANDOP

%left NOT &＃39;!&＃39;
%left BETWEEN
%left  COMPARISON /* = <> <> <= >= <=> */
%left &＃39;|&＃39;
%left &＃39;&&＃39;
%left  SHIFT /* <<>> */
%left &＃39;+&＃39; &＃39;-&＃39;
%left &＃39;*&＃39; &＃39;/&＃39; &＃39;%&＃39; MOD
%left ^_^ _^`

%token CREATE
%token PROCEDURE
%token PRONAME
%token DECLARE
%token SET
%token BEGINT
%token END
%token SQL

%token INT
%token VARCHAR
%token DATE
%token TIME
%token DOUBLE

%token IF
%token NOT
%token EXISTS
%token THEN
%token ELSE
%token ENDIF
%token FOR
%token WHEN
%token WHILE
%start stmt_root
%%

stmt_root: create_stmt pro_block { $$=mystrcat($1,$2); parsetreeroot=$$;}
;
create_stmt: CREATE PROCEDURE  NAME &＃39;(&＃39; para_list &＃39;)&＃39; 
		{
			char *temp=mystrcat("create procedure ",$3);
			temp=mystrcat(temp,"(");
			temp=mystrcat(temp,$5);
			$$=mystrcat(temp,")(create)\n");
		}
;
/*
opt_if_not_exists:	      { $$ = 0; } 
   | IF NOT EXISTS            { $$ = 1; } 
   ;
*/
para_list: definition { $$=$1; }
|definition &＃39;,&＃39; para_list 
		{	
			
			char *temp=mystrcat($1,",");
			$$=mystrcat(temp,$3); 
		}
;
definition: USERVAR data_type 
		{	
			
			char *temp=mystrcat($1," ");
			$$=mystrcat(temp,$2);
			
		}
;

data_type:
   DATE 					{$$="date"; }
   | TIME					{$$="time"; }
   | VARCHAR &＃39;(&＃39; INTNUM &＃39;)&＃39; 			{$$="varchar"; }
   | INT 					{$$="int"; }
   | DOUBLE 					{$$="double"; }	
   ;

pro_block: BEGINT pro_parameters pro_body END 
		{ 
			char *temp=mystrcat("begin\n",$2);
			temp=mystrcat(temp,"");
			temp=mystrcat(temp,$3);
			$$=mystrcat(temp,"end");
			//printf("pro_body %s\n",$3);
		}
;

pro_parameters: declare_list &＃39;;&＃39; { $$=mystrcat($1,";(declare)\n");}
|pro_parameters  declare_list &＃39;;&＃39; 
		{ 
			char *temp=mystrcat($1,$2);
			$$=mystrcat(temp,";(declare)\n");
		}
|pro_parameters  set_list &＃39;;&＃39; 
		{
	 		char *temp=mystrcat($1,$2);
			$$=mystrcat(temp,";(set)\n");
		}
;

declare_list:
|DECLARE definition 
		{
			$$=mystrcat("declare ",$2);
		}
|declare_list &＃39;,&＃39; definition 
		{ 
			char *temp=mystrcat($1,",");
			$$=mystrcat(temp,$3); 
		}
;

set_list:
|SET assign_var 
		{
			$$=mystrcat("set ",$2); 
		}
| set_list &＃39;,&＃39; assign_var 
		{	
			char *temp=mystrcat($1,",");
			$$=mystrcat(temp,$3); 
		}
;

assign_var : USERVAR COMPARISON expr
		{ 	
			char *temp=mystrcat($1,"=");
			$$=mystrcat(temp,$3); 
		}
;

expr: NAME         { $$=$1;}
   | STRING        { $$=$1;}
   | INTNUM        { $$=$1;}
   | APPROXNUM 	   { $$=$1;}	
   | BOOL          { $$=$1;}
   ;

pro_body :  pro_stmt_list { $$=$1; }
;
pro_stmt_list: sql_stmt {$$=$1; }
|pro_stmt_list  sql_stmt 
		{
			$$=mystrcat($1,$2);
		}
;
sql_stmt: 
|SQL NAME &＃39;;&＃39; { $$=mystrcat($2,";(sql)\n");}
;
%%
/*
int main(int argc, char* argv[])
{
	yyparse();
}*/
int readInputForLexer( char *buffer, int *numBytesRead, int maxBytesToRead ) {
	int numBytesToRead = maxBytesToRead;
	int bytesRemaining = strlen(globalInputText)-globalReadOffset;
	int i;
	if ( numBytesToRead > bytesRemaining ) { numBytesToRead = bytesRemaining; }
	for ( i = 0; i 
这些需要在linux环境下进行调试
bison -d 文件名
flex 文件名

sql
linux

推荐阅读

insert
第十一章 Python基本数据类型及内置方法

一、概述数据类型是用来记录事物状态的，而事物的状态是不断变化的(如:一个人年龄的增长（操作int类型），单个人名的修改（操作str类型），学生列表中增加学生（操作list类型）等) ... [详细]

蜡笔小新 2024-12-16 11:56:40
insert
VMware Server免费版与付费版ESX Server的对比分析

在服务器虚拟化领域，用户面临多种选择，尤其是来自同一供应商的不同产品。正确评估这些选项对于项目的成功至关重要。本文将深入探讨VMware提供的两款主要虚拟化平台——免费的VMware Server和付费的ESX Server之间的区别，旨在为决策提供专业指导。 ... [详细]

蜡笔小新 2024-12-16 11:06:23
database
MySQL数据误删应急处理与预防策略

本文提供了关于如何应对MySQL数据库中数据误删情况的详细指导，并分享了一些有效的预防措施，帮助数据库管理员减少误操作带来的损失。 ... [详细]

蜡笔小新 2024-12-16 10:08:43
数据库
Kubernetes 集群中 ETCD 数据库的部署指南

本文档详细介绍了在 Kubernetes 集群中部署 ETCD 数据库的过程，包括实验环境的准备、ETCD 证书的生成及配置、以及集群的启动与健康检查等关键步骤。 ... [详细]

蜡笔小新 2024-12-16 09:14:15
数据库
Yocto项目实战指南：BeagleBone Yocto配置详解之MACHINE_EXTRA_RRECOMMENDS变量

本文由fulinux撰写，探讨了BeagleBone平台下Yocto配置文件中的MACHINE_EXTRA_RRECOMMENDS变量的具体作用及其对系统构建的影响。欢迎关注和支持。 ... [详细]

蜡笔小新 2024-12-16 04:38:10
数据库
C语言入门精选教程与书籍推荐

本文精选了几本适合不同水平学习者的C语言书籍，从基础入门到进阶提高，帮助读者全面掌握C语言的核心知识和技术。 ... [详细]

蜡笔小新 2024-12-15 19:35:11
数据库
PHP 字符串处理：检测子字符串及位置

本文探讨如何使用 PHP 进行字符串处理，特别是如何检测一个字符串是否存在于另一个字符串中，并确定其具体位置。通过实例代码展示，帮助读者掌握这一常用功能。 ... [详细]

蜡笔小新 2024-12-15 19:09:50
数据库
在DELL Inspiron 14R上部署CentOS X64 6.4的详细步骤

本文详细记录了在DELL Inspiron 14R笔记本电脑上安装CentOS X64 6.4操作系统的过程，包括遇到的问题及解决方法。 ... [详细]

蜡笔小新 2024-12-15 18:10:54
insert
深入解析insmod与modprobe命令的差异及应用场景

本文详细探讨了Linux系统中insmod与modprobe两种模块加载命令的主要区别及其具体应用场景，特别是在处理模块依赖关系和避免重复加载方面的作用。 ... [详细]

蜡笔小新 2024-12-15 15:32:26
insert
如何在Linux系统中安装并使用虚拟机

本文详细介绍了在Linux操作系统中安装和配置虚拟机的方法，包括选择合适的虚拟机软件、安装过程及基本配置步骤。 ... [详细]

蜡笔小新 2024-12-15 15:12:52
insert
基于OpenWrt构建首个'Hello World' IPK应用

本文介绍如何在Ubuntu环境下为OpenWrt系统构建并安装首个'Hello World'应用程序的IPK包。文章不仅涵盖了基本的环境搭建，还详细说明了代码编写、Makefile配置及最终的IPK包生成与安装过程。 ... [详细]

蜡笔小新 2024-12-15 13:28:28
oracle
WebSphere 故障排除与性能优化策略

本文总结了WebSphere应用服务器出现宕机问题的解决方法，重点讨论了关键参数的调整，包括数据源连接池、线程池设置以及JVM堆大小等，旨在提升系统的稳定性和性能。 ... [详细]

蜡笔小新 2024-12-15 12:43:22
oracle
Java程序员必备：最新面试问题解析（基础篇）

本文整理了一系列Java面试问题，涵盖Java开发环境的分类、Java语言的核心特性、Linux环境下Java SE的安装步骤、常用的Java开发工具介绍，以及类与对象的基本概念等。 ... [详细]

蜡笔小新 2024-12-15 12:13:22
数据库
如何确保Python长期运行进程的稳定性和效率

本文探讨了在Unix/Linux环境下，如何有效地管理和运行长期或无限期运行的Python进程。文章不仅提供了关于进程崩溃后的处理方法，还讨论了使用Cron和Inetd等工具来优化进程管理的策略。 ... [详细]

蜡笔小新 2024-12-15 11:34:37
数据库
Linux文本处理技巧

本文介绍了在Linux系统中常用的文本操作命令，包括文件查看、搜索和重定向等基本操作。通过这些命令，用户可以高效地管理文件内容。 ... [详细]

蜡笔小新 2024-12-15 10:43:10

沙漏虎

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章