phptokenizer获取所有类,PHPTokenizer学习笔记

简述

在某个项目中需要分析 PHP 代码&＃xff0c;分离出对应的函数调用(以及源代码对应的位置)。虽然这使用正则也可以实现&＃xff0c;但无论从效率还是代码复杂度方面考虑&＃xff0c;这都不是最优的方式。

查询了 PHP 手册&＃xff0c;发现其实 PHP 已经内置解析器的接口&＃xff0c;那就是 PHP Tokenizer&＃xff0c;这工具正是我想要的。使用 PHP Tokenizer 能简单、高效、准确的分析出 PHP 源代码的组成。

实例

官方站点对 Tokenizer 的文档很少&＃xff0c;不过这不影响我们理解它。Tokenizer 组件仅仅包含两个函数&＃xff1a;token_get_all 以及token_name&＃xff0c;它们分别用于分析 PHP 代码以及获取代码对应的标识符名称。

下面是个简单的实例&＃xff0c;说明如何使用这两个函数&＃xff1a;

以下为引用的内容&＃xff1a;

$code &＃61; &＃39;&＃39;;

$tokens &＃61; token_get_all($code);

foreach ($tokens as $token) {

if (is_array($token)) {

// 行号、标识符字面量、对应内容

printf("%d - %s\t%s\n", $token[2], token_name($token[0]), $token[1]);

}

}

对应的输出为

以下为引用的内容&＃xff1a;

1 - T_OPEN_TAG

1 - T_ECHO echo

1 - T_WHITESPACE

1 - T_CONSTANT_ENCAPSED_STRING "string1"

1 - T_CONSTANT_ENCAPSED_STRING "string2"

1 - T_WHITESPACE

1 - T_CLOSE_TAG ?>

这里顺便说明下&＃xff0c;$token 如果为数组&＃xff0c;那么分别对应的三个数组成员为 token 标识符(可以用 token_name 获得字面量)、对应的源代码内容、以及对应的行号。

还有中情况就是 $token 为字符串&＃xff0c;这可能的情况之一就是为 T_CONSTANT_ENCAPSED_STRING 等常量&＃xff0c;在分析代码时要注意。如果对这点很在意&＃xff0c;可以考虑使用这里的代码。

是的&＃xff0c;调用方式非常的简单&＃xff0c;我们的野心当然远远要比写个简单的循环要大得多。我们可以利用这个组件做写实事&＃xff0c;例如下面的代码用于“压缩” PHP 代码&＃xff0c;去除不不要的换行、空白以及注释

以下为引用的内容&＃xff1a;

/**

* “压缩”PHP 源代码

*

* &＃64;see http://c7y.phparch.com/c/entry/1/art,practical_uses_tokenizer

*/

class CompactCode

{

static protected $out;

static protected $tokens;

static public function compact($source)

{

// 解析 PHP 源代码

self::$tokens &＃61; token_get_all($source);

self::$out &＃61; &＃39;&＃39;;

reset(self::$tokens);

// 递归判断每个标记符的类型

while ($t &＃61; current(self::$tokens)) {

if (is_array($t)) {

// 过滤空白、注释

if ($t[0] &＃61;&＃61; T_WHITESPACE || $t[0] &＃61;&＃61; T_DOC_COMMENT || $t[0] &＃61;&＃61; T_COMMENT) {

self::skipWhiteAndComments();

continue;

}

self::$out .&＃61; $t[1];

} else {

self::$out .&＃61; $t;

}

next(self::$tokens);

}

return self::$out;

}

static private function skipWhiteAndComments()

{

// 增加个空格&＃xff0c;用于分割关键字

self::$out .&＃61; &＃39; &＃39;;

while ($t &＃61; current(self::$tokens)) {

// 再次贪婪查找

if (is_array($t) && ($t[0] &＃61;&＃61; T_WHITESPACE || $t[0] &＃61;&＃61; T_DOC_COMMENT || $t[0] &＃61;&＃61; T_COMMENT)) {

next(self::$tokens);

} else {

return;

}

}

}

}

调用方式很简单&＃xff0c;只需要使用

以下为引用的内容&＃xff1a;

CompactCode::compact($source_code);

即可&＃xff0c;返回的字符串就是压缩以后的内容。在这里还有更多使用 Tokenizer 的实例&＃xff0c;推荐阅读。