javaalanliu_GitHubalanliurong/TinyPinyin:适用于Java和Android的快速、低内存占用的汉字转拼音库。...

TinyPinyin

适用于Java和Android的快速、低内存占用的汉字转拼音库。

特性

生成的拼音不包含声调&＃xff0c;均为大写&＃xff1b;

支持自定义词典&＃xff0c;支持简体中文、繁体中文&＃xff1b;

执行效率很高(Pinyin4J的4~16倍)&＃xff1b;

很低的内存占用(不添加词典时小于30KB)。

原理介绍

使用

汉字转拼音API

/**

* 如果c为汉字&＃xff0c;则返回大写拼音&＃xff1b;如果c不是汉字&＃xff0c;则返回String.valueOf(c)

*/

String Pinyin.toPinyin(char c)

/**

* c为汉字&＃xff0c;则返回true&＃xff0c;否则返回false

*/

boolean Pinyin.isChinese(char c)

/**

* 将输入字符串转为拼音&＃xff0c;转换过程中会使用之前设置的用户词典&＃xff0c;以字符为单位插入分隔符

*/

String toPinyin(String str, String separator)

词典API

// 添加中文城市词典

Pinyin.init(Pinyin.newConfig().with(CnCityDict.getInstance());

// 添加自定义词典

Pinyin.init(Pinyin.newConfig()

.with(new PinyinMapDict() {

&＃64;Override

public Map mapping() {

HashMap map &＃61; new HashMap();

map.put("重庆", new String[]{"CHONG", "QING"});

return map;

}

}));

添加到工程

buildscript {

repositories {

jcenter()

}

dependencies {

compile &＃39;com.github.promeg:tinypinyin:2.0.3&＃39; // TinyPinyin核心包&＃xff0c;约80KB

compile &＃39;com.github.promeg:tinypinyin-lexicons-android-cncity:2.0.3&＃39; // 可选&＃xff0c;适用于Android的中国地区词典

compile &＃39;com.github.promeg:tinypinyin-lexicons-java-cncity:2.0.3&＃39; // 可选&＃xff0c;适用于Java的中国地区词典

}

}

详细说明

1. 设计目标

Pinyin4J的问题

Jar文件较大&＃xff0c;205KB&＃xff1b;

Pinyin4J的PinyinHelper.toHanyuPinyinStringArray 在第一次调用时耗时非常长(~2000ms)&＃xff1b;

功能臃肿&＃xff0c;许多情况下我们不需要声调、方言&＃xff1b;

无法添加自定义词典&＃xff0c;进而无法有效处理多音字

内存占用太高&＃xff1b;

TinyPinyin特性

转换后的结果不包含声调和方言&＃xff1b;

支持自定义词典&＃xff0c;方便处理多音字&＃xff1b;

尽可能低的内存占用&＃xff1b;

比Pinyin4J更快的转换速度;

2. Correctness

以Pinyin4J作为基准&＃xff0c;确保对所有的字符(Character.MAX_VALUE ~ Character.MIN_VALUE)&＃xff0c;TinyPinyin与Pinyin4J有相同的返回结果。

(Pinyin4J采用无声调的输出&＃xff0c;多音字取第一个拼音进行对比)

该部分请见PinyinTest.java

繁体中文的测试请见&＃xff1a;PinyinTest.testToPinyin_traditional_chars()

采用以下命令运行test&＃xff1a;

./gradlew clean build :lib:test :tinypinyin-lexicons-android-cncity:test :tinypinyin-android-asset-lexicons:test :android-sample:connectedAndroidTest

3. Effectiveness

速度

使用JMH工具得到bechmark&＃xff0c;对比TinyPinyin和Pinyin4J的运行速度。

具体测例请见lib/src/jmh/中的性能测试代码。

采用以下命令运行benchmark&＃xff1a;

./gradlew :lib:jmhFixed

生成的报告在 pinyinhelper/build/reports/jmh/ 中。

性能测试结果简要说明&＃xff1a;单个字符转拼音的速度是Pinyin4j的四倍&＃xff0c;添加字典后字符串转拼音的速度是Pinyin4j的16倍。

详细测试结果&＃xff1a;

Benchmark

Mode

Samples

Score

Unit

TinyPinyin_Init_With_Large_Dict(初始化大词典)

thrpt

200

66.131

ops/s

TinyPinyin_Init_With_Small_Dict(初始化小词典)

thrpt

200

35408.045

ops/s

TinyPinyin_StringToPinyin_With_Large_Dict(添加大词典后进行String转拼音)

thrpt

200

16.268

ops/ms

Pinyin4j_StringToPinyin(Pinyin4j的String转拼音)

thrpt

200

1.033

ops/ms

TinyPinyin_CharToPinyin(字符转拼音)

thrpt

200

14.285

ops/us

Pinyin4j_CharToPinyin(Pinyin4j的字符转拼音)

thrpt

200

4.460

ops/us

TinyPinyin_IsChinese(字符是否为汉字)

thrpt

200

15.552

ops/us

Pinyin4j_IsChinese(Pinyin4j的字符是否为汉字)

thrpt

200

4.432

ops/us

内存占用

1. 不添加词典时

3个static byte[7000] 存储所有汉字的拼音的低8位&＃xff0c;占用7000 1 3 &＃61; 21KB 内存&＃xff1b;

3个static byte[7000/8] 存储所有汉字的拼音的第9位(最高位)&＃xff0c;占用7000 / 8 1 3 &＃61; 3KB 内存&＃xff1b;

一个String[408] 存储所有可能的拼音&＃xff0c;占用 1.7KB 内存&＃xff1b;

共占用 <30KB.

2. 添加词典时

使用‘com.github.promeg:tinypinyin-lexicons-java-cncity:2.0.0’时&＃xff0c;额外消耗约43KB内存。

Todo

支持繁体中文

支持姓氏拼音

压缩词库

词库生成工具