Java的String类中提到的代码点,代码单元到底是什么?

unicode是计算机科学领域里的一项业界标准&＃xff0c;包括字符集、编码方案等。计算机采用八比特一个字节&＃xff0c;一个字节最大整数是255&＃xff0c;还要表示中文一个字也是不够的&＃xff0c;至少需要两个字节&＃xff0c;为了统一所有的文字编码&＃xff0c;unicode为每种语言中的每个字符设定了统一并且唯一的二进制编码&＃xff0c;通常用两个字节表示一个字符&＃xff0c;所以unicode每个平面可以组合出65535种不同的字符&＃xff0c;一共17个平面。

由于英文符号只需要用到低8位&＃xff0c;所以其高8位永远是0&＃xff0c;因此保存英文文本时会多浪费一倍的空间。

比如汉子“汉”的unicode,在java中输出

System.out.println("\u5B57");

unicode在计算机中如何存储呢&＃xff0c;就是用unicode字符集转换格式&＃xff0c;即我们常见的UTF-8、UTF-16等。

UTF-8就是以字节为单位对unicode进行编码&＃xff0c;对不同范围的字符使用不同长度的编码。

000000-00007F 0xxxxxxx
000080-0007FF 110xxxxx 10xxxxxx
000800-00FFFF 1110xxxx 10xxxxxx 10xxxxxx
010000-10FFFF 11110xxx10xxxxxx10xxxxxx10xxxxxx
Java中的String对象就是一个unicode编码的字符串。

java中想知道一个字符的unicode编码我们可以通过Integer.toHexString()方法

String str &＃61; "编";StringBuffer sb &＃61; new StringBuffer();char [] source_char &＃61; str.toCharArray();String unicode &＃61; null;for (int i&＃61;0;i

对应的utf-8编码是什么呢?

7f16在0800-FFFF之间&＃xff0c;所以要用3字节模板&＃xff1a;1110xxxx 10xxxxxx 10xxxxxx。
7f16写成二进制是&＃xff1a;0111 1111 0001 0110
按三字节模板分段方法分为0111 111100 010110&＃xff0c;代替模板中的x&＃xff0c;得到11100111 10111100 10010110&＃xff0c;即“编”对应的utf-8的编码是e7 bc 96&＃xff0c;占3个字节

unicode的范围从000000 - 10FFFF&＃xff0c;char的范围只能是在\u0000到\uffff&＃xff0c;也就是标准的 2 字节形式通常称作 UCS-2&＃xff0c;在Java中&＃xff0c;char类型用UTF-16编码描述一个代码单元&＃xff0c;但unicode大于0x10000的部分如何用char表示呢&＃xff0c;比如一些emoji&＃xff1a;&＃x1f600;

java的char类型占两个字节&＃xff0c;想要表示&＃x1f600;这个表情就需要2个char&＃xff0c;看如下代码

String testCode &＃61; “ab\uD83D\uDE03cd”;
int length &＃61; testCode.length();
int count &＃61; testCode.codePointCount(0, testCode.length());
//length&＃61;6
//count&＃61;5
第三个和第四个字符合起来代表&＃x1f600;&＃xff0c;是一个代码点,
如果我们想取到每个代码点做一些判断可以这么写

String testCode &＃61; "ab\uD83D\uDE03cd";int cpCount &＃61; testCode.codePointCount(0, testCode.length());for(int index &＃61; 0; index

也就是按照codePointindex取字符&＃xff0c;0取到a&＃xff0c;1取到b&＃xff0c;2取到\uD83D\uDE03也就是&＃x1f600;&＃xff0c;3取到c&＃xff0c;4取到d&＃xff1b;
按照String的index取字符&＃xff0c;0取到a&＃xff0c;1取到b&＃xff0c;2取到\uD83D&＃xff0c;3取到\uDE03&＃xff0c;4取到c&＃xff0c;5取到d。
这就是codePointIndex和char的index的区别。

取到codePoint就可以按照unicode值进行字符的过滤等操作。

如果有个需求是既可以按照unicode值过滤字符&＃xff0c;也能按照正则表达式过滤字符&＃xff0c;并且还有白名单&＃xff0c;应该如何实现呢。

其实unicode过滤和正则表达式过滤并不冲突&＃xff0c;自己实现自己的过滤就好了&＃xff0c;如果需求加入了过滤白名单就会复杂一些&＃xff0c;不能直接过滤&＃xff0c;需要先检验是否是白名单的index。

我的思路是记录白名单char的index&＃xff0c;正则表达式或其他过滤方式可以获得违规char的index&＃xff0c;unicode黑名单的codepointIndex可以转换成char的index&＃xff0c;在获取codePont的index时可以判断当前字符是单char字符还是双char字符&＃xff0c;双char字符需要添加2个下标&＃xff0c;方法如下

//取到unicode值 int codepoint &＃61; testCode.codePointAt(i);//将unicode值转换成char数组char[] chars &＃61; Character.toChars(codepoint);charIndexs.add(pointIndex);if (chars.length > 1) {//表示不是单char字符&＃xff0c;记录index时同时添加i&＃43;1charIndexs.add(pointIndex &＃43; 1);}


//例
String str &＃61; “ab\uD83D\uDE03汉字”;
想处理emoji&＃xff0c;那记录的下标就是2、3&＃xff0c;最后和白名单下标比较后统一删除

如何区别char是一对还是单个
就之前的例子ab\uD83D\uDE03cd&＃xff0c;换种写法\u0061\u0062\uD83D\uDE0\u0063\u0064
程序是如何将\uD83D\uDE03解析成一个字符的呢。这就需要Surrogate这个概念&＃xff0c;来自UTF-16。

UTF-16是16bit最多编码65536&＃xff0c;那大于65536如何编码&＃xff1f;Unicode 标准制定组想出的办法是&＃xff0c;从这65536个编码里&＃xff0c;拿出2048个&＃xff0c;规定他们是「Surrogates」&＃xff0c;让他们两个为一组&＃xff0c;来代表编号大于65536的那些字符。
编号为 U&＃43;D800 至 U&＃43;DBFF 的规定为「High Surrogates」&＃xff0c;共1024个。
编号为 U&＃43;DC00 至 U&＃43;DFFF 的规定为「Low Surrogates」&＃xff0c;也是1024个。
他们组合出现&＃xff0c;就又可以多表示1048576中字符。

看一下String.codePointAt这个方法&＃xff0c;

static int codePointAtImpl(char[] a, int index, int limit) {char c1 &＃61; a[index];if (isHighSurrogate(c1) && &＃43;&＃43;index }


其中有两个方法isHighSurrogate、isLowSurrogate。
第一个方法判断是否为高代理项代码单元&＃xff0c;即在’\uD800’与’\uDBFF’之间&＃xff0c;
第二个方法判断是否为低代理项代码单元&＃xff0c;即在’\uDC00’与’\uDFFF’之间。

codePointAtImpl方法判断当前char是高代理项代码单元&＃xff0c;下一个是低代理项代码单元&＃xff0c;则这两个char是一个codepoint。

再来看一下unicode转UTF-16的方法

如果U<0x10000&＃xff0c;U的UTF-16编码就是U对应的16位无符号整数&＃xff08;为书写简便&＃xff0c;下文将16位无符号整数记作WORD&＃xff09;。
如果U≥0x10000&＃xff0c;我们先计算U’&＃61;U-0x10000&＃xff0c;然后将U’写成二进制形式&＃xff1a;yyyy yyyy yyxx xxxx xxxx&＃xff0c;U的UTF-16编码&＃xff08;二进制&＃xff09;就是&＃xff1a;110110yyyyyyyyyy 110111xxxxxxxxxx。

还是以U&＃43;1F603这个&＃x1f603;为例子&＃xff0c;U’&＃61;U-0x10000&＃61;F603
写成2进制就是1111011000000011&＃xff0c;不足20位前面补0&＃xff0c;
变成0000111101-1000000011&＃xff0c;替换y和x就是1101100000111101&＃xff0c;1101111000000011&＃xff0c;最后UTF-16编码就是[d83d&＃xff0c;de03] 和上面一样。