目录

1.什么是Unicode&＃xff1f;

2.为什么使用Unicode&＃xff1f;

3.Unicode有什么缺点

4.Unicode编程

4.1 C运行时库对Unicode的支持

4.1.1 字符串类型

 4.1.2 字符串处理函数

4.2 用UNICODE宏来编程和控制编译

4.3 编程原则

1.什么是Unicode&＃xff1f;

Unicode的学名是"Universal Multiple-Octet Coded Character Set"&＃xff0c;简称为UCS&＃xff0c;也叫统一码、万国码、单一码。

Unicode 是为了解决传统的字符编码方案的局限而产生的&＃xff0c;它为每种语言中的每个字符设定了统一并且唯一的二进制编码&＃xff0c;以满足跨语言、跨平台进行文本转换、处理的要求。

虽然我们经常说unicode编码&＃xff0c;但它其实不是一种常规意义上的编码&＃xff0c;我认为叫作“编号”更准确&＃xff0c;unicode给每个字符都定义了一个不会重复的编号&＃xff0c;例如&＃xff1a;

“汉”对应的编号是0x6C49

因为每个字符都有不会重复的编号&＃xff0c;所有unicode可以表示世界上所有的字符&＃xff0c;那么有的人会问汉字有7万多个&＃xff0c;而unicode只有2个字节&＃xff0c;那它是怎么表示得下呢&＃xff1f;

早期的Unicode标准有UCS-2、UCS-4的说法。UCS-2用两个字节编码&＃xff0c;UCS-4用4个字节编码。UCS-4根据最高位为0的最高字节分成2^7&＃61;128个group。每个group再根据次高字节分为256个平面&＃xff08;plane&＃xff09;。每个平面根据第3个字节分为256行 &＃xff08;row&＃xff09;&＃xff0c;每行有256个码位&＃xff08;cell&＃xff09;。group 0的平面0被称作BMP&＃xff08;Basic Multilingual Plane&＃xff09;。将UCS-4的BMP去掉前面的两个零字节就得到了UCS-2。每个平面有2^16&＃61;65536个码位。unicode规划了17个平面&＃xff0c;也就是说一共有17*65536&＃61;1114112个码位&＃xff0c;可以表示1114112个字符。综上所述&＃xff0c;早期的unicode可能确实只有2个字节&＃xff0c;但是从UCS-4开始&＃xff0c;已经可以支持4个字节了&＃xff0c;所以所有的汉字都是能表示得下的。

不要直接把unicode和2个字节划等号&＃xff0c;这是不科学的。

那么unicode既然不是一种编码&＃xff0c;那编码是什么&＃xff0c;我认为编码是一种和计算机通话的规则。例如上面的“汉”字的unicode编号是0x6C49&＃xff0c;假设现在有1种编码叫MyUtf&＃xff0c;MyUtf会按照它自己的规则把0x6C49的二进制进行一些变换&＃xff0c;假设变换成了0x55AA&＃xff0c;然后只要告诉计算机当前有个字符用MyUtf来编码的&＃xff0c;编码后的值是0x55AA&＃xff0c;那么计算机就自动会按照MyUtf的规则进行逆运算&＃xff0c;得到0x6C49&＃xff0c;并正确的显示一个“汉”字。同样地不管是UTF-8,UTF-16,UTF-32&＃xff0c;只要是对UNICODE字符进行编码&＃xff0c;那实际上就是对这个编号进行编码&＃xff0c;由于编号是固定的&＃xff0c;所以不管编码规则如何编号&＃xff0c;只要计算机最后能知道你这个编号对应的是UNICODE编号的哪一个就行了&＃xff0c;根据编号计算机就能正确的显示出对应的字符&＃xff0c;这正是UNICODE标准的意义。

下面是一个用UTF-8对一个UNICODE字符进行编码的示例&＃xff1a;

 

 

“汉”字的Unicode编码是0x6C49&＃xff0c;将0x6C49写成二进制是&＃xff1a; 0110 1100 0100 1001

采用UTF-8的编码规则编码后为&＃xff1a;1110 0110 1011 0001 0100 1001&＃xff0c;即0xE6B189

那么我们能说UTF-8是UNICODE吗&＃xff1f;

当然不能了。

UTF-8 是使用互联网上使用最广泛的 unicode 编码方式&＃xff0c;目前已经占有整个互联网 92% 的份额。这里再强调下 UTF-8 只是 Unicode 的一种实现方式&＃xff0c;UTF-8 是编码方式&＃xff0c;而 Unicode 是字符集合。UTF-8它是可变长的编码方式&＃xff0c;长度从 1 个字节到 4 个字节不等。它能够完全兼容 ASCII 码&＃xff0c;我们知道 ASCII 码 是由 128 个字符组成的&＃xff0c;而 Unicode 中的前 128 个字符和 ASCII 码都是对应的。

我们经常用Visual Studio编程&＃xff0c;那么它使用的默认编码是什么呢&＃xff1f;

 答案就是-GB2312

2.为什么使用Unicode&＃xff1f;

&＃xff08;1&＃xff09;为了不同语言之间进行数据交换

&＃xff08;2&＃xff09;提高应用程序的运行效率

3.Unicode有什么缺点

&＃xff08;1&＃xff09;Unicode字符串占用的内存是ASCII字符串的两倍

&＃xff08;2&＃xff09;相比ASCII字符串而言比较难以理解&＃xff0c;很多数程序员都不熟悉或者是似懂非懂&＃xff0c;增加了编程的难度

4.Unicode编程

4.1 C运行时库对Unicode的支持

4.1.1 字符串类型

为了使用Unicode字符串&＃xff0c;C运行时库中在string.h中定义了一些数据类型&＃xff0c;其中wchar_t用来表示一个Unicode字符串&＃xff0c;此类型定义如下&＃xff1a;

typedef unsigned short wchar_t;

 例如&＃xff0c;如果想要创建一个缓存&＃xff0c;用于存放最多为9个字符的Unicode字符串和一个结尾为
零的字符&＃xff0c;可以使用下面这个语句&＃xff1a;

wchar_t buffer[10];

 4.1.2 字符串处理函数

以前我们学习C语言时&＃xff0c;经常用到strcpy()、strchr()、strcat()等函数&＃xff0c;但是这些函数只能处理单字节的字符串&＃xff0c;不能正确处理Unicode字符串。为此&＃xff0c;ANSI C提供了一组扩展函数&＃xff0c;例如&＃xff1a;

char *strcat(char*,const char*);
wchar_t *wcscat(wchar_t*,const wchar_t*);int *strcmp(const char*,const char*);
int *wcscmp(const wchar_t*,const wchar_t*);char *strcpy(char*,const char*);
wchar_t *wcscpy(wchar_t*,const wchar_t*);

注意:

unicode函数均以wcs开头&＃xff0c;wcs是宽字符串的英文缩写。若要调用unicode函数&＃xff0c;只需用前缀wcs来取代ANSI字符串函数的前缀str即可。

4.2 用UNICODE宏来编程和控制编译

对于调用了以str开头的单字节字符串处理函数的代码&＃xff0c;或者是调用了以wcs开头的字符串函数的代码&＃xff0c;如果我们想做到可以随便选择编译ANSI版本的程序&＃xff0c;还是UNICODE版本的程序&＃xff0c;这将很麻烦。

为什么呢&＃xff1f;原因如下&＃xff0c;比如一旦指定要编译ANSI版本的程序&＃xff0c;那么程序中的字符串实际都是单字节的了&＃xff0c;但是调用了wcs字符串函数的代码却依然把单字节字符串当成多字节的字符串处理&＃xff0c;这肯定会引发异常。一旦指定要编译unicode版本的程序&＃xff0c;那么程序中的字符串实际都是双字节的了&＃xff0c;但是调用了str字符串函数的代码却依然把双字节字符串当成单字节的字符串处理&＃xff0c;这也会引发异常。那么有没有一种方法&＃xff0c;可以满足只需要做很小的改动&＃xff0c;就可让程序编译成ANSI或UNICODE版本&＃xff0c;并且能够正常运行呢&＃xff1f;

想要实现上面的目标&＃xff0c;只需要包含tchar.h即可&＃xff0c;而不是包含string.h。tchar.h通过_UNICODE宏来定义不同版本的字符串类型或者字符串函数。当定义_UNICODE宏时&＃xff0c;tchar.h会自动定义UNICODE版本的字符串类型和函数&＃xff0c;反之则会自动生成ANSI版本的字符串类型和函数。其内部实现如下&＃xff1a;

#ifdef _UNICODE
#define _tcslen wcslen
#else
#define _tcslen strlen#ifdef _UNICODE
#define _T(x) L##x
#else
#define _T(x) x#ifdef _UNICODE
typedef wchar_t TCHAR
#else
typedef char TCHAR

通过上面的说明&＃xff0c;我们肯定会想既然这两种写法都有问题&＃xff0c;那么正确的打开方式是怎样的呢&＃xff1f;
那就是用_TEXT宏或者_T宏来定义字符串&＃xff0c;这两个宏的定义如下&＃xff1a;

#define _T(x)       __T(x)
#define _TEXT(x)    __T(x)#ifdef _UNICODE
#define __T(x)      L ## x
#else
#define __T(x)      x

使用_T宏&＃xff0c;可以将上面的代码改为&＃xff1a;

TCHAR buff[100] &＃61; _T("hello");

这样改后&＃xff0c;不管有没有定义_UNICODE&＃xff0c;代码都能编译通过。下面再看一下用_T宏来比较字符

if(buff[0] &＃61;&＃61; _T(&＃39;H&＃39;))
{}

4.3 编程原则

为了避免字符集的兼容性问题&＃xff0c;下面是应该遵循的一些基本原则&＃xff1a;

• 将字符串视为字符数组&＃xff0c;而不是char数组或字节数组。
• 将通用数据类型&＃xff08;如TCHAR和PTSTR&＃xff09;用于文本字符和字符串(通用数据类型可以通过定义宏来选择ANSI或者UNICODE版本)。
• 将显式数据类型&＃xff08;如BYTE和PBYTE&＃xff09;用于字节、字节指针和数据缓存。
• 将_TTEXT宏或者_T用于字符串前。
• 执行全局性替换&＃xff08;例如用PTSTR替换PSTR&＃xff09;。
• 修改字符串运算问题

"修改字符串运算问题"的补充说明

计算字符个数时&＃xff0c;使用sizeof(buffer)/sizeof(TCHAR)&＃xff0c;而不是sizeof(buffer)
计算字节数时&＃xff0c;使用charNum*sizeof(TCHAR)&＃xff0c;而不是charNum(字符个数)