作者：Robin Lu | 来源：互联网 | 2023-09-14 10:18
在上篇日志中（链接），我们讨论了utf-8编码和GBK编码之间转化的乱码问题，这一篇我们讨论Unicode(utf-16编码方式)与GBK编码之间转换的乱码问题。在Windows系
在上篇日志中（链接），我们讨论了utf-8编码和GBK编码之间转化的乱码问题，这一篇我们讨论Unicode(utf-16编码方式)与GBK编码之间转换的乱码问题。
在Windows系统自带的记事本中，我们按照图中所示使用Unicode编码保存。
在Visual Studio 2005中，单击“文件|高级保存选项”中选择Unicode-代码页1200。
文件中只有乱码与ASCII码
按照上一篇日志中的方法，我们使用WinHex软件查看文件的16进制数据，如下：
其中，头两个字节“FF FE”代表utf-16的BOM码，从D4开始就是数据，即：
0xd4 0x00 0xda 0x00
0xb4 0x00 0xcb 0x00
0xcc 0x00 0xed 0x00
0xbc 0x00 0xd3 0x00
0xd7 0x00 0xa8 0x00
0xd3 0x00 0xc3 0x00
0xb4 0x00 0xfa 0x00
0xc2 0x00 0xeb 0x00
0xba 0x00 0xcd 0x00
0x2f 0x00
0xbb 0x00 0xf2 0x00
0xb5 0x00 0xf7 0x00
0xd3 0x00 0xc3 0x00
0xbb 0x00 0xf9 0x00
0xc0 0x00 0xe0 0x00
我们同时找出正确字符的GBK编码值
0xd4 0xda
0xb4 0xcb
0xcc 0xed
0xbc 0xd3
0xd7 0xa8
0xd3 0xc3
0xb4 0xfa
0xc2 0xeb
0xba 0xcd
0x2f
0xbb 0xf2
0xb5 0xf7
0xd3 0xc3
0xbb 0xf9
0xc0 0xe0
我们很容易发现，只要将偶数列中的0x00数消除就可以了，当然，我们格式也从utf-8变为GBK了。
对应的C语言程序如下：
#include
#include
int main(int argc, char const *argv[])
{
FILE* fp;
FILE* fp2;
//打开存储乱码的文件，utf-16编码格式，二进制打开
if((fp2=fopen("BadCode.txt","rb+"))==NULL)
{
printf("Open Source File Failed！\n");
system("pause");
exit(1);
}
//打开、新建存储处理后数据的文件
if((fp=fopen("BadCodeH.txt","w+"))==NULL)
{
printf("Open/Create Destination File Failed!\n");
system("pause");
exit(1);
}
//乱码第一个高位字节
unsigned ch;
//乱码第一个低位字节
unsigned cl;
//乱码第二个高位字节
unsigned ch2;
//乱码第二个低位字节
unsigned cl2;
ch=fgetc(fp2);
//丢弃BOM字节信息
if(ch==0xff)
{
fgetc(fp2);
ch=fgetc(fp2);
}
cl=fgetc(fp2);
while(!feof(fp2))
{
//乱码，接着读取两个字节，再丢弃偶数字节
if (ch>0x7f && cl==0x00)
{
ch2=fgetc(fp2);
cl2=fgetc(fp2);
fputc(ch,fp);
fputc(ch2,fp);
}
//ASCII码，丢弃偶数字节
else
{
fputc(ch,fp);
}
ch=fgetc(fp2);
cl=fgetc(fp2);
}
fclose(fp);
fclose(fp2);
system("pause");
return 0;
}
运行结果如下：
更一般的情况（文件中有正常的中文字符，乱码和ASCII字符）
和上一篇日志中分析的差不多，对于正常的utf-16编码的字符，我们只要将其转换为GBK编码输出就可以了，需要注意的是，正常的utf-16字符编码在文件中的存储方式：高位字节存放编码的后两位，低位字节存放编码的前两位。
C语言程序如下，戳此处下载UnicodeToGBK.txt文件：
#include
#include
//读取utf-16和GBK转换表中的数据
bool ReadMap(unsigned* mapValue)
{
//声明文件指针
FILE* fp;
//以可读写方式打开映射数据的文本文件
if (NULL == (fp = fopen("UnicodeToGBK.txt", "r+")))
{
printf("Error!");
system("pause");
return false;
}
//存储Unicode的16进制数据的字符串
char utfStr[4];
//存储gbk的16进制数据的字符串
char gbkStr[4];
//存储Unicode16进制数据
unsigned utfId;
//存储gbk的16进制数据
unsigned gbkId;
//处理字符的临时变量
char c;
//读取数据
while(!feof(fp))
{
//读Unicode值的字符串
fread(utfStr,4,1,fp);
//转换为整型
sscanf(utfStr,"%4x",&utfId);
fgetc(fp);
//读gbk值的字符串
fread(gbkStr,4,1,fp);
//转化为整型
sscanf(gbkStr,"%4x",&gbkId);
fgetc(fp);
//赋值
mapValue[utfId]=gbkId;
}
fclose(fp);
return true;
}
int main(int argc, char const *argv[])
{
FILE* fp;
FILE* fp2;
//打开存储乱码的文件，utf-16编码格式，二进制打开
if((fp2=fopen("BadCode.txt","rb+"))==NULL)
{
printf("Open Source File Failed！\n");
system("pause");
exit(1);
}
//打开、新建存储处理后数据的文件
if((fp=fopen("BadCodeH.txt","w+"))==NULL)
{
printf("Open/Create Destination File Failed!\n");
system("pause");
exit(1);
}
unsigned mapValue[65536];
if(!ReadMap(mapValue))
{
printf("Convert Failed!\n");
system("pause");
exit(1);
}
//乱码第一个高位字节
unsigned ch;
//乱码第一个低位字节
unsigned cl;
//乱码第二个高位字节
unsigned ch2;
//乱码第二个低位字节
unsigned cl2;
//存储utf-16编码的值
unsigned utf;
//存储gbk编码的值
unsigned gbk;
ch=fgetc(fp2);
//丢弃BOM字节信息
if(ch==0xff)
{
fgetc(fp2);
ch=fgetc(fp2);
}
cl=fgetc(fp2);
while(!feof(fp2))
{
//乱码，接着读取两个字节，再丢弃偶数字节
if (ch>0x7f && cl==0x00)
{
ch2=fgetc(fp2);
cl2=fgetc(fp2);
fputc(ch,fp);
fputc(ch2,fp);
}
//ASCII码，丢弃偶数字节
else if(ch<=0x7f && cl==0x00)
{
fputc(ch,fp);
}
//否则就是正常字符，进行编码转换后输出
else
{
utf=cl*256+ch;
gbk=mapValue[utf];
fputc(gbk/256,fp);
fputc(gbk%256,fp);
}
ch=fgetc(fp2);
cl=fgetc(fp2);
}
fclose(fp);
fclose(fp2);
system("pause");
return 0;
}
例子如下：
未来我会将两篇文章中的程序进行整合，写一个图形界面的程序出来。
若有错误，恳请各位大侠指教~~
京公网安备 11010802041100号