热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

utf8拥有的字符Ş,但是gb2312没有Ş,而gb18030有Ş

https:en.wikipedia.orgwikiList_of_Unicode_characters选取一个特殊字符U+015EŞ350ŞLatinCapital

https://en.wikipedia.org/wiki/List_of_Unicode_characters

选取一个特殊字符













U+015EŞ350ŞLatin Capital Letter S with cedilla0286 

然后尝试处理

 

[Test]
public void Test20210521002()
{
var str = "Ş";
//PrintHexString(Encoding.ASCII, str); //ascii本身不支持中文的,所以打印出来的是错误的
PrintHexString(Encoding.UTF8, str);
PrintHexString(Encoding.BigEndianUnicode, str);
PrintHexString(Encoding.GetEncoding(936), str);
PrintHexString(Encoding.GetEncoding(54936), str);
}
private void PrintHexString(Encoding encoding, string str)
{
int count = 0;
foreach (var c in str)
{
var array = encoding.GetBytes(c.ToString());
var hexString = GetHexString(array);
Console.WriteLine($"{c}, {encoding.WebName}, U+{hexString}, {string.Join(string.Empty,array.Select(GetBinaryString))}");
count += array.Length;
}
Console.WriteLine($"【{str}】 occupy {count} bytes when encoded by {encoding.WebName}");
Console.WriteLine();
}
private string GetBinaryString(byte b)
{
return Convert.ToString(b, 2).PadLeft(8, '0');
}
private string GetHexString(byte[] array)
{
var list = array.Select(x => x.ToString("X2"));
var str = string.Join(string.Empty, list);
return str;
}
[Test]
public void Test20210521003()
{
var array = new byte[] {0xc5, 0x9e};
Encoding utf8 = Encoding.UTF8;
var str1 = utf8.GetString(array);
Console.WriteLine(str1);
var array4 = new byte[] { 0x01, 0x5e };
Encoding utf16 = Encoding.BigEndianUnicode;
var str4 = utf16.GetString(array4);
Console.WriteLine(str4);
var array2 = new byte[] {0x35};
Encoding gb2312 = Encoding.GetEncoding(936);
var str2 = gb2312.GetString(array2);
Console.WriteLine(str2);
var array3 = new byte[] {0x81, 0x30, 0x94, 0x35};
Encoding gb18030 = Encoding.GetEncoding(54936);
var str3 = gb18030.GetString(array3);
Console.WriteLine(str3);
}

Ş, utf-8, U+C59E, 1100010110011110
【Ş】 occupy 2 bytes when encoded by utf-8

Ş, utf-16BE, U+015E, 0000000101011110
【Ş】 occupy 2 bytes when encoded by utf-16BE

Ş, gb2312, U+3F, 00111111  这个是错误的
【Ş】 occupy 1 bytes when encoded by gb2312

Ş, GB18030, U+81309435, 10000001001100001001010000110101
【Ş】 occupy 4 bytes when encoded by GB18030

 

把上面的字节,反过来输出成字符的话

Ş  utf8
Ş   utf16
5   gb2312  因为上面的输出就是错误的,所以这里没法得到正确的。而且gb2312本身不支持Ş 
Ş  gb18030

 



推荐阅读
  • 本文深入探讨了HTTP请求和响应对象的使用,详细介绍了如何通过响应对象向客户端发送数据、处理中文乱码问题以及常见的HTTP状态码。此外,还涵盖了文件下载、请求重定向、请求转发等高级功能。 ... [详细]
  • UNP 第9章:主机名与地址转换
    本章探讨了用于在主机名和数值地址之间进行转换的函数,如gethostbyname和gethostbyaddr。此外,还介绍了getservbyname和getservbyport函数,用于在服务器名和端口号之间进行转换。 ... [详细]
  • 使用Vultr云服务器和Namesilo域名搭建个人网站
    本文详细介绍了如何通过Vultr云服务器和Namesilo域名搭建一个功能齐全的个人网站,包括购买、配置服务器以及绑定域名的具体步骤。文章还提供了详细的命令行操作指南,帮助读者顺利完成建站过程。 ... [详细]
  • 探讨如何真正掌握Java EE,包括所需技能、工具和实践经验。资深软件教学总监李刚分享了对毕业生简历中常见问题的看法,并提供了详尽的标准。 ... [详细]
  • 导航栏样式练习:项目实例解析
    本文详细介绍了如何创建一个具有动态效果的导航栏,包括HTML、CSS和JavaScript代码的实现,并附有详细的说明和效果图。 ... [详细]
  • 前言--页数多了以后需要指定到某一页(只做了功能,样式没有细调)html ... [详细]
  • 如何配置Unturned服务器及其消息设置
    本文详细介绍了Unturned服务器的配置方法和消息设置技巧,帮助用户了解并优化服务器管理。同时,提供了关于云服务资源操作记录、远程登录设置以及文件传输的相关补充信息。 ... [详细]
  • DNN Community 和 Professional 版本的主要差异
    本文详细解析了 DotNetNuke (DNN) 的两种主要版本:Community 和 Professional。通过对比两者的功能和附加组件,帮助用户选择最适合其需求的版本。 ... [详细]
  • 尽管某些细分市场如WAN优化表现不佳,但全球运营商路由器和交换机市场持续增长。根据最新研究,该市场预计在2023年达到202亿美元的规模。 ... [详细]
  • JavaScript中属性节点的类型及应用
    本文深入探讨了JavaScript中属性节点的不同类型及其在实际开发中的应用,帮助开发者更好地理解和处理HTML元素的属性。通过具体的案例和代码示例,我们将详细解析如何操作这些属性节点。 ... [详细]
  • 从 .NET 转 Java 的自学之路:IO 流基础篇
    本文详细介绍了 Java 中的 IO 流,包括字节流和字符流的基本概念及其操作方式。探讨了如何处理不同类型的文件数据,并结合编码机制确保字符数据的正确读写。同时,文中还涵盖了装饰设计模式的应用,以及多种常见的 IO 操作实例。 ... [详细]
  • 本文详细探讨了HTTP 500内部服务器错误的成因、解决方案及其在Web开发中的影响。通过对具体案例的分析,帮助读者理解并解决此类问题。 ... [详细]
  • 本教程涵盖OpenGL基础操作及直线光栅化技术,包括点的绘制、简单图形绘制、直线绘制以及DDA和中点画线算法。通过逐步实践,帮助读者掌握OpenGL的基本使用方法。 ... [详细]
  • 根据最新发布的《互联网人才趋势报告》,尽管大量IT从业者已转向Python开发,但随着人工智能和大数据领域的迅猛发展,仍存在巨大的人才缺口。本文将详细介绍如何使用Python编写一个简单的爬虫程序,并提供完整的代码示例。 ... [详细]
  • HBase运维工具全解析
    本文深入探讨了HBase常用的运维工具,详细介绍了每种工具的功能、使用场景及操作示例。对于HBase的开发人员和运维工程师来说,这些工具是日常管理和故障排查的重要手段。 ... [详细]
author-avatar
难耐五更寒
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有