传入的时候是utf8的读出的时候报文中出现nul怎么解决_Unity中编码Encoding脱坑指南...

本文节选自洪流学堂公众号技术专栏《大话Unity2018》&＃xff0c;未经允许不可转载。

洪流学堂公众号回复专栏&＃xff0c;查看更多专栏文章。

《大话Unity2018》&＃xff0c;大智带小新学Unity2018的有趣经历&＃xff0c;让你学Unity更简单。所有订阅《大话Unity2018》的用户&＃xff0c;可在《大话Unity2019》上线时获得1元换购资格。

洪流学堂&＃xff0c;让你快人几步。你好&＃xff0c;我是郑洪智。

大智&＃xff1a;“昨天我们了解了编码的基本知识&＃xff0c;要佩服并感谢一下ISO和Unicode联盟&＃xff0c;做了这么伟大的事情将全世界的语言文字统一收录和编码&＃xff0c;而这当中包括了那么多我们根本没听说过的奇怪的语言文字。正是因为他们的努力奠定了互联网是一个无国界的世界&＃xff0c;每天我们都能通过它获得来自任何地方任何语言的信息。”
小新&＃xff1a;“不过这里面的编码的问题何解决呢&＃xff1f;”
大智&＃xff1a;“今天就给大家带来这个脱坑指南&＃xff0c;说说编码方面常遇到的坑。”

由于大多数(有些包含BOM)文本中并没有包含特定信息&＃xff0c;指示文本使用了什么编码方式&＃xff0c;当文本在文件或者网络中交换时&＃xff0c;可能会导致保存文本的编码和打开文本的编码不一致。这时候文本解析出来的字符就可能不一致&＃xff0c;甚至有些根本就没有对应的字符&＃xff0c;就会显示为乱码。

BOM

前两天我们说到使用UTF8 without BOM的编码方式是最佳的选择。那这个BOM是个什么东西呢&＃xff1f;

BOM(Byte-Order Mark&＃xff0c;字节序标记)是Unicode码点U&＃43;FEFF。它被定义来放在一个UTF-16文件的开头&＃xff0c;如果字节序列是FEFF那么这个文件就是大端序&＃xff0c;如果字节序列是FFFE那么这个文件就是小端序。

UTF-8本身是没有字节序的问题的(因为它是以单个字节为最小单位)&＃xff0c;但是Windows里面很多编辑器(比如记事本)会多此一举的在UTF-8文件开头加入EF BB FF也就是U&＃43;FEFF的UTF-8编码。

如果你的文本文件里面有一个这东西你就倒了大霉了&＃xff0c;可能会&＃xff1a;

• 文件用一些编辑器打开出现乱码。

• 使用代码读取文件会出错。

建议在Windows上做开发的同学&＃xff0c;如果遇到了编码问题&＃xff0c;一定要选择“使用UTF-8无BOM格式”保存。

Unity中的代码目前使用的默认编码方式是UTF8。

在开发中我们可以控制编码的格式&＃xff0c;但是很多情况下我们还是要处理非UTF8编码的文本&＃xff0c;这时候怎么做呢&＃xff1f;下面我们学习一下在C#中如何和“编码”友好相处。

读文件

之前我们在读取文件时&＃xff0c;都没有关注过编码这个问题&＃xff0c;因为我们之前文件保存的编码方式是UTF8。

读文件的时候想把文件中的正确内容读取出来有两个关键的地方&＃xff1a;

• 文件的编码方式是什么

• 读取的时候编码方式是什么

文件的编码方式

文件的编码方式是多种多样的&＃xff0c;昨天我们提到的那些编码方式都可以作为文件的编码。文件的编码如何查看以及修改呢呢?

在这里推荐Visual Studio Code这个编辑器。在Visual Studio Code的右下角&＃xff0c;可以看到当前文档打开时所用的编码方式。

注意&＃xff1a;这里显示的编码方式并不一定是文档真正的编码方式&＃xff0c;因为文本文件的编码方式大部分情况是无法检测的。

你会看到上面的文本就出现了很多问号的乱码&＃xff0c;这时候可以点击下面UTF-8的部分来用其他编码方式重新打开&＃xff0c;如下图所示&＃xff1a;

Visual Studio Code提供了内容猜测的方式来识别文本的编码方式&＃xff0c;使用正确的编码方式打开后&＃xff0c;你就会发现乱码变为正常的字符了。

那如何将文本转换成UTF8这个最佳的编码方式呢&＃xff1f;

1、首先你要确定当前打开的文件中没有显示乱码&＃xff0c;如果有乱码尝试用其他的编码方式重新打开
2、选择“通过编码保存”&＃xff0c;选择UTF-8即可

用代码读文件

之前我们使用了很多次File.ReadAllText&＃xff0c;其实它还有第二个参数&＃xff1a;

public static string ReadAllText(string path, Encoding encoding);


如果不传入这个参数&＃xff0c;会使用默认的编码方式&＃xff1a;

Debug.Log(System.Text.Encoding.Default); // 你会看到这个输出是UTF8


那如果我们的文本文件是GB2312的编码方式&＃xff0c;读出来的文件会怎样呢&＃xff1f;

using System.Collections;
using System.Collections.Generic;
using System.IO;
using System.Text;
using UnityEngine;

public class FileWithEncoding : MonoBehaviour
{
    void Start(){
        var path &＃61; Path.Combine(Application.streamingAssetsPath, "data.txt");
        Debug.Log(Encoding.Default);
        var text &＃61; File.ReadAllText(path, Encoding.Default);
        Debug.Log(text);
    }
}


通过上面的代码&＃xff0c;你会看到输出是&＃xff1a;

改成下面这一行以后&＃xff0c;你就能获取到正确的编码文本了&＃xff01;

var text &＃61; File.ReadAllText(path, Encoding.GetEncoding("GB2312"));


Unity发布后读取乱码

到这还没完&＃xff0c;如果你将上面的简单的程序发布出来&＃xff0c;你会发现又不行了&＃xff01;

这时候是咋回事呢&＃xff1f;我将思路提供给你。

1、先想办法找到线索&＃xff0c;那就是Log文件。发布出来的Exe的log文件的位置是&＃xff1a;

macOS    ~/Library/Logs/Unity/Player.log
Windows    C:\Users\\AppData\LocalLow\CompanyName\ProductName\output_log.txt

对于我就是&＃xff1a;

C:\Users\32954\AppData\LocalLow\DefaultCompany\198Encoding


2、找到log文件后打开&＃xff0c;你会发现这么一句话

NotSupportedException: Encoding 936 data could not be found. Make sure you have correct international codeset assembly installed and enabled.


3、这时候你就可以拿这句话去google了&＃xff0c;你肯定能找到答案

我也把答案附上吧&＃xff1a;
原因是Unity在发布时并没有包含这些字符集&＃xff0c;需要手动加进去&＃xff0c;方法是&＃xff1a;
1、找到Unity安装目录

2018.3.0f2\Editor\Data\Mono\lib\mono\2.0


将里面的I18N.dll和I18N.CJK.dll复制到工程中

2、重新发布即可

BOM如何处理

其实使用C#的File类时&＃xff0c;你不需要对BOM进行特殊处理&＃xff0c;因为C#自动帮你处理了BOM&＃xff0c;但是如果是通过网络传输或者其他情况&＃xff0c;BOM可能会害的你很惨。这个我们后面学到使用WebRequest时再详说。

大智&＃xff1a;“说了这么多&＃xff0c;相信你已经对编码有一定的了解了。那我们到底应该用什么编码呢&＃xff1f;用UTF8 without BOM保准没错&＃xff0c;下节课我们再来说说这是个什么东西。”

大智&＃xff1a;“试着用C#读取不同编码的文本文件?”
小新&＃xff1a;“好嘞&＃xff01;”
大智&＃xff1a;“收获别忘了分享出来&＃xff01;也别忘了分享给你学Unity的朋友&＃xff0c;也许能够帮到他。”

洪流学堂公众号回复专栏&＃xff0c;查看更多专栏文章。