python3unicode_【分享】Python–了解bytes、str与unicode的区别|勤奋的小青蛙

Python的字符串编码很容易把人搞混&＃xff0c;分享一篇文章&＃xff0c;用来解释python 2.x 与 3.x的编码。

Python3有两种表示字符序列的类型&＃xff1a;bytes和str。前者的实例包含原始的8位值&＃xff0c;后者的实例包含Unicode字符。

Python2也有两种表示字符序列的类型&＃xff0c;分别叫做str和Unicode。与Python3不同的是&＃xff0c;str实例包含原始的8位值&＃xff1b;而unicode的实例&＃xff0c;则包含Unicode字符。

想了解什么是bytes和Unicode&＃xff0c;可以参考这里&＃xff1a;Unicode与bytes有何区别&＃xff1f;

一般来说&＃xff0c;Unicode 只是一个“字符集”&＃xff0c;它给每一个处于此字符集中的字符给予了一个编号。比如“我”&＃xff0c;是 U&＃43;6211。然后 Unicode 本身并不指定这个 U&＃43;6211 应该是什么编码什么字节序存储和传输&＃xff0c;那么就有了编码的这一概念。常见的比如 UTF-8、UTF-16 (LE)、UTF-16 (BE) 编码等。可能这里还会涉及到使用 BOM 来指定字节序的问题。那么当编码一定&＃xff0c;字节序一定的时候&＃xff0c;存储结果是肯定要落实到字节&＃xff08;Bytes&＃xff09;上来的。比如“我”字&＃xff0c;U&＃43;6211&＃xff0c;以 UTF-8 编码&＃xff08;过程略&＃xff09;&＃xff0c;结果就是 E6 88 91 这三个字节。存储、读取或者传输的时候&＃xff0c;见到的就是 E6 88 91。可能还会见到 BOM - EF BB BF 在最前面。

把Unicode字符表示为二进制数据&＃xff08;也就是原始8位值&＃xff09;有许多种办法。最常见的编码方式就是UTF-8。但是&＃xff0c;Python3的str实例和Python2的unicode实例都没有和特定的二进制编码形式相关联。要想把Unicode字符转换成二进制数据&＃xff0c;就必须使用encode方法。要想把二进制数据转换成Unicode字符&＃xff0c;则必须使用decode方法。

编写Python程序的时候&＃xff0c;一定要把编码和解码操作放在界面最外围来做。程序的核心部分应该使用Unicode字符类型&＃xff08;也就是Python3中的str、Python2中的unicode&＃xff09;&＃xff0c;而且不要对字符编码做任何假设。这种办法既可以令程序接受多种类型的文本编码&＃xff08;如Latin-1、Shift JIS和Big5&＃xff09;&＃xff0c;又可以保证输出的文本信息只采用一种编码形式&＃xff08;最好是UTF-8&＃xff09;。

由于字符类型有别&＃xff0c;所以Python代码中经常会出现两种常见的使用情境&＃xff1a;

开发者需要原始8位值&＃xff0c;这些8位值表示以UTF-8格式&＃xff08;或其他编码形式&＃xff09;来编码的字符。

开发者需要操作没有特定编码形式的Unicode字符。

所以&＃xff0c;我们需要编写两个辅助&＃xff08;helper&＃xff09;函数&＃xff0c;以便在这两种情况之间转换&＃xff0c;使得转换后的输入数据能够符合开发者的预期。

#在Python3中&＃xff0c;我们需要编写接受str或bytes&＃xff0c;并总是返回str的方法&＃xff1a;

def to_str(bytes_or_str):

if isinstance(bytes_or_str, bytes):

value &＃61; bytes_or_str.decode(&＃39;utf-8&＃39;)

else:

value &＃61; bytes_or_str

return value # Instance of str

#另外&＃xff0c;还需要编写接受str或bytes&＃xff0c;并总是返回bytes的方法&＃xff1a;

def to_bytes(bytes_or_str):

if isinstance(bytes_or_str, str):

value &＃61; bytes_or_str.encode(&＃39;utf-8)

else:

value &＃61; bytes_or_str

return value # Instance of bytes

#在Python2中&＃xff0c;需要编写接受str或unicode&＃xff0c;并总是返回unicode的方法&＃xff1a;

#python2

def to_unicode(unicode_or_str):

if isinstance(unicode_or_str, str):

value &＃61; unicode_or_str.decode(&＃39;utf-8&＃39;)

else:

value &＃61; unicode_or_str

return value # Instance of unicode

#另外&＃xff0c;还需要编写接受str或unicode&＃xff0c;并总是返回str的方法&＃xff1a;

#Python2

def to_str(unicode_or_str):

if isinstance(unicode_or_str, unicode):

value &＃61; unicode_or_str.encode(&＃39;utf-8&＃39;)

else:

value &＃61; unicode_or_str

reutrn vlaue # Instance of str

在Python中使用原始8位值与Unicode字符时&＃xff0c;有两个问题需要注意。第一个问题可能会出现在Python2里面。如果str只包含7位ASCII字符&＃xff0c;那么unicode和str实例似乎就成了同一种类型。

*可以用&＃43;操作符把这种str与unicode连接起来。

*可以用等价于不等价操作符&＃xff0c;在这种str实例与unicode实例之间进行比较。

* 在格式字符串中&＃xff0c;可以用’%s’等形式来代表unicode实例。

这些行为意味着&＃xff0c;在只处理7位ASCII的情境下&＃xff0c;如果某函数接受str&＃xff0c;那么可以给它传入unicode&＃xff1b;如果某函数接受unicode&＃xff0c;那么也可以给它传入str。而在Python3中&＃xff0c;bytes与str实例则绝对不会等价&＃xff0c;即使是空字符串也不行。所以&＃xff0c;在传入字符序列时必须留意其类型。

第二个问题可能会出现在Python3里面。如果通过内置的open函数获取了文件句柄&＃xff0c;那么请注意&＃xff0c;该句柄默认会采用UTF-8编码格式来操作文件。而在Python2中&＃xff0c;文件操作的默认编码格式则是二进制形式。这可能会导致程序出现怪的错误&＃xff0c;对习惯了Python2的程序员来说更是如此。

例如&＃xff0c;现在要向文件中随机写入一些二进制数据。下面这种用法在Python2中可以正常运作&＃xff0c;但在Python3中不行。

with open(&＃39;/tmp/random.bin&＃39;,&＃39;w&＃39;) as f:

f.write(os.urandom(10))

>>>

TypeError: must be str, not bytes

发生上述异常的原因在于&＃xff0c;Python3给open函数添加了名为encoding的新参数&＃xff0c;而这个新参数的默认值是’utf-8’。这样在文件句柄上进行read和write操作时&＃xff0c;系统就要求开发者必须传入包含Unicode字符的str实例&＃xff0c;而不接受包含二进制数据的bytes实例。为了解决这个问题&＃xff0c;我们必须用二进制写入模式&＃xff08;’wb’&＃xff09;来开启待操作的文件&＃xff0c;而不能像原来那样&＃xff0c;采用字符写入模式(‘w’)。按照下面这种方式来使用open函数&＃xff0c;即可同时适配Python2与Python3&＃xff1a;

with open(&＃39;/tmp/ramdom.bin&＃39;,&＃39;wb&＃39;) as f:

f.write(os.urandom(10))

从文件中读取数据的时候也有这种问题。解决办法与写入时相似&＃xff1a;用’rb’模式&＃xff08;也就是二进制模式&＃xff09;打开文件&＃xff0c;而不要用’r’模式。要点&＃xff1a;

- 在Python3中&＃xff0c;bytes是一种包含8位值的序列&＃xff0c;str是一种包含Unicode字符的序列。开发者不能以>或&＃43;等操作符来混同操作bytes和str实例。

- 在Python2中&＃xff0c;str是一种包含8位值的序列&＃xff0c;unicode是一种包含Unicode字符的序列。如果str只含有7位ASCII字符&＃xff0c;那么可以通过相关的操作来同时使用str和unicode。

- 在对输入的进行操作之前&＃xff0c;使用辅助函数来保证字符序列的类型与开发者的期望相符&＃xff08;有的时候&＃xff0c;开发者想操作以UTF-8格式来编码的8位值&＃xff0c;有的时候&＃xff0c;则想操作Unicode字符&＃xff09;。

- 从文件中读取二进制数据&＃xff0c;或向其中写入二进制数据时&＃xff0c;总应该以’rb’或’wb’等二进制模式来开启文件。

摘自《编写高质量Python代码的59个有效方法》--第三条&＃xff1a;了解bytes、str与unicode的区别

文章的脚注信息由WordPress的wp-posturl插件自动生成

|2|left

打赏

微信扫一扫&＃xff0c;打赏作者吧&＃xff5e;