ipython 中文编码疑问

[wolfdolf]

中文在内部是以gbk还是utf8编码存放呢? 如何知道?
为何a 和 print a输出字符不同?
最后为何要decode,才能显示为正常字体呢?

[eriale]

这是python的字符类型导致的，python2的str是bytes，所以打印后都是\x开头。
python3的str已经换成unicode，你换个python3的ipython，a的输出就是中文了。

[Sylv]

str 类型的中文在 Python 2 内部是以 gbk 还是 utf8 编码存放取决于你的 console 的 sys.stdin.encoding。就是你输入的时候是什么编码，存储的就是什么编码。

而在 console 里直接运行 a，相对于运行了：print rep(a)，输出的是字符串 a 的内部编码值。
你这里的 '\xe5\xae\x89' 就是 '安' 字的 utf-8 编码值。

而第三个问题像是因为你的 console 的 sys.stdout.encoding 是 gbk，而 sys.stdin.encoding 却是 utf-8，两者不一致而导致的。也就是说输入 a = '安全' 时，保存的是 utf-8 编码的 '安全'，而输出时你的 console 却用的是 gbk 编码去解读，而 '\xe5\xae\x89\xe5\x85\xa8' 用 gbk 编码去解码就是 '瀹夊叏'。
你可以用以下命令查看下是不是因为这个原因：
import sys
print sys.stdin.encoding
print sys.stdout.encoding

而 print a.decode('utf8') 能正常显示的原因是，Python 在将 unicode 字符串输出到 console 时，会用 sys.stdout.encoding 编码将其转换为 str 字符串输出，即：print a.decode('utf8') 相对于 print a.decode('utf8').encode('sys.stdout.encoding') 也就是 print a.decode('utf8').encode('gbk')。输出到 console 的是 gbk 编码的 '安全' ('\xb0\xb2\xc8\xab')，console 也用 gbk 编码去解读，所以显示没问题。

[gamexg]

python 2 字符串不加 u开头，可以看作 byte 数组，python 不知道字符串到底是什么编码，输出也是直接输出，如果和环境不匹配当然显示乱码，如果和环境匹配就能正常显示。

a.decode("utf8") 是告诉python ，a 的编码是utf8，请将她转换成unicode 字符串。

print 时，python 会自动根据环境将unicode 字符串转换成为对应的编码后输出，所以正常显示。极少的情况会出错。