python json.dumps处理中文字符

开发一键开服功能时需要预置活动表,就是复制一个标准的库结构并导入一些预置活动数据。问题就出在导入的活动数导入前是中文,导入后变成的类似unicode编码那种格式。分析发现python mysqldb模块从mysql取的数据结果默认转换成了unicode编码,开服程序在用json.dumps转换时将unicode编码的标识符u给损耗掉了,导致mysqldb再插入数据时把它当成了普通的ascii编码插入到了数据库。

1
2
3
4
5
6
>>> import json
#数据库查出来的数据s
>>> s = (1L, u'\u9996\u51b2', 1L, 1L, 1L, u'[{"2":5,"4":10,"7":10,"8":3,"700005":1,"700006":1,"700007":1}]', u'[]', u'[]', u'[]', u'[]', u'\u9996\u51b2\u798f\u5229', 1L, 1L)
#直接dumps后变成了普通的字符串了
>>> json.dumps(s)
'[1, "\\u9996\\u51b2", 1, 1, 1, "[{\\"2\\":5,\\"4\\":10,\\"7\\":10,\\"8\\":3,\\"700005\\":1,\\"700006\\":1,\\"700007\\":1}]", "[]", "[]", "[]", "[]", "\\u9996\\u51b2\\u798f\\u5229", 1, 1]'

python dumps默认使用的ascii编码,使用ensure_ascii=False关掉这个默认选项就可以了

1
2
3
4
5
>>> s = (1L, u'\u9996\u51b2', 1L, 1L, 1L, u'[{"2":5,"4":10,"7":10,"8":3,"700005":1,"700006":1,"700007":1}]', u'[]', u'[]', u'[]', u'[]', u'\u9996\u51b2\u798f\u5229', 1L, 1L)
>>> json.dumps(s, ensure_ascii=False)
#结果不是ascii字符串了,是unicode字符串
u'[1, "\u9996\u51b2", 1, 1, 1, "[{\\"2\\":5,\\"4\\":10,\\"7\\":10,\\"8\\":3,\\"700005\\":1,\\"700006\\":1,\\"700007\\":1}]", "[]", "[]", "[]", "[]", "\u9996\u51b2\u798f\u5229", 1, 1]'
>>>

mysqldb模块处理unicode字符串时,会将结果转换成系统环境使用的编码,linux系统一般用的是utf8编码。

----------------本文结束 感谢阅读----------------