热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

[原]rfc4627研究小结(完)

问题:最近遇到这样一个汉字乱码问题,当我用rfc4627转化json串(看成是[{key:value,}]形式)时,如果value为汉字时转化没有问题,key为汉字时转化出问题

  问题:最近遇到这样一个汉字乱码问题,当我用rfc4627转化json串(看成是[{"key":"value",...}...]形式)时,如果value为汉字时转化没有问题,key为汉字时转化出问题,一个汉字本应该转化为三个unicode码值,但现在只能转化为了一个大约是小于65535的一个值(估计这儿用了某种压缩算法把应该占三位unicode的汉字压缩成占15-16个二进制,也就是现在的小于65535的值).如果都出现乱码可以说rfc4627中没有转化汉字的功能,但现在的问题是当value为汉字时没有问题,但当key为汉字时就出问题,说明rfc4627有汉字转化的代码,但key为汉字时没有加转化代码。 

  详细描述:我是用rfc4627解码json串时出的问题,如果汉字出现在value上,没有问题;但若出现在key上,则会出现类似的问题,例:

    {"a":"b", "c":{"d":"中文"}}没有问题,但
    {"a":"b", "c":{"中文":"d"}}就会出现问题
  发现问题:rfc2627用xmerl_ucs:from_utf8/1解码时出现的问题:
    我跟踪了一下,发现value为汉字不出现问题的原因是在函数parse/2中应用了xmerl_ucs:to_utf8来进行转码,而key的汉字不有执行到这个函数.

  解决过程:1.我找到key执行的函数parse_string/2,在里面加上xmerl_ucs:to_utf8函数,这时出现了另一问题,key没问题了,value出问题了.
       2.查找发现是对value为汉字的字段进行了两次编码(即执行了两次xmerl_ucs:to_utf8函数)
         3.把parse/2中的xmerl_ucs:to_utf8去掉,这时都没有问题了,问题解决
  解决方法:1.把函数parse_string/2中的{lists:reverse(Acc), Rest};改为:{xmerl_ucs:to_utf8(lists:reverse(Acc)), Rest};
       2.把函数parse[$" | Rest])中的{list_to_binary(xmerl_ucs:to_utf8(Codepoints)), Rest1};修改为:{list_to_binary(Codepoints), Rest1};
  忧虑:,担心别的地方调用时会出现问题,像蝴蝶效应,在后面出现更麻烦的问题,我和同事经过仔细研究,在解决这个问题上对我们的系统没有影响,因为我们别的地方没有主动调用过这个模块,调用过这个模块的都需要进行转化!

  总结:就这样一个简单的问题,让我用了两天的时间才找到错误的原因。我在找这个原因的时候,是一步步的进行调试,一点点的最后才找到。原来汉字处理模块xmerl_ucs:to_utf8在rfc4627中只对“:”前面的没进行了转化而对“:”后面的进行了转化,导致了对汉字转化的错误。(本想好好研究下xmerl_ucs模块,一放下再也不想拿起了[感慨一下])

  :在rfc4627中注意:

    1.在数组或对象中重复的","被转化为一个

    2.任何 =<32的字符都被认为是空格

    3.接受以0开头的数字

    4.不要求最顶层只是对象或数组,任何类型的JSON值都可以。


推荐阅读
  • 本文介绍了Redis的基础数据结构string的应用场景,并以面试的形式进行问答讲解,帮助读者更好地理解和应用Redis。同时,描述了一位面试者的心理状态和面试官的行为。 ... [详细]
  • 第四章高阶函数(参数传递、高阶函数、lambda表达式)(python进阶)的讲解和应用
    本文主要讲解了第四章高阶函数(参数传递、高阶函数、lambda表达式)的相关知识,包括函数参数传递机制和赋值机制、引用传递的概念和应用、默认参数的定义和使用等内容。同时介绍了高阶函数和lambda表达式的概念,并给出了一些实例代码进行演示。对于想要进一步提升python编程能力的读者来说,本文将是一个不错的学习资料。 ... [详细]
  • Android JSON基础,音视频开发进阶指南目录
    Array里面的对象数据是有序的,json字符串最外层是方括号的,方括号:[]解析jsonArray代码try{json字符串最外层是 ... [详细]
  • Redis底层数据结构之压缩列表的介绍及实现原理
    本文介绍了Redis底层数据结构之压缩列表的概念、实现原理以及使用场景。压缩列表是Redis为了节约内存而开发的一种顺序数据结构,由特殊编码的连续内存块组成。文章详细解释了压缩列表的构成和各个属性的含义,以及如何通过指针来计算表尾节点的地址。压缩列表适用于列表键和哈希键中只包含少量小整数值和短字符串的情况。通过使用压缩列表,可以有效减少内存占用,提升Redis的性能。 ... [详细]
  • 如何查询zone下的表的信息
    本文介绍了如何通过TcaplusDB知识库查询zone下的表的信息。包括请求地址、GET请求参数说明、返回参数说明等内容。通过curl方法发起请求,并提供了请求示例。 ... [详细]
  • 如何自行分析定位SAP BSP错误
    The“BSPtag”Imentionedintheblogtitlemeansforexamplethetagchtmlb:configCelleratorbelowwhichi ... [详细]
  • Linux服务器密码过期策略、登录次数限制、私钥登录等配置方法
    本文介绍了在Linux服务器上进行密码过期策略、登录次数限制、私钥登录等配置的方法。通过修改配置文件中的参数,可以设置密码的有效期、最小间隔时间、最小长度,并在密码过期前进行提示。同时还介绍了如何进行公钥登录和修改默认账户用户名的操作。详细步骤和注意事项可参考本文内容。 ... [详细]
  • 生成式对抗网络模型综述摘要生成式对抗网络模型(GAN)是基于深度学习的一种强大的生成模型,可以应用于计算机视觉、自然语言处理、半监督学习等重要领域。生成式对抗网络 ... [详细]
  • 在Android开发中,使用Picasso库可以实现对网络图片的等比例缩放。本文介绍了使用Picasso库进行图片缩放的方法,并提供了具体的代码实现。通过获取图片的宽高,计算目标宽度和高度,并创建新图实现等比例缩放。 ... [详细]
  • 云原生边缘计算之KubeEdge简介及功能特点
    本文介绍了云原生边缘计算中的KubeEdge系统,该系统是一个开源系统,用于将容器化应用程序编排功能扩展到Edge的主机。它基于Kubernetes构建,并为网络应用程序提供基础架构支持。同时,KubeEdge具有离线模式、基于Kubernetes的节点、群集、应用程序和设备管理、资源优化等特点。此外,KubeEdge还支持跨平台工作,在私有、公共和混合云中都可以运行。同时,KubeEdge还提供数据管理和数据分析管道引擎的支持。最后,本文还介绍了KubeEdge系统生成证书的方法。 ... [详细]
  • CSS3选择器的使用方法详解,提高Web开发效率和精准度
    本文详细介绍了CSS3新增的选择器方法,包括属性选择器的使用。通过CSS3选择器,可以提高Web开发的效率和精准度,使得查找元素更加方便和快捷。同时,本文还对属性选择器的各种用法进行了详细解释,并给出了相应的代码示例。通过学习本文,读者可以更好地掌握CSS3选择器的使用方法,提升自己的Web开发能力。 ... [详细]
  • Java容器中的compareto方法排序原理解析
    本文从源码解析Java容器中的compareto方法的排序原理,讲解了在使用数组存储数据时的限制以及存储效率的问题。同时提到了Redis的五大数据结构和list、set等知识点,回忆了作者大学时代的Java学习经历。文章以作者做的思维导图作为目录,展示了整个讲解过程。 ... [详细]
  • [译]技术公司十年经验的职场生涯回顾
    本文是一位在技术公司工作十年的职场人士对自己职业生涯的总结回顾。她的职业规划与众不同,令人深思又有趣。其中涉及到的内容有机器学习、创新创业以及引用了女性主义者在TED演讲中的部分讲义。文章表达了对职业生涯的愿望和希望,认为人类有能力不断改善自己。 ... [详细]
  • 动态规划算法的基本步骤及最长递增子序列问题详解
    本文详细介绍了动态规划算法的基本步骤,包括划分阶段、选择状态、决策和状态转移方程,并以最长递增子序列问题为例进行了详细解析。动态规划算法的有效性依赖于问题本身所具有的最优子结构性质和子问题重叠性质。通过将子问题的解保存在一个表中,在以后尽可能多地利用这些子问题的解,从而提高算法的效率。 ... [详细]
  • 本文讨论了Kotlin中扩展函数的一些惯用用法以及其合理性。作者认为在某些情况下,定义扩展函数没有意义,但官方的编码约定支持这种方式。文章还介绍了在类之外定义扩展函数的具体用法,并讨论了避免使用扩展函数的边缘情况。作者提出了对于扩展函数的合理性的质疑,并给出了自己的反驳。最后,文章强调了在编写Kotlin代码时可以自由地使用扩展函数的重要性。 ... [详细]
author-avatar
旧情人旧往事_322
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有