热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

protobuf在java应用中通过反射动态创建对象(DynamicMessage)

---恢复内容开始---最近编写一个游戏用到protobuf数据格式进行前后台传输,苦于protobuf接受客户端的数据时是需要数据类型的如xxx.parseForm

---恢复内容开始---

最近编写一个游戏用到protobuf数据格式进行前后台传输,苦于protobuf接受客户端的数据时是需要数据类型的如xxx.parseForm(...),这样就要求服务器在接受客户端请求时必须知道客户端传递的数据类型。由于客户端的请求数据是多种多样的,服务器端又不知道客户端的请求到底是哪个类型,这样就使得服务器端编程带来很多麻烦,甚至寸步难行。难道就没有解决办法了吗,答案当然是有的。下面就说一下常用的方法。(在看本文之前建议先了解protobuf的一些基本语法,和基本用法)

1.第一种方法也是最简单的方法,就是在整个应用程序中只定义一个proto文件,那么所有的请求都是一种类型,那么服务器端就不用苦恼怎么解析请求数据了,因为不管哪个请求数据都用同一个对象解析。如下面的列子:

首先贴一个PBMessage.proto文件

//客户端请求以及服务端响应数据协议
option java_outer_classname = "PBMessageProto";package com.ppsea.message;
import "main/resources/message/DataMsg.proto";message PBMessage{
optional int32 playerId
= 1; //玩家id
required int32 actionCode = 2; //操作码id
optional bytes data = 5; //提交或响应的数据
optional DataMsg dataMsg = 6; //服务器端推送数据
optional string sessionKey = 7; //请求的校验码
optional int32 sessionId = 8;//当前请求的标示
}

如上述代码,整个应用都基于PBMessage.proto传输,注意到protobuf 语法中 optional修饰符,他表示这个字段是非必须的,也就是说对于客户端的不同请求,只需要为它填充其请求时用到的字段的值即可,其他的字段的值就不用管了,这样就可以模拟出各种请求来,那么接下来我们就用:PBMessage.parseForm(byte_PBMesage) //byte_PBMesage表示客户端请求数据 ,这样请求的解析就完成了。同时我们注意到: (required int32 actionCode = 2; //操作码id) ,required表示该字段是必须的,前面请求已经解析好了,在这里我们拿到actionCode 就可以知道我们该用哪个Action事件来处理该请求了(前提是必须维护一张actionCode到Action的映射关系表:Map),至此整个请求的解析和处理都完成了。

接下来说一下第一种方式的优缺点,优点:整个应用消息格式一致统一,操作简单。缺点:太统一,就不灵活,对于请求很少,消息格式很少的小型应用倒还勉强能用,消息格式多的话再用这种方式就显得臃肿,不便于管理,失去了程序设计的意义。

 

2.第二种方法,也是我本次用到的方法。苦于提议中方式的局限性,本人通过在网上收集资料以及查看protobuf java版的源码,发现了一个折中的方式。首先我们看下protobuf源码中提供的, DynamicMessage 类(顾名思义 动态消息类,眼前一亮有木有),它继承了AbstractMessage类,比较一下和第一种方式创建的PBMessage类的区别 我们发现PBMessage类继承了GeneratedMessage类,而GeneratedMessage类继承了AbstractMessage类,至此我们发现了共同类AbstractMessage,再次证明了DynamicMessage 管用,同时我们再看看AbstractParser类(在PBMessage类中持有AbstractParser类的对象,并用其来解析请求数据),它继承了Parser接口,看看其部分方法:

public abstract MessageType parseFrom(byte[] paramArrayOfByte) throws InvalidProtocolBufferException;
public abstract MessageType parseFrom(InputStream paramInputStream) throws InvalidProtocolBufferException;
public abstract MessageType parseFrom(InputStream paramInputStream,ExtensionRegistryLite paramExtensionRegistryLite) throws InvalidProtocolBufferException;

 

,再看看DynamicMessage 里面提供的方法:

  public static DynamicMessage parseFrom(Descriptors.Descriptor type,byte[] data) throws InvalidProtocolBufferException {

      return ((Builder) newBuilder(type).mergeFrom(data)).buildParsed();
  }

  public static DynamicMessage parseFrom(Descriptors.Descriptor type,byte[] data, ExtensionRegistry extensionRegistry)throws InvalidProtocolBufferException {
      return ((Builder) newBuilder(type).mergeFrom(data, extensionRegistry)).buildParsed();
  }

  public static DynamicMessage parseFrom(Descriptors.Descriptor type,InputStream input) throws IOException {

    return ((Builder) newBuilder(type).mergeFrom(input)).buildParsed();
  }

  public static DynamicMessage parseFrom(Descriptors.Descriptor type,InputStream input, ExtensionRegistry extensionRegistry)throws IOException {
   return ((Builder) newBuilder(type).mergeFrom(input, extensionRegistry)).buildParsed();
 }

发现了他们方法的相似点,在这里我们可以用一个等量关系比喻:DynamicMessage=AbstractMessage+ AbstractParser=PBMessage,也就是说DynamicMessage继承AbstractMessage(请求消息对象)的同时又间接实现了AbstractParser(请求消息数据解析)对数据解析的功能。现在我们唯一缺少的就是Descriptors.Descriptor(对消息的描述)对象,这个对象该怎么拿到呢,在这里肯定的说,对于不同的.proto请求这里的Descriptors.Descriptor是不一样的。在这里我们又回到PBMessage对象中,我们发现了其中有这样一个方法:

 

public final class PBMessageProto {

    ..................//此处省略若干行

    public static final class PBMessage extendscom.google.protobuf.GeneratedMessage implements PBMessageOrBuilder {

...........//此处省略若干行
public static final com.google.protobuf.Descriptors.Descriptor getDescriptor() {return com.ppsea.message.PBMessageProto.internal_static_com_ppsea_message_PBMessage_descriptor;}
}
}

这不就是我们苦苦寻找的东西吗,通过这个方法就可以拿到Descriptor了,不是吗。在这里重点来了,再来理解一下,首先有了PBMessage对象(这里用其来做代表,可以使其他的.proto对象)就可以获得 Descriptors.Descriptor 对象,有了Descriptors.Descriptor对象就可以创建DynamicMessage对象了,有了DynamicMessage就可以解析对应请求了。下面看代码:

//存放消息操作码和消息对象
Map descriptorMap=new Map;
//把消息描述对象添加进来
descriptorMap.add(100,PBMessage.getDescriptor());
descriptorMap.add(xxx,xxx);

这样Descriptor有了,其实还可以做得更好一点,通过反射机制,Map里面只存放操作码和对应的proto对象类名,再通过反射方式创建proto对象在获得其getDescriptor()方法。这样就可以在配置文件中配置操作码和proto对象的关系了。

好接下来我们来接受客户端的请求试一下,

//客户端伪代码
client.send(byte_PBMessage);

然后服务器接受请求并解析,

//服务器伪代码byte[] date=server.accept();//客户端操作码
int actionCode;Descriptor descriptor=descriptorMap.get(actionCode);
//解析请求
DynamicMessage req=DynamicMessage.parseFrom(descriptor, date);

在这里我们发现似乎还少了点什么,好像actionCode还不知道,怎么办呢,好吧,我们在客户端发送的请求消息头上再加上个actionCode,即把操作码和proto消息合并为一个新的请求发送给客户端,请求2位为操作码,那么现在客户端应该这么发送消息了:

//客户端伪代码short actionCode=100;//两个字节来存放actionCodebyte [] actionCodeByte=new byte [2];// 转换成字节流
actionCodeByte.set(actionCode.toByteArray());//伪代码,请勿当真//带请求头的消息的总长度
int length=actionCodeByte.length+byte_PBMEssage.length;byte [] messageByte=new byte[length];//把操作码和proto消息合并
messageByte=actionCodeByte+byte_PBMEssage;client.send(messageByte);

下来是服务器了:

//服务器伪代码
byte[] data=server.accept();
//把前两位取出来
byte[] actionCodeByte=data.read(0,2);// actionCode有了
int actionCode=actionCodeByte.readShort();// 取出proto消息
byte[] byte_PBMessage=data.read(2,data.length);
.....接下来就和前面的服务器伪代码一样了
DynamicMessage req
=DynamicMessage.parseFrom(descriptorMap.get(actionCode, byte_PBMessage);
....

至此动态创建对象完成了,接下来就是按照第一种方式维护的ActionMap通过actionCode取到action来处理DynamicMessage 解析好的请求了

,当然actionCode也可以换成actionName,类似的。到这里似乎差不多了,当时始终不完美,因为我们还没有把DynamicMessage 转换成PBMessage对象,在后续的action里处理DynamicMessage总是不舒服,解决办法是通过DynamicMessage对象获得Descriptor对象,在获得其所有字段名和值, 然后看一下这个地址的这篇文章(通过字段反射对象部分):http://liufei-fir.iteye.com/blog/1160700,通过反射来还原PBMessage,以上是经过试验成功的,由于时间原因就不把源码贴上来了。有什么问题希望大家指正。

 

 

转:https://www.cnblogs.com/lancewell/p/3681961.html



推荐阅读
  • 使用Maven JAR插件将单个或多个文件及其依赖项合并为一个可引用的JAR包
    本文介绍了如何利用Maven中的maven-assembly-plugin插件将单个或多个Java文件及其依赖项打包成一个可引用的JAR文件。首先,需要创建一个新的Maven项目,并将待打包的Java文件复制到该项目中。通过配置maven-assembly-plugin,可以实现将所有文件及其依赖项合并为一个独立的JAR包,方便在其他项目中引用和使用。此外,该方法还支持自定义装配描述符,以满足不同场景下的需求。 ... [详细]
  • Java能否直接通过HTTP将字节流绕过HEAP写入SD卡? ... [详细]
  • Java Socket 关键参数详解与优化建议
    Java Socket 的 API 虽然被广泛使用,但其关键参数的用途却鲜为人知。本文详细解析了 Java Socket 中的重要参数,如 backlog 参数,它用于控制服务器等待连接请求的队列长度。此外,还探讨了其他参数如 SO_TIMEOUT、SO_REUSEADDR 等的配置方法及其对性能的影响,并提供了优化建议,帮助开发者提升网络通信的稳定性和效率。 ... [详细]
  • 使用 ListView 浏览安卓系统中的回收站文件 ... [详细]
  • 本文探讨了如何利用Java代码获取当前本地操作系统中正在运行的进程列表及其详细信息。通过引入必要的包和类,开发者可以轻松地实现这一功能,为系统监控和管理提供有力支持。示例代码展示了具体实现方法,适用于需要了解系统进程状态的开发人员。 ... [详细]
  • 本文介绍了如何利用 Delphi 中的 IdTCPServer 和 IdTCPClient 控件实现高效的文件传输。这些控件在默认情况下采用阻塞模式,并且服务器端已经集成了多线程处理,能够支持任意大小的文件传输,无需担心数据包大小的限制。与传统的 ClientSocket 相比,Indy 控件提供了更为简洁和可靠的解决方案,特别适用于开发高性能的网络文件传输应用程序。 ... [详细]
  • 本文介绍了如何利用ObjectMapper实现JSON与JavaBean之间的高效转换。ObjectMapper是Jackson库的核心组件,能够便捷地将Java对象序列化为JSON格式,并支持从JSON、XML以及文件等多种数据源反序列化为Java对象。此外,还探讨了在实际应用中如何优化转换性能,以提升系统整体效率。 ... [详细]
  • Java中不同类型的常量池(字符串常量池、Class常量池和运行时常量池)的对比与关联分析
    在研究Java虚拟机的过程中,笔者发现存在多种类型的常量池,包括字符串常量池、Class常量池和运行时常量池。通过查阅CSDN、博客园等相关资料,对这些常量池的特性、用途及其相互关系进行了详细探讨。本文将深入分析这三种常量池的差异与联系,帮助读者更好地理解Java虚拟机的内部机制。 ... [详细]
  • 在Android应用开发中,实现与MySQL数据库的连接是一项重要的技术任务。本文详细介绍了Android连接MySQL数据库的操作流程和技术要点。首先,Android平台提供了SQLiteOpenHelper类作为数据库辅助工具,用于创建或打开数据库。开发者可以通过继承并扩展该类,实现对数据库的初始化和版本管理。此外,文章还探讨了使用第三方库如Retrofit或Volley进行网络请求,以及如何通过JSON格式交换数据,确保与MySQL服务器的高效通信。 ... [详细]
  • 如何将TS文件转换为M3U8直播流:HLS与M3U8格式详解
    在视频传输领域,MP4虽然常见,但在直播场景中直接使用MP4格式存在诸多问题。例如,MP4文件的头部信息(如ftyp、moov)较大,导致初始加载时间较长,影响用户体验。相比之下,HLS(HTTP Live Streaming)协议及其M3U8格式更具优势。HLS通过将视频切分成多个小片段,并生成一个M3U8播放列表文件,实现低延迟和高稳定性。本文详细介绍了如何将TS文件转换为M3U8直播流,包括技术原理和具体操作步骤,帮助读者更好地理解和应用这一技术。 ... [详细]
  • 本文详细解析了Java类加载系统的父子委托机制。在Java程序中,.java源代码文件编译后会生成对应的.class字节码文件,这些字节码文件需要通过类加载器(ClassLoader)进行加载。ClassLoader采用双亲委派模型,确保类的加载过程既高效又安全,避免了类的重复加载和潜在的安全风险。该机制在Java虚拟机中扮演着至关重要的角色,确保了类加载的一致性和可靠性。 ... [详细]
  • Python 程序转换为 EXE 文件:详细解析 .py 脚本打包成独立可执行文件的方法与技巧
    在开发了几个简单的爬虫 Python 程序后,我决定将其封装成独立的可执行文件以便于分发和使用。为了实现这一目标,首先需要解决的是如何将 Python 脚本转换为 EXE 文件。在这个过程中,我选择了 Qt 作为 GUI 框架,因为之前对此并不熟悉,希望通过这个项目进一步学习和掌握 Qt 的基本用法。本文将详细介绍从 .py 脚本到 EXE 文件的整个过程,包括所需工具、具体步骤以及常见问题的解决方案。 ... [详细]
  • 在处理 XML 数据时,如果需要解析 `` 标签的内容,可以采用 Pull 解析方法。Pull 解析是一种高效的 XML 解析方式,适用于流式数据处理。具体实现中,可以通过 Java 的 `XmlPullParser` 或其他类似的库来逐步读取和解析 XML 文档中的 `` 元素。这样不仅能够提高解析效率,还能减少内存占用。本文将详细介绍如何使用 Pull 解析方法来提取 `` 标签的内容,并提供一个示例代码,帮助开发者快速解决问题。 ... [详细]
  • 在Java Web服务开发中,Apache CXF 和 Axis2 是两个广泛使用的框架。CXF 由于其与 Spring 框架的无缝集成能力,以及更简便的部署方式,成为了许多开发者的首选。本文将详细介绍如何使用 CXF 框架进行 Web 服务的开发,包括环境搭建、服务发布和客户端调用等关键步骤,为开发者提供一个全面的实践指南。 ... [详细]
  • 在Java项目中,当两个文件进行互相调用时出现了函数错误。具体问题出现在 `MainFrame.java` 文件中,该文件位于 `cn.javass.bookmgr` 包下,并且导入了 `java.awt.BorderLayout` 和 `java.awt.Event` 等相关类。为了确保项目的正常运行,请求提供专业的解决方案,以解决函数调用中的错误。建议从类路径、依赖关系和方法签名等方面入手,进行全面排查和调试。 ... [详细]
author-avatar
x-诗儿_683
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有