Thrift可扩展高性能的通信服务框架

The Apache Thrift software framework, for scalable cross-language services development, combines a software stack with a code generation engine to build services that work efficiently and seamlessly between C&＃43;&＃43;, Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, Javascript, Node.js, Smalltalk, OCaml and Delphi and other languages.



thrift是Facebook开源出来的项目&＃xff0c;现在交给了Apache来管理。thrift是用来针对不同语言系统之间数据调用的。thrift支持c,c&＃43;&＃43;,Erlang,java,python,ruby,php等语言。thrift允许定义一个简单的定义文件中的数据类型和服务接口&＃xff0c;这个文件就是IDL&＃xff08;Interface Definition Language&＃xff09;&＃xff0c;以作为输入文件&＃xff0c;编译器生成代码。简单的说就是thrift定义了统一的文件(对象或者结构体&＃xff0c;服务接口)&＃xff0c;使用thrift的编译器能够生成对应语言的代码文件。thrft之所以是跨语言的原意就是他通过语言无关的自定义语言来生成语言相关的代码。

 

优点:

1. One-stop shop&＃xff0c;相对于protobuf&＃xff0c;序列化和RPC支持一站式解决&＃xff0c;如果是pb的话&＃xff0c;还需要考虑选择RPC框架&＃xff0c;现在Google是开源了gRpc&＃xff0c;但是几年以前是没有第一方的标准解决方案的

2. 特性丰富&＃xff0c;idl层面支持map&＃xff0c;protobuf应该是最近才支持的&＃xff0c;map的key支持任意类型&＃xff0c;avro只支持string&＃xff0c;序列化支持自定义protocol, rpc支持thread pool, hsha, no blocking 多种形式&＃xff0c;必有一款适合你&＃xff0c;对于多语言的支持也非常丰富

3. RPC和序列化性能都不错&＃xff0c;这个到处都有benchmark&＃xff0c;并不是性能最好的&＃xff0c;但是基本上不会成为瓶颈或者短板

4. 有很多开源项目的周边支持都是thrift的&＃xff0c;hbase提供thrift服务&＃xff0c;hive&＃xff0c;spark sql&＃xff0c;cassandra等一系列对外的标准服务接口都是thrift的以支持多语言。

5. Column Storage的话&＃xff0c;parquet支持直接通过thrift idl转换&＃xff0c;如果在Hadoop集群上存储数据&＃xff0c;elephant-bird 支持得很好&＃xff0c;你可以很方便地针对thrift的数据通过pig写dsl&＃xff0c;如果你希望在rpc服务外做一系列工作&＃xff0c;可以用finagle包装一层。不过&＃xff0c;这部分对于protobuf和avro支持一般也不错

用的公司比较多&＃xff0c;支持各大语言跨语言通讯。

erlang c c&＃43;&＃43; java php js ruby 等等。用起来简单。它已经把数据的通信跟数据格式压缩、解析做好了。是一个功能完备的rpc方案。

根据性能需求&＃xff0c;server端可以有多线程的blocking server和noblocking server&＃xff0c;也提供httpservice。

在生产环境中&＃xff0c;ThriftServer的选择是很重要的。建议在TThreadPoolServer和 TThreadedSelectorServer中进行相应的选择。个人建议选择TThreadedSelectorServer,因为其支持网络NIO&＃xff0c;在一个业务的处理过程中&＃xff0c;很大一部分时间会阻塞在网络通信上&＃xff0c;并且TThreadedSelectorServer能吞吐更多的网络连接&＃xff0c;而ThreadPoolServer吞吐的网络连接数和其启动的线程数量有关&＃xff0c;如果存在客户端调用代码未正常关闭Transport时&＃xff0c;其网络连接只有在时间超时时才会正常释放掉&＃xff0c;造成服务的无法正常提供。



缺点么&＃xff0c;和其他facebook开源的项目都有类似的问题&＃xff0c;只管拉不管擦

1. 基本没有官方文档&＃xff0c;使用参考可以看看有人专门写的这个 Thrift: The Missing Guide

2. RPC在 0.6.1 升级到 0.7.0 是不兼容的&＃xff01;这个对于早于 0.6.1 开始使用的用户来说是个大坑

3. bug fix和更新不积极&＃xff0c;好在序列化和RPC服务都不是太复杂的问题&＃xff0c;需要考量的设计问题不多&＃xff0c;自己维护patch的成本不高&＃xff0c;如果我没有记错的话&＃xff0c;0.6.1的java的ThreadPool Server是会有Thread死亡之后的Thread泄露问题的

4. Facebook今年说&＃xff0c;我们开源了一个新的performance更好的 fbthrift&＃xff0c;你说你该用apache thrift还是fbthrift呢?

我们公司用的thrift实现客户端和服务器通讯&＃xff0c;用norbert实现负载均衡。用thrift的优点是省流量&＃xff0c;跨语言&＃xff0c;开发简便。用norbert的优点是能快速地搭建可靠&＃xff0c;实用&＃xff0c;灵活的集群。thrift的缺点是完全静态化&＃xff0c;即使用到的数据结构都必须事先定义&＃xff0c;中途不能更改。若数据结构发生变化&＃xff0c;必须重新定义&＃xff0c;编译。

Thrift简单入门: http://my.oschina.net/u/2250599/blog/466156

thrift下C&＃43;&＃43;服务器和客户端开发: http://blog.sina.com.cn/s/blog_59c4c2ed01010pwe.html

Thrift的使用与优化:   http://autumnrain-zgq.iteye.com/blog/1772943

Thrift Servers性能对比:    http://liyonghui160com.iteye.com/blog/2088945

thrift快速入门实例:  http://www.54chen.com/java-ee/thrift-quick-start.html

http://daoexception.iteye.com/blog/1869822

http://www.oschina.net/p/thrift

http://thrift.apache.org/