是什么系列之Avro - 推酷
是什么系列之Avro
今天来关注一下Avro，目的是想接触一下跨端RPC中间件中关于数据编解码及传输的相关技术，这和我目前负责的项目很有关系！那么先从网上找一些相关的文献来给自己科普一下~
Avro是Hadoop的一个子项目，也是Apache中的一个独立项目，它是一个基于二进制数据传输高性能的中间件。在Hadoop的其他项目中（Hbase，Hive）的客户端与服务端的数据传输中被大量采用。听上去很给力啊？！
Avro是一个数据序列化的系统，它可以将数据结构或对象转化成便于存储或传输的格式，Avro设计之初就定位为用来支持数据密集型应用，适用于远程或本地大规模数据的存储于交换，Avro支持的编程语言包括：C/C++，JAVA，Python，Ruby，PHP，C#，它的特点有：
丰富的数据结构类型
快速可压缩的二进制数据形式（对数据二进制序列化后可节约数据存储空间和网络传输带宽）
存储持久数据的文件容器
可实现远程过程调用(RPC)
简单的动态语言结合功能
Avro和动态语言结合后，读写数据文件和使用RPC协议都不需要生成代码，而代码生成作为一种可选的优化只需要在静态类型语言中实现。
Avro依赖于模式（Schema），通过模式定义各种数据结构，只有确定了模式才能对数据进行解释，所以在数据的序列化和反序列化之前，必须先确定模式的结构。同时可动态加载相关数据的模式，数据的读写都使用模式，这使得数据之间不存在任何其他标识（类比Thrift），这样就减少了开销，使得序列化快速又轻巧，同时这种数据及模式的自我描述也方便了动态脚本语言的使用。
当数据存储到文件中时，它的模式也随之存储，这样任何程序都可以对文件进行处理。如果读取数据时使用的模式与写入时使用的模式不同，也容易解决，因为读取和写入的模式都是已知的。看下面这个规则：
增加了字段
采用旧的模式（新增前）
采用新的模式
Reader对新字段会使用其默认值（Writer不会为新增的字段赋值）
采用新的模式（新增后）
采用旧的模式
Reader会忽略掉新曾的字段，Writer会为新增字段赋值
减少了字段
采用旧的模式（减少前）
采用新的模式
Reader会忽略已经被删除的字段
采用新的模式（减少后）
采用旧的模式
如果旧模式里被删除的那个字段有默认值，那么Reader会采用，否则，Reader会报错
数据类型标准化的意义在于：
使不同系统对相同的数据能够正确解析
有利于数据序列化/反序列化
Avro定义了几种简单数据类型，包括：null，boolean，int，long，float，double，bytes，string。简单数据类型有类型名称定义，不包含属性信息，如：{“type”: “string”}
Avro定义了六种复杂数据类型，每一种复杂数据类型都具有独特的属性，如下：
&type&: &record&,
&name&: &名称json字符串[必填]&,
&namespace&: &命名空间json字符串[选填]&,
&doc&: &文档json字符串[选填]&
&aliases&: &别名json字符串数组[选填]&,
&fields&: [ //json数组[必填]
&name&: &字段名&,
&type&: &类型&,
&default&: &默认值&,
&order&: &字段顺序&
&type&: &record&,
&name&: &test&,
&fields&: [
{&name&: &a&, &type&: &long&},
{&name&: &b&, &type&: &string&}
&type&: &enum&,
&name&: &名称json字符串[必填]&,
&namespace&: &命名空间json字符串[选填]&,
&doc&: &文档json字符串[选填]&
&aliases&: &别名json字符串数组[选填]&,
&symbols&: [ //json数组[必填]
&值json字符串[必填]，所有值必须是唯一的&
&type&: &enum&,
&name&: &test&,
&symbols&: [&k&, &a&, &z&, &a&, &ff&]
&type&: &array&,
&items&: &子元素模式&
&type&: &array&,
&items&: &long&
&type&: &map&,
&values&: &值元素模式&
&type&: &fixed&,
&name&: &名称json字符串[必填]&,
&namespace&: &命名空间json字符串[选填]&,
&aliases&: &别名json字符串数组[选填]&,
&size& : &整型，指定每个值的字节数[必填]&
Unions： json数组
序列化/反序列化
Avro指定两种数据序列化编码方式：binary和json。使用二进制编码会高效序列化，并且序列化后得到的结果会比较小，而json一般用于调试系统或基于web应用。
简单数据类型：
{true: 1, false: 0}
variable-length zig-zag coding
Java’s floatToIntBits
Java’s floatToIntBits
一个表示长度的long值，后跟指定长度的字节序列
一个表示长度的long值，后跟UTF-8字符集的指定长度的字节序列
“foo”:{3,f,o,o}
复杂数据类型：
records类型会按字段声明的顺序串连编码值，例如下面这个record schema：
&type&: &record&,
&name&: &test&,
&fields&: [
{&name&: &a&, &type&: &long&},
{&name&: &b&, &type&: &string&}
实例化这个record，假设给a字段赋值27(编码为0&36)，给b字段赋值“foo”(06 66 6f 6f，注意第一个06表示字符串长度3的编码值)，那么这个record编码结果为： 36 06 66 6f 6f
enum被编码为一个int，比如：
&type&: &enum&,
&name&: &test&,
&symbols&: [&A&, &B&, &C&, &D&]
这将被编码为一个取值范围为[0，3]的int，0表示A，3表示D。
arrays编码为block序列，每个block包含一个long的count值，紧跟着的是array items，一个block的count为0表示该block是array的结尾。
maps编码为block序列，每个block包含一个long的count值，紧跟着的是key/value对，一个block的count为0表示该block是map的结尾。
union编码以一个long值开始，表示后面的数据时union中的哪种数据类型。
fixed编码为指定数目的字节。
上图表示的是Avro本地序列化和反序列化流程，Avro将用户定义的模式和具体的数据编码成二进制序列存储在对象容器文件中，例如用户定义了包含学号，姓名，院系和电话的学生模式，而Avro对其进行编码后存储在student.db文件中，其中存储数据的模式放在文件头的元数据中，这样读取的模式即使与写入的模式不同，也可以迅速的读取数据。假如另一个程序需要获取学生的姓名和电话，只需要定义包含姓名和电话的学生模式，然后用此模式去读取容器文件中的数据即可。
Avro为数据定义了一个标准的排列顺序，“比较”在很多时候都是经常被使用的对象之间的炒作，标准定义可以进行方便有效的比较和排序，同时标准的定义可以方便对Avro的二进制编码数据直接进行排序而不需要反序列化。
只有当数据项包含相同的Schema时，数据之间的比较才有意义，比较按照Schema深度优先，从左至右的顺序递归进行，找到第一个不匹配即可终止比较。
两个拥有相同模式的项的比较按照以下规则进行：
null：总是相等
int,long,float：按照数值大小
boolean：flase在true之前
string：按照字典顺序
bytes，fixed：按照byte的字典顺序
array：按照元素的字典顺序
enum：按照符号在枚举中的位置
record：按照域的字典顺序，如果指定了以下属性：
ascending：域值的顺序不变
descending：域值的顺序颠倒
ignore：排序时忽略域值
map：不可进行排序比较
对象容器文件
Avro定义了一个简单的对象容器文件格式，一个文件对应一个模式，所有存储在文件中的对象都是根据模式写入的，对象按照块进行存数，块可以采用压缩的方式存储。为了在进行MapReduce处理的时候有效的切分文件，在块之间采用了同步记号。
一个文件有两部分组成：文件头(Header)和一个或多个文件的数据块(Data Block)。而头信息由由三部分构成：四个字节的前缀，文件Meta-data信息和随机生成的16字节同步标记符。目前Avro支持的Meta-data有两种：schema和codec。
codec表示对后面的文件数据块采用何种压缩方式。Avro的实现都需要支持下面两种压缩方式：null（不压缩）和deflate（使用Deflate算法压缩数据块）。除了文档中认定的两种Meta-data，用户也可以自定义适用于自己的Meta-data，这里用long型来表示有多少个Meta-data数据对，也是让用户在实际应用中可以定义足够的Meta-data信息。
对于每对Meta-data信息，都有一个string型的key（要以“avro.”为前缀）和二进制编码后的value。由于对象可以组织成不同的块，使用时就可以不经过反序列化而对某个数据块进行操作。还可以由数据块数，对象数和同步标记符来定位损坏的块以确保数据完整性。
当在RPC中使用Avro时，服务器和客户端可以在握手连接时交换模式，服务器和客户端有彼此全部的模式，因此相同命名字段，缺失字段和多余字段等信息之间通信中需要处理的一致性问题就可以解决。
客户端希望同服务器端交互时，就需要交换双方通信的协议，它类似于模式，需要双方来协商定义，在Avro中被称为消息。
上图所示，协议中定义了用于传输的消息，消息使用框架后放入缓冲区中进行传输，由于传输的开始就交换了各自的协议定义，因此数据就能够正确解析。所谓传输的开始，也就是很重要的握手阶段。
握手的过程是确保Server和Client获得对方的Schema定义，从而使Server能够正确反序列化请求信息，Client能够正确反序列化响应信息。通常，Server/Client会缓存最后使用到的一些协议格式，所以大多数情况下，握手过程不需要交换整个Schema文本。
所有的RPC请求和响应处理都建立在已经完成握手的基础上，对于无状态的连接，所有的请求响应之前都附有一次握手过程，而对于有状态的连接，一次握手完成，整个连接的生命期内都有效。
下面看一下具体握手过程：
Client发起HandshakeRequest，其中包含Client本身SchemaHash值和对应Server端的SchemaHash值，例如：（clientHash!=null,clientProtocol=null,serverHash!=null），如果本地缓存有ServerHash值则直接填充，如果没有则通过猜测填充；
Server用如下之一的HandshakeResponse响应Client请求：
（match=BOTH,serverProtocol=null,serverHash=null）：表示当Client发送正确的ServerHash值且Server缓存中存在相应的ClientHash，则握手过程完成；
（match=CLIENT,serverProtocol!=null,serverHash!=null）：表示当Server缓存有Client的Schema，但Client请求中的ServHash值不正确。Server发送Server端的Schema数据和相应的Hash值，此次握手完成。
（match=NONE）：表示当Client发送的ServerHash不正确且Server端没有Client的Schema缓存。这种情况下Client需要重新提交请求信息（clientHash!=null,clientProtocol!=null,serverHash!=null），Server根据实际情况给予正确的响应，握手完成。
握手过程使用的Schema结构如下：
&type&: &record&,
&name&: &HandshakeRequest&,
&namespace&: &org.apache.avro.ipc&,
&fields&: [
&name&: &clientHash&,
&type&: &fixed&,
&name&: &MD5&,
&size&: 16
{&name&: &clientProtocol&, &type&: [&null&, &string&]},
{&name&: &serverHash&, &type&: &MD5&},
&name&: &meta&,
&type&: &map&,
&values&: &bytes&
&type&: &record&,
&name&: &HandshakeResponse&,
&namespace&: &org.apache.avro.ipc&,
&fields&: [
&name&: &match&,
&type&: &enum&,
&name&: &HandshakeMatch&,
&symbols&: [&BOTH&, &CLIENT&, &NONE&]
{&name&: &serverProtocol&, &type&: [&null&, &string&]},
&name&: &serverHash&,
&type&: &fixed&,
&name&: &MD5&,
&size&: 16
&name&: &meta&,
&type&: &map&,
&values&: &bytes&
消息从客户端发送到服务器端需要经过传输层（Transport Layer），它发送消息并接受服务器端响应。到达传输层的数据就已经是二进制数据了，通常以HTTP作为传输模型，数据以POST方式发送给对方，在Avro中，消息被封装成一组Buffer，如下图所示：
每个Buffer以四个字节开头，中间是多个字节的数据，最后以一个空缓冲区结尾。
Avro协议描述了RPC接口，和Schema一样，用JSON定义，有以下属性：
protocol，必需，协议名称
namespace，可选，协议的命名空间
doc，可选，描述这个协议的字符串
types，可选，定义协议类型名称列表
messages，可选，一个json对象，key是message名称，value是json对象
doc，可选，对消息的说明
request，参数列表，其中参数拥有名字和类型
response，响应数据的schema
error，可选，用一个declared union来描述，error类型的定义和record一样，除了它使用error，而不是record
one-way，可选，布尔类型，当response 类型是null，并且没有列出error时，one-way parameter只能是true
可以参考这篇文章，写得非常详细：
已发表评论数()
已收藏到推刊！
请填写推刊名
描述不能大于100个字符!
权限设置： 公开
仅自己可见
正文不准确
排版有问题
没有分页内容
视频无法显示
图片无法显示加载中，请稍候...
加载中，请稍候...
商品名称：
京东价：暂无报价
评价得分：
咨询内容：
这个是什么型号的
京东回复：
您好！飓风版是属于500系列的，是56708的特别版。感谢您对京东的支持！祝您购物愉快！
发表咨询：
声明：您可在购买前对产品包装、颜色、运输、库存等方面进行咨询，我们有专人进行回复！因厂家随时会更改一些产品的包装、颜色、产地等参数，所以该回复仅在当时对提问者有效，其他网友仅供参考！咨询回复的工作时间为：周一至周五，9:00至18:00，请耐心等待工作人员回复。
咨询类型：
库存及配送
发票及保修
促销及赠品
京东承诺：商品均为原装正品行货，自带机打发票，严格执行国家三包政策，享受全国联保服务。
功能咨询：咨询商品功能建议您拨打各品牌的官方客服电话，以便获得更准确的信息。
发货时间：现货：下单后一日内即可发货；在途：一般1-2天发货； 预订：一般1-6天可发货；无货：已售完，相应物流中心覆盖地区内的用户不能购买
运&&&&费：如需查看快递运输收费标准及免运费规则，
货到付款：如需查看开通货到付款地区及运费，
上门自提：上门自提不收取运费，如需查看全部自提点位置、地图、注意事项，
物流中心：京东商城拥有北京、上海、广州三个物流中心，各物流中心覆盖不同的城市，
限&&&&额：如需查看各银行在线支付限额，
大额支付：快钱支付中的招行、工行、建行、农行、广发支持大额支付，最高单笔一次支付10000元
分期付款：单个商品价格在500元以上，可使用中国银行、招商银行发行的信用卡申请分期付款，
货到付款：如需查看开通货到付款地区及运费，
京东承诺：商品均为原装正品行货，自带机打发票，严格执行国家三包政策，享受全国联保服务。
发票类型：京东商城所售商品均自带机打发票，在提供相关企业资料证明后，可申请开取增值税发票。
退 换 货：京东商城为您提供完善的退换货服务，
咨询内容：这是什么系列?_?_百度知道
这是什么系列?_?
//g.jpg" />&nbsp.&/zhidao/wh%3D600%2C800/sign=213bcff23e/dcc451da81cb39db90ceff4dd309a.hiphotos.baidu
您的回答被采纳后将获得：
系统奖励20（财富值+经验值）+难题奖励20（财富值+经验值）+提问者悬赏20（财富值+经验值）
我有更好的答案
其他类似问题
为您推荐：
等待您来回答
下载知道APP
随时随地咨询
出门在外也不愁