联系我们

公司地址: 上海市沪宜公路1188号4号楼
     一层
联系电话:021-31080981
电子邮箱:soline@soline.com.cn
邮政编码:201802

Zookeeper 中间件解决方案

中间件ZooKeeper(分布式服务框架)

1、简介       

         Zookeeper是为分布式应用提供一致性服务的软件,是一个开源的分布式协调服务,是开源的hadoop项目的一个子项目,可以提供配置信息管理、命名、分布式同步、集群管理、数据库切换等服务。它不适合用来存储大量信息,可以用来存储一些配置、发布与订阅等少量信息。Hadoop、Storm、消息中间件、RPC服务框架、分布式数据库同步系统,这些都是Zookeeper的应用场景。

      zookeeper可以充当一个服务注册表(Service Registry),让多个服务提供者形成一个集群,让服务消费者通过服务注册表获取具体的服务访问地址(ip+端口)去访问具体的服务提供者。

      官方:ZooKeeper是一个开源的的分布式服务框架,它是Apache Hadoop项目的一个子项目,主要用来解决分布式应用场景中存在的一些问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置管理等,它支持Standalone模式和分布式模式,在分布式模式下,能够为分布式应用提供高性能和可靠地协调服务,而且使用ZooKeeper可以大大简化分布式协调服务的实现,为开发分布式应用极大地降低了成本。

        Zookeeper 作为一个分布式的服务框架,主要用来解决分布式集群中应用系统的一致性问题,它能提供基于类似于文件系统的目录节点树方式的数据存储,但是 Zookeeper 并不是用来专门存储数据的,它的作用主要是用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化,从而可以达到基于数据的集群管理。

        ZooKeeper的目标是封装好易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。

       Zookeeper是一个基于观察者模式设计的分布式服务管理框架,负责存储和管理相关数据,接收观察者的注册。一旦这些数据的状态发生变化,zookeeper就负责通知那些已经在zookeeper集群进行注册并关心这些状态发生变化的观察者,以便观察者执行相关操作。

2、Zookeeper的3种角色:

1)Leader   2)Follower   3)Observer

一个 ZooKeeper 集群同一时刻只会有一个 Leader,其他都是 Follower 或 Observer。

3、节点读写服务分工:

 1)ZooKeeper 集群的所有机器通过一个 Leader 选举过程来选定一台被称为Leader

   的机器,Leader服务器为客户端提供读和写服务。

2)Follower 和 Observer 都能提供读服务,不能提供写服务。两者唯一的区别在于,

     Observer机器不参与 Leader 选举过程,也不参与写操作的『过半写成功』策略,因此 Observer 可以在不影响写性能的情况下提升集群的读性能。

     ZooKeeper 对外的服务端口默认是2181。

4、zookeeper的结构其实就是一个树形结构,leader就相当于其中的根结点,其它节点就相当于follow节点,每个节点都保留自己的内容。

Zookeeper集群中节点个数一般为奇数个(>=3),若集群中Master挂掉,剩余节点个数在半数以上时,就可以推举新的主节点,继续对外提供服务。

客户端发起事务请求,事务请求的结果在整个Zookeeper集群中所有机器上的应用情况是一致的。不会出现集群中部分机器应用了该事务,而存在另外一部分集群中机器没有应用该事务的情况。在Zookeeper集群中的任何一台机器,其看到的服务器的数据模型是一致的。Zookeeper能够保证客户端请求的顺序,每个请求分配一个全局唯一的递增编号,用来反映事务操作的先后顺序。Zookeeper将全量数据保存在内存中,并直接服务于所有的非事务请求,在以读操作为主的场景中性能非常突出。

Zookeeper使用的数据结构为树形结构,根节点为"/"。Zookeeper集群中的节点,根据其身份特性分为leader、follower、observer。leader负责客户端writer类型的请求;follower负责客户端reader类型的请求,并参与leader选举;observer是特殊的follower,可以接收客户端reader请求,但是不会参与选举,可以用来扩容系统支撑能力,提高读取速度。

5、Zookeeper使用的是ZAB原子消息广播协议,节点之间的一致性算法为Paxos,能够保障分布式环境中数据的一致性。分布式场景下高可用是Zookeeper的特性,可以采用第三方客户端的实现,即Curator框架。

6、Zookeeper集群管理

集群管理:是否有机器退出和加入、选举master。

对于第一点,所有机器约定在父目录GroupMembers下创建临时目录节点,然后监听父目录节点的子节点变化消息。一旦有机器挂掉,该机器与 zookeeper的连接断开,其所创建的临时目录节点被删除,所有其他机器都收到通知:某个兄弟目录被删除。

新机器加入也是类似,所有机器收到通知:新兄弟目录加入,highcount又有了,对于第二点,我们稍微改变一下,所有机器创建临时顺序编号目录节点,每次选取编号最小的机器作为master就好。

7、Zookeeper工作原理

    Zookeeper 的核心是原子广播,这个机制保证了各个Server之间的同步。实现这个机制的协议叫做Zab协议。Zab协议有两种模式,它们分别是恢复模式(选主)和广播模式(同步)。当服务启动或者在领导者崩溃后,Zab就进入了恢复模式,当领导者被选举出来,且大多数Server完成了和 leader的状态同步以后,恢复模式就结束了。状态同步保证了leader和Server具有相同的系统状态。

       Zookeeper 从设计模式角度来看,是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生变化,Zookeeper 就将负责通知已经在 Zookeeper 上注册的那些观察者做出相应的反应,从而实现集群中类似 Master/Slave 管理模式,

Zookeeper

数据模型

树结构,根节点为/,每一层用/划分,且访问时只能用绝对路径访问。这是由于zookeeper的场景大多是定位数据模型上的节点,即查找节点,因此底层使用hash结构,使用节点完整路径作为key,提高查找性能。

image.png

  1. 永久节点:创建后永久存在,显示调用delete删除。

  2. 临时节点:创建临时节点的客户端关闭连接后(超时或者异常导致的也算)自动删除。

  3. 有序节点:创建永久或临时节点时,zookeeper自动在节点名称后面追加单调递增的序号,来表示节点创建顺序。

节点维护的数据包括:

  1. 节点数据,使用二进制数组byte[]存储

  2. ACL访问控制信息

  3. 子节点数据,临时绝点不允许有子节点,所以其子节点字段为null

  4. 记录自身状态信息的字段stat,具体信息见下图

image.png


悲观锁

约定/lock为锁节点,成功创建/lock节点的客户端获取锁。


乐观锁

使用CAS,由节点中存储的version信息来实现。


Watch机制

一种订阅监听机制,其使用可以通过向客户端构造方法、getData、exists 和 getChildren方法参数传递Watcher时间参数来实现。

new ZooKeeper(String connectString, int sessionTimeout, Watcher watcher);getData(String path, Watcher watcher, Stat stat);

image.png

在客户端连接服务端的时候,可以对数据节点的创建、删除、数据变更、子节点的更新等操作进行监控。

客户端标记消息为watch消息,发送到服务端,服务端收到后将watch记录到watchManager中,并返回响应,客户端拿到响应后将watch记录在自己的zkwatchManager中。

服务端出发watch时会根据watchmanage中记录的来回调客户端,客户端根据zkWatchManager来回调响应函数。

注意watch是一次性的,回调完就会删除。要多次就要重复注册。

watch可以用来实现发布订阅如配置中心等功能。

上一篇:无

下一篇:RPC中间件解决方案