热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

关于phpforzookeeper

原文:DistributedapplicationinPHPwithApacheZookeeper地址:http:systemsarchitect.netdistributed-a

原文:Distributed application in PHP with Apache Zookeeper

地址:http://systemsarchitect.net/distributed-application-in-php-with-apache-zookeeper/

 

 

Apache Zookeeper是我最近遇到的最酷的技术,我是在研究Solr Cloud功能的时候发现的。Solr的分布式计算让我印象深刻。你只要开启一个新的实例就能自动在Solr Cloud中找到。它会将自己分派到某个分片中,并确定出自己是一个Leader(源)还是一个副本。不一会儿,你就可以在你的那些服务器上查询到了。即便某些服务器宕机了也可以继续工作。非常动态、聪明、酷。

将运行多个应用程序作为一个逻辑程序并不是什么新玩意。事实上,我在几年前就已写过类似的软件。这种架构比较让人迷惑,使用起来也费劲。为此Apache Zookeeper提供了一套工具用于管理这种软件。

为什么叫Zoo?“因为要协调的分布式系统是一个动物园”。

在本篇文章中,我将说明如何使用PHP安装和集成Apache ZooKeeper。我们将通过service来协调各个独立的PHP脚本,并让它们同意某个成为Leader(所以称作Leader选举)。当Leader退出(或崩溃)时,worker可检测到并再选出新的leader。

ZooKeeper是一个中性化的Service,用于管理配置信息、命名、提供分布式同步,还能组合Service。所有这些种类的Service都会在分布式应用程序中使用到。每次编写这些Service都会涉及大量的修bug和竞争情况。正因为这种编写这些Service有一定难度,所以通常都会忽视它们,这就使得在应用程序有变化时变得难以管理应用程序。即使处理得当,实现这些服务的不同方法也会使得部署应用程序变得难以管理。

虽然ZooKeeper是一个Java应用程序,但C也可以使用。这里就有个PHP的扩展,由Andrei Zmievski在2009创建并维护。你可以从PECL中下载,或从GitHub中直接获取PHP-ZooKeeper。

要使用该扩展你首先要安装ZooKeeper。可以从官方网站下载。

[html] view plain copy
 
  1. $ tar zxfv zookeeper-3.4.8.tar.gz  
  2. $ cd zookeeper-3.4.8/src/c  
  3. $ ./configure --prefix=/usr/  
  4. $ make  
  5. $ sudo make install  


这样就会安装ZooKeeper的库和头文件。现在准备编译PHP扩展。

 

[html] view plain copy
 
  1. $ cd  
  2. $ git clone https://github.com/andreiz/php-zookeeper.git  
  3. $ cd php-zookeeper  
  4. $ phpize  
  5. $ ./configure  
  6. $ make  
  7. $ sudo make install  

将“zookeeper.so”添加到PHP配置中。

 

 

[html] view plain copy
 
  1. vim /etc/php5/cli/conf.d/20-zookeeper.ini  


因为我不需要运行在web服务环境下,所以这里我只编辑了CLI的配置。将下面的行复制到ini文件中。

 

 

[html] view plain copy
 
  1. extension=zookeeper.so  


使用如下命令来确定扩展是否已起作用。

 

 

[html] view plain copy
 
  1. $ php -m | grep zookeeper  
  2. zookeeper  


现在是时候运行ZooKeeper了。目前唯一还没有做的是配置。创建一个用于存放所有service数据的目录。

 

 

[html] view plain copy
 
  1. $ mkdir /home/you-account/zoo  
  2. $ cd  
  3. $ cd zookeeper-3.4.5/  
  4. $ cp conf/zoo_sample.cfg conf/zoo.cfg  
  5. $ vim conf/zoo.cfg  


找到名为“dataDir”的属性,将其指向“/home/you-account/zoo”目录。

 

 

[html] view plain copy
 
  1. $ bin/zkServer.sh start  
  2. $ bin/zkCli.sh -server 127.0.0.1:2181  
  3. [zk: 127.0.0.1:2181(CONNECTED) 14] create /test 1  
  4. Created /test  
  5. [zk: 127.0.0.1:2181(CONNECTED) 19] ls /  
  6. [test, zookeeper]  

 

 

此时,你已成功连到了ZooKeeper,并创建了一个名为“/test”的znode(稍后我们会用到)。ZooKeeper以树形结构保存数据。这很类似于文件系统,但“文件夹”(译者注:这里指非最底层的节点)又和文件很像。znode是ZooKeeper保存的实体。Node(节点)的说法很容易被混淆,所以为了避免混淆这里使用了znode。

因为我们稍后还会使用,所以这里我们让客户端保持连接状态。开启一个新窗口,并创建一个zookeeperdemo1.php文件。

 

[php] view plain copy
 
  1.    
  2. class ZookeeperDemo extends Zookeeper {  
  3.    
  4.   public function watcher( $i, $type, $key ) {  
  5.     echo "Insider Watcher\n";  
  6.    
  7.     // Watcher gets consumed so we need to set a new one  
  8.     $this->get( '/test', array($this, 'watcher' ) );  
  9.   }  
  10.    
  11. }  
  12.    
  13. $zoo = new ZookeeperDemo('127.0.0.1:2181');  
  14. $zoo->get( '/test', array($zoo, 'watcher' ) );  
  15.    
  16. while( true ) {  
  17.   echo '.';  
  18.   sleep(2);  
  19. }  

现在运行该脚本:

 

 

[html] view plain copy
 
  1. $ php zookeeperdemo1.php  


此处应该会每隔2秒产生一个点。现在切换到ZooKeeper客户端,并更新“/test”值。

 

 

[html] view plain copy
 
  1. [zk: 127.0.0.1:2181(CONNECTED) 20] set /test foo  

 

 

这样就会静默触发PHP脚本中的“Insider Watcher”消息。怎么会这样的?

ZooKeeper提供了可以绑定在znode的监视器。如果监视器发现znode发生变化,该service会立即通知所有相关的客户端。这就是PHP脚本如何知道变化的。Zookeeper::get方法的第二个参数是回调函数。当触发事件时,监视器会被消费掉,所以我们需要在回调函数中再次设置监视器。

现在你可以准备创建分布式应用程序了。其中的挑战是让这些独立的程序决定哪个(是leader)协调它们的工作,以及哪些(是worker)需要执行。这个处理过程叫做leader选举,在ZooKeeper Recipes and Solutions你能看到相关的实现方法。

这里简单来说就是,每个处理(或服务器)紧盯着相邻的那个处理(或服务器)。如果一个已被监视的处理(也即Leader)退出或者崩溃了,监视程序就会查找其相邻(此时最老)的那个处理作为Leader。

在真实的应用程序中,leader会给worker分配任务、监控进程和保存结果。这里为了简化,我跳过了这些部分。

创建一个新的PHP文件,命名为worker.php:

 

[html] view plain copy
 
  1. php  
  2.    
  3. class Worker extends Zookeeper {  
  4.    
  5.   const CONTAINER = '/cluster';  
  6.    
  7.   protected $acl = array(  
  8.                     array(  
  9.                       'perms' => Zookeeper::PERM_ALL,  
  10.                       'scheme' => 'world',  
  11.                       'id' => 'anyone' ) );  
  12.    
  13.   private $isLeader = false;  
  14.    
  15.   private $znode;  
  16.    
  17.   public function __construct( $host = '', $watcher_cb = null, $recv_timeout = 10000 ) {  
  18.     parent::__construct( $host, $watcher_cb, $recv_timeout );  
  19.   }  
  20.    
  21.   public function register() {  
  22.     if( ! $this->exists( self::CONTAINER ) ) {  
  23.       $this->create( self::CONTAINER, null, $this->acl );  
  24.     }  
  25.    
  26.     $this->znode = $this->create( self::CONTAINER . '/w-',  
  27.                                   null,  
  28.                                   $this->acl,  
  29.                                   Zookeeper::<span class="KSFIND_CLASS" id="0KSFindDIV">EPHEMERspan>AL | Zookeeper::SEQUENCE );  
  30.    
  31.     $this->znode = str_replace( self::CONTAINER .'/', '', $this->znode );  
  32.    
  33.     printf( "I'm registred as: %s\n", $this->znode );  
  34.    
  35.     $watching = $this->watchPrevious();  
  36.    
  37.     if( $watching == $this->znode ) {  
  38.       printf( "Nobody here, I'm the leader\n" );  
  39.       $this->setLeader( true );  
  40.     }  
  41.     else {  
  42.       printf( "I'm watching %s\n", $watching );  
  43.     }  
  44.   }  
  45.    
  46.   public function watchPrevious() {  
  47.     $workers = $this->getChildren( self::CONTAINER );  
  48.     sort( $workers );  
  49.     $size = sizeof( $workers );  
  50.     for( $i = 0 ; $i < $size ; $i++ ) {  
  51.       if( $this->znode == $workers[ $i ] ) {  
  52.         if( $i > 0 ) {  
  53.           $this->get( self::CONTAINER . '/' . $workers[ $i - 1 ], array( $this, 'watchNode' ) );  
  54.           return $workers[ $i - 1 ];  
  55.         }  
  56.    
  57.         return $workers[ $i ];  
  58.       }  
  59.     }  
  60.    
  61.     throw new Exception(  sprintf( "Something went very wrong! I can't find myself: %s/%s",  
  62.                           self::CONTAINER,  
  63.                           $this->znode ) );  
  64.   }  
  65.    
  66.   public function watchNode( $i, $type, $name ) {  
  67.     $watching = $this->watchPrevious();  
  68.     if( $watching == $this->znode ) {  
  69.       printf( "I'm the new leader!\n" );  
  70.       $this->setLeader( true );  
  71.     }  
  72.     else {  
  73.       printf( "Now I'm watching %s\n", $watching );  
  74.     }  
  75.   }  
  76.    
  77.   public function isLeader() {  
  78.     return $this->isLeader;  
  79.   }  
  80.    
  81.   public function setLeader($flag) {  
  82.     $this->isLeader = $flag;  
  83.   }  
  84.    
  85.   public function run() {  
  86.     $this->register();  
  87.    
  88.     while( true ) {  
  89.       if( $this->isLeader() ) {  
  90.         $this->doLeaderJob();  
  91.     }  
  92.     else {  
  93.       $this->doWorkerJob();  
  94.     }  
  95.    
  96.       sleep( 2 );  
  97.     }  
  98.   }  
  99.    
  100.   public function doLeaderJob() {  
  101.     echo "Leading\n";  
  102.   }  
  103.    
  104.   public function doWorkerJob() {  
  105.     echo "Working\n";  
  106.   }  
  107.    
  108. }  
  109.    
  110. $worker = new Worker( '127.0.0.1:2181' );  
  111. $worker->run();  


打开至少3个终端,在每个终端中运行以下脚本:

 

 

[html] view plain copy
 
  1. # term1  
  2.    
  3. $ php worker.php  
  4. I'm registred as: w-0000000001  
  5. Nobody here, I'm the leader  
  6. Leading  
  7.    
  8. # term2  
  9.    
  10. $ php worker.php  
  11. I'm registred as: w-0000000002  
  12. I'm watching w-0000000001  
  13. Working  
  14.    
  15. # term3  
  16.    
  17. $ php worker.php  
  18. I'm registred as: w-0000000003  
  19. I'm watching w-0000000002  
  20. Working  

 

 

现在模拟Leader崩溃的情形。使用Ctrl+c或其他方法退出第一个脚本。刚开始不会有任何变化,worker可以继续工作。后来,ZooKeeper会发现超时,并选举出新的leader。

虽然这些脚本很容易理解,但是还是有必要对已使用的Zookeeper标志作注释:

 

[html] view plain copy
 
  1. $this->znode = $this->create( self::CONTAINER . '/w-',  
  2.                               null,  
  3.                               $this->acl,  
  4.                               Zookeeper::EPHEMERAL | Zookeeper::SEQUENCE );  

 

 

每个znode都是EPHEMERAL和SEQUENCE的。

EPHEMRAL代表当客户端失去连接时移除该znode。这就是为何PHP脚本会知道超时。SEQUENCE代表在每个znode名称后添加顺序标识。我们通过这些唯一标识来标记worker。

在PHP部分还有些问题要注意。该扩展目前还是beta版,如果使用不当很容易发生segmentation fault。比如,不能传入普通函数作为回调函数,传入的必须为方法。我希望更多PHP社区的同仁可以看到Apache ZooKeeper的好,同时该扩展也会获得更多的支持。

ZooKeeper是一个强大的软件,拥有简洁和简单的API。由于文档和示例都做的很好,任何人都可以很容易的编写分布式软件。让我们开始吧,这会很有趣的。

相关连接:
- Yahoo research on ZooKeeper. 非常好的阅读材料,拥有真实的应用程序示例。如果你只要阅读一份ZooKeeper的资料,那么就是这份了。

- PHP ZooKeeper

- PHP ZooKeeper API

- PHP ZooKeeper example

 


推荐阅读
  • 本文总结了初学者在使用dubbo设计架构过程中遇到的问题,并提供了相应的解决方法。问题包括传输字节流限制、分布式事务、序列化、多点部署、zk端口冲突、服务失败请求3次机制以及启动时检查。通过解决这些问题,初学者能够更好地理解和应用dubbo设计架构。 ... [详细]
  • [翻译]微服务设计模式5. 服务发现服务端服务发现
    服务之间需要互相调用,在单体架构中,服务之间的互相调用直接通过编程语言层面的方法调用就搞定了。在传统的分布式应用的部署中,服务地 ... [详细]
  • ZooKeeper 学习
    前言相信大家对ZooKeeper应该不算陌生。但是你真的了解ZooKeeper是个什么东西吗?如果别人面试官让你给他讲讲ZooKeeper是个什么东西, ... [详细]
  • [转]ZooKeeper学习第一期Zookeeper简单介绍
    ZooKeeper学习第一期---Zookeeper简单介绍http:www.cnblogs.comsunddenlyp4033574.html一、分布式协调技术在给大家介绍Zoo ... [详细]
  • Oracle优化新常态的五大禁止及其性能隐患
    本文介绍了Oracle优化新常态中的五大禁止措施,包括禁止外键、禁止视图、禁止触发器、禁止存储过程和禁止JOB,并分析了这些禁止措施可能带来的性能隐患。文章还讨论了这些禁止措施在C/S架构和B/S架构中的不同应用情况,并提出了解决方案。 ... [详细]
  • 一句话解决高并发的核心原则
    本文介绍了解决高并发的核心原则,即将用户访问请求尽量往前推,避免访问CDN、静态服务器、动态服务器、数据库和存储,从而实现高性能、高并发、高可扩展的网站架构。同时提到了Google的成功案例,以及适用于千万级别PV站和亿级PV网站的架构层次。 ... [详细]
  • 云原生应用最佳开发实践之十二原则(12factor)
    目录简介一、基准代码二、依赖三、配置四、后端配置五、构建、发布、运行六、进程七、端口绑定八、并发九、易处理十、开发与线上环境等价十一、日志十二、进程管理当 ... [详细]
  • Zookeeper为分布式环境提供灵活的协调基础架构。ZooKeeper框架支持许多当今最好的工业应用程序。我们将在本章中讨论ZooKeeper的一些最显着的应用。雅虎ZooKee ... [详细]
  • 原创 | 大数据入门基础系列之ClouderaManager版本的Hive安装部署
    添加服务,一 ... [详细]
  • go语言能做什么?很多朋友可能知道Go语言的优势在哪,却不知道Go语言适合用于哪些地方。1、Go语言作为服务器编程语言,很适合处理日志、数据打包、虚拟机处理、文件系统、分布式系统、 ... [详细]
  • t-io 2.0.0发布-法网天眼第一版的回顾和更新说明
    本文回顾了t-io 1.x版本的工程结构和性能数据,并介绍了t-io在码云上的成绩和用户反馈。同时,还提到了@openSeLi同学发布的t-io 30W长连接并发压力测试报告。最后,详细介绍了t-io 2.0.0版本的更新内容,包括更简洁的使用方式和内置的httpsession功能。 ... [详细]
  • 图解redis的持久化存储机制RDB和AOF的原理和优缺点
    本文通过图解的方式介绍了redis的持久化存储机制RDB和AOF的原理和优缺点。RDB是将redis内存中的数据保存为快照文件,恢复速度较快但不支持拉链式快照。AOF是将操作日志保存到磁盘,实时存储数据但恢复速度较慢。文章详细分析了两种机制的优缺点,帮助读者更好地理解redis的持久化存储策略。 ... [详细]
  • 本文介绍了Web学习历程记录中关于Tomcat的基本概念和配置。首先解释了Web静态Web资源和动态Web资源的概念,以及C/S架构和B/S架构的区别。然后介绍了常见的Web服务器,包括Weblogic、WebSphere和Tomcat。接着详细讲解了Tomcat的虚拟主机、web应用和虚拟路径映射的概念和配置过程。最后简要介绍了http协议的作用。本文内容详实,适合初学者了解Tomcat的基础知识。 ... [详细]
  • ejava,刘聪dejava
    本文目录一览:1、什么是Java?2、java ... [详细]
  • 基于分布式锁的防止重复请求解决方案
    一、前言关于重复请求,指的是我们服务端接收到很短的时间内的多个相同内容的重复请求。而这样的重复请求如果是幂等的(每次请求的结果都相同,如查 ... [详细]
author-avatar
梦里的天真575
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有