PHP使用SWOOLE扩展实现定时同步 MySQL 数据


Posted in PHP onApril 09, 2017

南宁公司和几个分公司之间都使用了呼叫系统,然后现在需要做一个呼叫通话数据分析,由于分公司的呼叫服务器是在内网,通过技术手段映射出来,分公司到南宁之间的网络不稳定,所以需要把分公司的通话数据同步到南宁。

本身最简单的方法就是直接配置MySQL的主从同步就可以同步数据到南宁来了。但是销售呼叫系统那边的公司不给MySQL权限我们。 所以这个方法只能放弃了。

于是我们干脆的想,使用PHP来实现定时一个简易的PHP定时同步工具,然后PHP进程常驻后台运行,所以首先就先到了一个PHP组件:SWOOLE,经过讨论,分公司的每天半天生成的数据量最大在5000条左右,所以这个方案是可行,就这样干。

我们使用PHP SWOOLE 做一个异步的定时任务系统。

本身MySQL数据库的主从同步是通过解析Master库中的binary-log来进行同步数据到从库的。然而我们使用PHP来同步数据的时候,那么只能从master库分批查询数据,然后插入到南宁的slave库来了。

这里我们使用的框架是 ThinkPHP 3.2 .

首先安装PHP扩展: SWOOLE,因为没有使用到特别的功能,所以这里我们使用pecl来快速安装:

pecl install swoole

安装完成后在 php.ini 里面加入 extension="swoole.so" 安装完成后,我们使用 phpinfo() 来检查是否成功了.

PHP使用SWOOLE扩展实现定时同步 MySQL 数据

安装成功了,我们就来写业务.

服务端

1、首先启动一个后台的服务端,监听端口9501

public function index()
{
 $serv = new \swoole_server("0.0.0.0", 9501);
 $serv->set([
  'worker_num' => 1,//一般设置为服务器CPU数的1-4倍
  'task_worker_num' => 8,//task进程的数量
  'daemonize' => 1,//以守护进程执行
  'max_request' => 10000,//最大请求数量
  "task_ipc_mode " => 2 //使用消息队列通信,并设置为争抢模式
 ]);
 $serv->on('Receive', [$this, 'onReceive']);//接收任务,并投递
 $serv->on('Task', [$this, 'onTask']);//可以在这个方法里面处理任务
 $serv->on('Finish', [$this, 'onFinish']);//任务完成时候调用
 $serv->start();
}

2、接收和投递任务

public function onReceive($serv, $fd, $from_id, $data)
{
 //使用json_decode 解析任务数据
 $areas = json_decode($data,true);
 foreach ($areas as $area){
  //投递异步任务
  $serv->task($area);
 }
}

3、任务执行,数据从master库查询和写入到slave数据库

public function onTask($serv, $task_id, $from_id, $task_data)
{
 $area = $task_data;//参数是地区编号
 $rows = 50; //每页多少条
 //主库地址,根据参数地区($area)编号切换master数据库连接
 //从库MySQL实例,根据参数地区($area)编号切换slave数据库连接
 //由于程序是常驻内存的,所以MySQL连接可以使用长连接,然后重复利用。要使用设计模式的,可以使用对象池模式
 Code......

 //master 库为分公司的数据库,slave库为数据同步到南宁后的从库
 Code......

 //使用$sql获取从库中最大的自增: SELECT MAX(id) AS maxid FROM ss_cdr_cdr_info limit 1
 $slaveMaxIncrementId = ...;

 //使用$sql获取主库中最大的自增: SELECT MAX(id) AS maxid FROM ss_cdr_cdr_info limit 1
 $masterMaxIncrementId = ...;

 //如果相等的就不同步了
 if($slaveMaxIncrementId >= $masterMaxIncrementId){
  return false;
 }

 //根据条数计算页数
 $dataNumber = ceil($masterMaxIncrementId - $slaveMaxIncrementId);
 $eachNumber = ceil($dataNumber / $rows);
 $left = 0;

 //根据页数来进行分批循环进行写入,要记得及时清理内存
 for ($i = 0; $i < $eachNumber; $i++) {
  $left = $i == 0 ? $slaveMaxIncrementId : $left + $rows;
  $right = $left + $rows;
  //生成分批查询条件
  //$where = "id > $left AND <= $right";
  $masterData = ...;//从主库查询数据
  $slaveLastInsertId = ...;//插入到从库
  unset($masterData,$slaveLastInsertId);
 }

 echo "New AsyncTask[id=$task_id]".PHP_EOL;
 $serv->finish("$area -> OK");
}

4、任务完成时候调用

public function onFinish($serv, $task_id, $task_data)
{
 echo "AsyncTask[$task_id] Finish: $task_data".PHP_EOL;
}

客户端推送任务

到此基本完成,剩下来我们来写客户端任务推送

public function index()
{
 $client = new \swoole_client(SWOOLE_SOCK_TCP);
 if (!$client->connect('127.0.0.1', 9501, 1)) {
  throw new Exception('链接SWOOLE服务错误');
 }
 $areas = json_encode(['liuzhou','yulin','beihai','guilin']);
 //开始遍历检查
 $client->send($areas);
 echo "任务发送成功".PHP_EOL;
}

至此基本完成了,剩下的我们来写一个shell脚本定时执行:/home/wwwroot/sync_db/crontab/send.sh

#!/bin/bash
PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:~/bin
export PATH

# 定时推送异步的数据同步任务
/usr/bin/php /home/wwwroot/sync_db/server.php home/index/index

使用crontab定时任务,我们把脚本加入定时任务

#设置每天12:30执行数据同步任务
30 12 * * * root /home/wwwroot/sync_db/crontab/send.sh
#设置每天19:00执行数据同步任务
0 19 * * * root /home/wwwroot/sync_db/crontab/send.sh

Tips: 最好推荐在里面加入写日志操作,这样好知道是任务推送、执行是否成功。

至此基本完成,程序有待优化~~~,各位看客有更好的方法欢迎提出。

PHP 相关文章推荐
PHP数组的交集array_intersect(),array_intersect_assoc(),array_inter_key()函数的小问题
May 29 PHP
初学PHP的朋友 经常问的一些问题。不断更新
Aug 11 PHP
php数组函数序列之asort() - 对数组的元素值进行升序排序,保持索引关系
Nov 02 PHP
PHP循环语句笔记(foreach,list)
Nov 29 PHP
PHP扩展模块memcached长连接使用方法分析
Dec 24 PHP
Yii2中如何使用modal弹窗(基本使用)
May 30 PHP
php英文单词统计器
Jun 23 PHP
php版微信公众平台接口参数调试实现判断用户行为的方法
Sep 23 PHP
浅谈PHP的排列组合(如输入a,b,c 输出他们的全部组合)
Mar 14 PHP
Laravel学习教程之model validation的使用示例
Oct 23 PHP
ThinkPHP框架实现的邮箱激活功能示例
Jun 15 PHP
php微信公众号开发之快递查询
Oct 20 PHP
CentOS系统中PHP安装扩展的方式汇总
Apr 09 #PHP
PHP将身份证正反面两张照片合成一张图片的代码
Apr 08 #PHP
ThinkPHP中调用PHPExcel的实现代码
Apr 08 #PHP
yii框架无限极分类的实现方法
Apr 08 #PHP
PHP下载远程图片的几种方法总结
Apr 07 #PHP
POST一个JSON格式的数据给Restful服务实例详解
Apr 07 #PHP
详谈配置phpstorm完美支持Codeigniter(CI)代码自动完成(代码提示)
Apr 07 #PHP
You might like
php session 检测和注销
2009/03/16 PHP
PHP访问MYSQL数据库封装类(附函数说明)
2010/12/04 PHP
PHP与MySQL开发的8个技巧小结
2010/12/17 PHP
linux系统上支持php的 iconv()函数的方法
2011/10/01 PHP
php实现获取及设置用户访问页面语言类
2014/09/24 PHP
简单谈谈php中ob_flush和flush的区别
2014/11/27 PHP
深入理解PHP原理之执行周期分析
2016/06/01 PHP
PHP的openssl加密扩展使用小结(推荐)
2016/07/18 PHP
PHP环形链表实现方法示例
2017/09/15 PHP
详解PHP文件的自动加载(autoloading)
2018/02/04 PHP
javascript与jquery中跳出循环的区别总结
2013/11/04 Javascript
js实现继承的5种方式
2015/12/01 Javascript
AngularJS前端页面操作之用户修改密码功能示例
2017/03/27 Javascript
react学习笔记之state以及setState的使用
2017/12/07 Javascript
详解Vue中watch的高级用法
2018/05/02 Javascript
python实现多线程暴力破解登陆路由器功能代码分享
2015/01/04 Python
用Python的Django框架来制作一个RSS阅读器
2015/07/22 Python
Windows上配置Emacs来开发Python及用Python扩展Emacs
2015/11/20 Python
解决Python下imread,imwrite不支持中文的问题
2018/12/05 Python
python 获取utc时间转化为本地时间的方法
2018/12/31 Python
Python3数字求和的实例
2019/02/19 Python
python3.6下Numpy库下载与安装图文教程
2019/04/02 Python
Python根据当前日期取去年同星期日期
2019/04/14 Python
python opencv将图片转为灰度图的方法示例
2019/07/31 Python
python numpy生成等差数列、等比数列的实例
2020/02/25 Python
使用Python实现微信拍一拍功能的思路代码
2020/07/09 Python
python空元组在all中返回结果详解
2020/12/15 Python
python解决OpenCV在读取显示图片的时候闪退的问题
2021/02/23 Python
浅谈Html5页面打开app的一些思考
2020/03/30 HTML / CSS
canvas绘制图片drawImage使用方法
2020/09/15 HTML / CSS
李维斯牛仔裤英国官方网站:Levi’s英国
2019/10/10 全球购物
How TDD works
2012/09/30 面试题
银行员工辞职信范文
2014/01/20 职场文书
幼儿园教研工作总结2015
2015/05/12 职场文书
2015年公务员试用期工作总结
2015/05/28 职场文书
解决Swagger2返回map复杂结构不能解析的问题
2021/07/02 Java/Android