PHP使用SWOOLE扩展实现定时同步 MySQL 数据


Posted in PHP onApril 09, 2017

南宁公司和几个分公司之间都使用了呼叫系统,然后现在需要做一个呼叫通话数据分析,由于分公司的呼叫服务器是在内网,通过技术手段映射出来,分公司到南宁之间的网络不稳定,所以需要把分公司的通话数据同步到南宁。

本身最简单的方法就是直接配置MySQL的主从同步就可以同步数据到南宁来了。但是销售呼叫系统那边的公司不给MySQL权限我们。 所以这个方法只能放弃了。

于是我们干脆的想,使用PHP来实现定时一个简易的PHP定时同步工具,然后PHP进程常驻后台运行,所以首先就先到了一个PHP组件:SWOOLE,经过讨论,分公司的每天半天生成的数据量最大在5000条左右,所以这个方案是可行,就这样干。

我们使用PHP SWOOLE 做一个异步的定时任务系统。

本身MySQL数据库的主从同步是通过解析Master库中的binary-log来进行同步数据到从库的。然而我们使用PHP来同步数据的时候,那么只能从master库分批查询数据,然后插入到南宁的slave库来了。

这里我们使用的框架是 ThinkPHP 3.2 .

首先安装PHP扩展: SWOOLE,因为没有使用到特别的功能,所以这里我们使用pecl来快速安装:

pecl install swoole

安装完成后在 php.ini 里面加入 extension="swoole.so" 安装完成后,我们使用 phpinfo() 来检查是否成功了.

PHP使用SWOOLE扩展实现定时同步 MySQL 数据

安装成功了,我们就来写业务.

服务端

1、首先启动一个后台的服务端,监听端口9501

public function index()
{
 $serv = new \swoole_server("0.0.0.0", 9501);
 $serv->set([
  'worker_num' => 1,//一般设置为服务器CPU数的1-4倍
  'task_worker_num' => 8,//task进程的数量
  'daemonize' => 1,//以守护进程执行
  'max_request' => 10000,//最大请求数量
  "task_ipc_mode " => 2 //使用消息队列通信,并设置为争抢模式
 ]);
 $serv->on('Receive', [$this, 'onReceive']);//接收任务,并投递
 $serv->on('Task', [$this, 'onTask']);//可以在这个方法里面处理任务
 $serv->on('Finish', [$this, 'onFinish']);//任务完成时候调用
 $serv->start();
}

2、接收和投递任务

public function onReceive($serv, $fd, $from_id, $data)
{
 //使用json_decode 解析任务数据
 $areas = json_decode($data,true);
 foreach ($areas as $area){
  //投递异步任务
  $serv->task($area);
 }
}

3、任务执行,数据从master库查询和写入到slave数据库

public function onTask($serv, $task_id, $from_id, $task_data)
{
 $area = $task_data;//参数是地区编号
 $rows = 50; //每页多少条
 //主库地址,根据参数地区($area)编号切换master数据库连接
 //从库MySQL实例,根据参数地区($area)编号切换slave数据库连接
 //由于程序是常驻内存的,所以MySQL连接可以使用长连接,然后重复利用。要使用设计模式的,可以使用对象池模式
 Code......

 //master 库为分公司的数据库,slave库为数据同步到南宁后的从库
 Code......

 //使用$sql获取从库中最大的自增: SELECT MAX(id) AS maxid FROM ss_cdr_cdr_info limit 1
 $slaveMaxIncrementId = ...;

 //使用$sql获取主库中最大的自增: SELECT MAX(id) AS maxid FROM ss_cdr_cdr_info limit 1
 $masterMaxIncrementId = ...;

 //如果相等的就不同步了
 if($slaveMaxIncrementId >= $masterMaxIncrementId){
  return false;
 }

 //根据条数计算页数
 $dataNumber = ceil($masterMaxIncrementId - $slaveMaxIncrementId);
 $eachNumber = ceil($dataNumber / $rows);
 $left = 0;

 //根据页数来进行分批循环进行写入,要记得及时清理内存
 for ($i = 0; $i < $eachNumber; $i++) {
  $left = $i == 0 ? $slaveMaxIncrementId : $left + $rows;
  $right = $left + $rows;
  //生成分批查询条件
  //$where = "id > $left AND <= $right";
  $masterData = ...;//从主库查询数据
  $slaveLastInsertId = ...;//插入到从库
  unset($masterData,$slaveLastInsertId);
 }

 echo "New AsyncTask[id=$task_id]".PHP_EOL;
 $serv->finish("$area -> OK");
}

4、任务完成时候调用

public function onFinish($serv, $task_id, $task_data)
{
 echo "AsyncTask[$task_id] Finish: $task_data".PHP_EOL;
}

客户端推送任务

到此基本完成,剩下来我们来写客户端任务推送

public function index()
{
 $client = new \swoole_client(SWOOLE_SOCK_TCP);
 if (!$client->connect('127.0.0.1', 9501, 1)) {
  throw new Exception('链接SWOOLE服务错误');
 }
 $areas = json_encode(['liuzhou','yulin','beihai','guilin']);
 //开始遍历检查
 $client->send($areas);
 echo "任务发送成功".PHP_EOL;
}

至此基本完成了,剩下的我们来写一个shell脚本定时执行:/home/wwwroot/sync_db/crontab/send.sh

#!/bin/bash
PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:~/bin
export PATH

# 定时推送异步的数据同步任务
/usr/bin/php /home/wwwroot/sync_db/server.php home/index/index

使用crontab定时任务,我们把脚本加入定时任务

#设置每天12:30执行数据同步任务
30 12 * * * root /home/wwwroot/sync_db/crontab/send.sh
#设置每天19:00执行数据同步任务
0 19 * * * root /home/wwwroot/sync_db/crontab/send.sh

Tips: 最好推荐在里面加入写日志操作,这样好知道是任务推送、执行是否成功。

至此基本完成,程序有待优化~~~,各位看客有更好的方法欢迎提出。

PHP 相关文章推荐
用PHP实现WEB动态网页静态
Oct 09 PHP
数字转英文
Dec 06 PHP
php 连接mssql数据库 初学php笔记
Mar 01 PHP
PHP设计模式之责任链模式的深入解析
Jun 13 PHP
php获取当前时间的毫秒数的方法
Jan 26 PHP
php实现文件下载功能的几个代码分享
May 10 PHP
解决nginx不支持thinkphp中pathinfo的问题
Jul 21 PHP
PHP导出带样式的Excel示例代码
Aug 28 PHP
centos 7.2下搭建LNMP环境教程
Nov 20 PHP
php格式文件打开的四种方法
Feb 24 PHP
可兼容php5与php7的cURL文件上传功能实例分析
May 11 PHP
php框架知识点的整理和补充
Mar 01 PHP
CentOS系统中PHP安装扩展的方式汇总
Apr 09 #PHP
PHP将身份证正反面两张照片合成一张图片的代码
Apr 08 #PHP
ThinkPHP中调用PHPExcel的实现代码
Apr 08 #PHP
yii框架无限极分类的实现方法
Apr 08 #PHP
PHP下载远程图片的几种方法总结
Apr 07 #PHP
POST一个JSON格式的数据给Restful服务实例详解
Apr 07 #PHP
详谈配置phpstorm完美支持Codeigniter(CI)代码自动完成(代码提示)
Apr 07 #PHP
You might like
Yii CGridView用法实例详解
2016/07/12 PHP
js几个不错的函数 $$()
2006/10/09 Javascript
jQuery 自动增长的文本输入框实现代码
2010/04/02 Javascript
js 单击式的下拉菜单效果实例
2013/08/13 Javascript
javascript面向对象程序设计(一)
2015/01/29 Javascript
javascript实现根据时间段显示问候语的方法
2015/06/18 Javascript
JavaScript实现非常简单实用的下拉菜单效果
2015/08/27 Javascript
理解 JavaScript Scoping &amp; Hoisting(二)
2015/11/18 Javascript
JavaScript入门教程之引用类型
2016/05/04 Javascript
全面了解addEventListener和on的区别
2016/07/14 Javascript
Bootstrap Table服务器分页与在线编辑应用总结
2016/08/08 Javascript
JavaScript中 DOM操作方法小结
2017/04/25 Javascript
JS猜数字游戏实例讲解
2020/06/30 Javascript
[00:23]DOTA2群星共贺开放测试 25日无码时代来袭
2013/09/23 DOTA
[03:10]2014DOTA2 TI马来劲旅Titan首战告捷目标只是8强
2014/07/10 DOTA
Python中用Ctrl+C终止多线程程序的问题解决
2013/03/30 Python
跟老齐学Python之编写类之二方法
2014/10/11 Python
在SAE上部署Python的Django框架的一些问题汇总
2015/05/30 Python
Python使用matplotlib绘制多个图形单独显示的方法示例
2018/03/14 Python
Python实现高斯函数的三维显示方法
2018/12/29 Python
pycharm访问mysql数据库的方法步骤
2019/06/18 Python
twilio python自动拨打电话,播放自定义mp3音频的方法
2019/08/08 Python
Python控制台输出时刷新当前行内容而不是输出新行的实现
2020/02/21 Python
Python实现转换图片背景颜色代码
2020/04/30 Python
Python定时任务APScheduler安装及使用解析
2020/08/07 Python
Python调用JavaScript代码的方法
2020/10/27 Python
Pycharm 解决自动格式化冲突的设置操作
2021/01/15 Python
Python3.9.1中使用split()的处理方法(推荐)
2021/02/07 Python
复古斯堪的纳维亚儿童服装:Baby go Retro
2017/09/09 全球购物
美国半成品食材配送服务商:Home Chef
2018/01/25 全球购物
班级学雷锋活动总结
2014/06/26 职场文书
婚前协议书范本两则
2014/10/16 职场文书
学校党的群众路线教育实践活动总结材料
2014/10/30 职场文书
职场新人知识:如何制定一份合理的工作计划?
2019/09/11 职场文书
SQL Server中的逻辑函数介绍
2022/05/25 SQL Server
在windows server 2012 r2中安装mysql的详细步骤
2022/07/23 Servers