python fabric使用笔记


Posted in Python onMay 09, 2015

fabric

title是开发,但是同时要干开发测试还有运维的活……为毛 task*3 不是 salary * 3 (o(?□?)o)

近期接手越来越多的东西,发布和运维的工作相当机械,加上频率还蛮高,导致时间浪费还是优点多。

修复bug什么的,测试,提交版本库(2分钟),ssh到测试环境pull部署(2分钟),rsync到线上机器A,B,C,D,E(1分钟),分别ssh到ABCDE五台机器,逐一重启(8-10分钟) = 13-15分钟

其中郁闷的是,每次操作都是相同的,命令一样,要命的是在多个机器上,很难在本机一个脚本搞定,主要时间都浪费在ssh,敲命令上了,写成脚本,完全可以一键执行,花两分钟看下执行结果

直到,发现了fabric这货

作用

很强大的工具

可以将自动化部署或者多机操作的命令固化到一个脚本里

和某些运维工具很像,用它主要是因为,python…..

简单好用易上手

当然,shell各种命令组合起来也可以,上古神器和现代兵器的区别

环境配置

在本机和目标机器安装对应包(注意,都要有)

sudo easy_install fabric

目前是1.6版本(或者用pip install,一样的)

安装完后,可以查看是否安装成功

[ken@~$] which fab

/usr/local/bin/fab

装完之后,可以浏览下官方文档 http://docs.fabfile.org/en/1.6/

然后,可以动手了

hello world

先进行本机简单操作,有一个初步认识,例子来源与官网

新建一个py脚本: fabfile.py

def hello():

    print("Hello world!")

命令行执行:
[ken@~/tmp/fab$] fab hello

Hello world!
Done.

注意,这里可以不用fabfile作为文件名,但是在执行时需指定文件

[ken@~/tmp/fab$] mv fabfile.py test.py

fabfile.py -> test.py

[ken@~/tmp/fab$] fab hello
Fatal error: Couldn't find any fabfiles!
Remember that -f can be used to specify fabfile path, and use -h for help.
Aborting.

[ken@~/tmp/fab$] fab -f test.py hello

Hello world!
Done.

带参数:

修改fabfile.py脚本:

def hello(name, value):

    print("%s = %s!" % (name, value))

执行

[ken@~/tmp/fab$] fab hello:name=age,value=20

age = 20!
Done.

[ken@~/tmp/fab$] fab hello:age,20

age = 20!
Done.

执行本机操作

简单的本地操作:

from fabric.api import local
def lsfab():

    local('cd ~/tmp/fab')

    local('ls')

结果:
[ken@~/tmp/fab$] pwd;ls

/Users/ken/tmp/fab

fabfile.py   fabfile.pyc  test.py      test.pyc

[ken@~/tmp/fab$] fab -f test.py lsfab

[localhost] local: cd ~/tmp/fab

[localhost] local: ls

fabfile.py  fabfile.pyc test.py     test.pyc
Done.

实战开始:

假设,你每天要提交一份配置文件settings.py到版本库(这里没有考虑冲突的情况)

如果是手工操作:

cd /home/project/test/conf/

git add settings.py

git commit -m 'daily update settings.py'

git pull origin

git push origin

也就是说,这几个命令你每天都要手动敲一次,所谓daily job,就是每天都要重复的,机械化的工作,让我们看看用fabric怎么实现一键搞定:(其实用shell脚本可以直接搞定,但是fab的优势不是在这里,这里主要位后面本地+远端操作做准备,毕竟两个地方的操作写一种脚本便于维护)
from fabric.api import local
def setting_ci():

    local("cd /home/project/test/conf/")

    local("git add settings.py")

    #后面你懂的,懒得敲了…..

混搭整合远端操作

这时候,假设,你要到机器A的/home/ken/project对应项目目录把配置文件更新下来

#!/usr/bin/env python

# encoding: utf-8
from fabric.api import local,cd,run
env.hosts=['user@ip:port',] #ssh要用到的参数

env.password = 'pwd'


def setting_ci():

    local('echo "add and commit settings in local"')

    #刚才的操作换到这里,你懂的
def update_setting_remote():

    print "remote update"

    with cd('~/temp'):   #cd用于进入某个目录

        run('ls -l | wc -l')  #远程操作用run
def update():

    setting_ci()

    update_setting_remote()

然后,执行之:

[ken@~/tmp/fab$] fab -f deploy.py update

[user@ip:port] Executing task 'update'

[localhost] local: echo "add and commit settings in local"

add and commit settings in local

remote update

[user@ip:port] run: ls -l | wc -l

[user@ip:port] out: 12

[user@ip:port] out:
Done.

注意,如果不声明env.password,执行到对应机器时会跳出要求输入密码的交互

多服务器混搭

操作多个服务器,需要配置多个host

#!/usr/bin/env python

# encoding: utf-8
from fabric.api import *
#操作一致的服务器可以放在一组,同一组的执行同一套操作

env.roledefs = {

            'testserver': ['user1@host1:port1',],  

            'realserver': ['user2@host2:port2', ]

            }
#env.password = '这里不要用这种配置了,不可能要求密码都一致的,明文编写也不合适。打通所有ssh就行了'
@roles('testserver')

def task1():

    run('ls -l | wc -l')
@roles('realserver')

def task2():

    run('ls ~/temp/ | wc -l')
def dotask():

    execute(task1)

    execute(task2)

结果:

[ken@~/tmp/fab$] fab -f mult.py dotask

[user1@host1:port1] Executing task 'task1'

[user1@host1:port1] run: ls -l | wc -l

[user1@host1:port1] out: 9

[user1@host1:port1] out:
[user2@host2:port2] Executing task 'task2'

[user2@host2:port2] run: ls ~/temp/ | wc -l

[user2@host2:port2] out: 11

[user2@host2:port2] out:


Done.

扩展
1.颜色

可以打印颜色,在查看操作结果信息的时候更为醒目和方便

from fabric.colors import *

def show():
    print green('success')
    print red('fail')
    print yellow('yellow')
#fab -f color.py show
2.错误和异常

关于错误处理

默认,一组命令,上一个命令执行失败后,不会接着往下执行

失败后也可以进行不一样的处理,文档

目前没用到,后续用到再看了

3.密码管理

看文档

更好的密码管理方式,哥比较土,没打通,主要是服务器列表变化频繁,我的处理方式是:

1.host,user,port,password配置列表,所有的都写在一个文件

或者直接搞到脚本里,当然这个更........

env.hosts = [
'host1',
'host2'


]

env.passwords = { 

'host1': "pwdofhost1",

'host2': "pwdofhost2",
}

 或者

env.roledefs = {

'testserver': ['host1', 'host2'],

'realserver': ['host3', ]

}

env.passwords = {

'host1': "pwdofhost1",

'host2': "pwdofhost2",

'host3': "pwdofhost3", 

}

2.根据key解析成map嵌套,放到deploy中

另外命令其实也可以固化成一个cmds列表的…..

初略就用到这些,后续有更多需求的时候再去捞文档了,话说文档里好东西真多,就是太多了,看了晕。。。

Python 相关文章推荐
python的id()函数解密过程
Dec 25 Python
python实现将html表格转换成CSV文件的方法
Jun 28 Python
浅谈Python数据类型之间的转换
Jun 08 Python
浅谈python中scipy.misc.logsumexp函数的运用场景
Jun 23 Python
Django学习笔记之ORM基础教程
Mar 27 Python
将tensorflow的ckpt模型存储为npy的实例
Jul 09 Python
Python中字典与恒等运算符的用法分析
Aug 22 Python
PyQt5+Caffe+Opencv搭建人脸识别登录界面
Aug 28 Python
如何对python的字典进行排序
Jun 19 Python
Python读取二进制文件代码方法解析
Jun 22 Python
Python自动发送和收取邮件的方法
Aug 12 Python
Python使用plt.boxplot()函数绘制箱图、常用方法以及含义详解
Aug 14 Python
Python字符串详细介绍
May 09 #Python
Python urllib、urllib2、httplib抓取网页代码实例
May 09 #Python
python MySQLdb Windows下安装教程及问题解决方法
May 09 #Python
Python MySQLdb Linux下安装笔记
May 09 #Python
python实现类的静态变量用法实例
May 08 #Python
python使用pil生成图片验证码的方法
May 08 #Python
python实现连接mongodb的方法
May 08 #Python
You might like
PHP 使用MySQL管理Session的回调函数详解
2013/06/21 PHP
php顺序查找和二分查找示例
2014/03/27 PHP
PHP利用正则表达式将相对路径转成绝对路径的方法示例
2017/02/28 PHP
javascript 火狐(firefox)不显示本地图片问题解决
2008/07/05 Javascript
CCPry JS类库 代码
2009/10/30 Javascript
jQuery学习2 选择器的使用说明
2010/02/07 Javascript
javascript中的=等号个数问题两个跟三个有什么区别
2013/10/23 Javascript
JS实现的另类手风琴效果网页内容切换代码
2015/09/08 Javascript
Jquery插件easyUi实现表单验证示例
2015/12/15 Javascript
Javascript实现通过选择周数显示开始日和结束日的实现代码
2016/05/30 Javascript
微信小程序ajax实现请求服务器数据及模版遍历数据功能示例
2017/12/15 Javascript
Vue 组件封装 并使用 NPM 发布的教程
2018/09/30 Javascript
js中实例与对象的区别讲解
2019/01/21 Javascript
15个简单的JS编码标准让你的代码更整洁(小结)
2020/07/16 Javascript
[46:44]VG vs TNC Supermajor小组赛B组败者组决赛 BO3 第一场 6.2
2018/06/03 DOTA
python网络编程实例简析
2014/09/26 Python
Python去除列表中重复元素的方法
2015/03/20 Python
Django 用户认证组件使用详解
2019/07/23 Python
如何在django中实现分页功能
2020/04/22 Python
使用python+poco+夜神模拟器进行自动化测试实例
2020/04/23 Python
解决django migrate报错ORA-02000: missing ALWAYS keyword
2020/07/02 Python
Python基础教程(一)——Windows搭建开发Python开发环境
2020/07/20 Python
YOINS官网:时尚女装网上购物
2017/03/17 全球购物
性能测试工程师的面试题
2015/02/20 面试题
班组长安全生产职责
2013/12/16 职场文书
大学同学聚会邀请函
2014/01/29 职场文书
国庆节文艺活动方案
2014/02/03 职场文书
主持词开场白
2014/03/17 职场文书
企业员工爱岗敬业演讲稿
2014/08/26 职场文书
2014年重阳节老干部座谈会局领导发言稿
2014/09/25 职场文书
2015年元旦主持词开场白
2014/12/14 职场文书
2016公务员年度考核评语
2015/12/01 职场文书
CSS极坐标的实例代码
2021/06/03 HTML / CSS
python编程简单几行代码实现视频转换Gif示例
2021/10/05 Python
特别篇动画《总之就是非常可爱 ~制服~》PV公开,2022年夏季播出
2022/04/04 日漫
windows10 家庭版下FTP服务器搭建教程
2022/08/05 Servers