Python进行数据科学工作的简单入门教程


Posted in Python onApril 01, 2015

Python拥有着极其丰富且稳定的数据科学工具环境。遗憾的是,对不了解的人来说这个环境犹如丛林一般(cue snake joke)。在这篇文章中,我会一步一步指导你怎么进入这个PyData丛林。

你可能会问,很多现有的PyData包推荐列表怎么样?我觉得对新手来说提供太多的选择可能会受不了。因此这里不会提供推荐列表,我要讨论的范围很窄,只集中于10%的工具,但它们可以完成你90%的工作。当你掌握这些必要的工具后,你就可以浏览PyData工具的长列表了,选择自己接下来要使用的。

值得一提的是,我介绍的这几个工具可以让你完成一个数据科学家日常的绝大部分工作了(比如数据输入输出、数据再加工以及数据分析)。
安装

经常会有人过来和我说“我听说Python很擅长处理数据科学,所以我想学一下。但是安装Python和所有其他模块就耗费了两天时间”。安装Python是很合理的,因为你要用它,但是当你不知道真正需要哪些其他工具时就手动安装所有的PyData工具,这确实是一项大工程啊。所以我强烈反对这样做。

幸运的是,Continuum的一伙人创建了Python发行版Anaconda,它包含了大部分PyData工具包。默认没有的模块也可以轻松地通过GUI安装。这个发行版适用于所有主流平台。这样无需耗费两天安装了,可以直接使用它。
IPython Notebook

Python安装后,大部分人直接启动并开始学习。这很合理,但遗憾的是又大错特错了。我没见过直接在Python命令行中运行Python科学计算环境的(因人而异)。相反,可以使用IPython,特别是IPython Notebook,它们都是特别强大的Python shell,被广泛地使用在PyData领域中。我强烈建议你直接使用IPython Notebook(IPyNB)而不用为其他事所烦扰,你不会后悔的。简而言之,IPyNB是一个通过浏览器访问的Python shell。它允许你混合编辑代码、文本和图形(甚至是交互对象)。本文就是在IPyNB中完成的。在Python的会议中,几乎所有的演讲都使用IPython Notebook。Anaconda中预装了IPyNB,可以直接使用。下面看下它是什么样的:

In [1]:

print('Hello World')
Hello World

IPyNB发展很快——每次在会议中听(IPyNB的)核心开发人员演讲时,我总被他们想出的新功能所震撼。要了解它的一些先进功能,可以看看下面这个关于IPython小工具的简短教程。这些小工具可以让你使用滑动条交互地控制绘图:

In [1]:
 

from IPython.display import YouTubeVideo
YouTubeVideo('wxVx54ax47s') # 没错,它也可以嵌入youtube视频

Out[1]:
6. IPython Widgets ? IPython Notebook Tutorial
Pandas

通常,大家会建议你先学习NumPy(读作num-pie,不是num-pee),一个支持多维数组的库。几年前肯定得这样,但现在我几乎不使用NumPy。因为NumPy越来越成为一个被其他库所使用核心库,这些库通常具有更优雅的接口。因此,Pandas成为了处理数据所主要使用的库。它可以以各种格式(包括数据库)输入输出数据、执行join以及其他SQL类似的功能来重塑数据、熟练地处理缺失值、支持时间序列、拥有基本绘图功能和统计功能,等等还有很多。对它所有的特性来说,肯定有一个学习曲线,但我强烈去建议你先看一下大部分文档。你所投入的时间将使你的数据再加工过程更高效,这会带来上千倍的回报。这里有一些快速技巧会让你胃口大开的:
In [18]:
 

import pandas as pd
 
df = pd.DataFrame({ 'A' : 1.,
          'B' : pd.Timestamp('20130102'),
          'C' : pd.Series(1, index=list(range(4)), dtype='float32'),
          'D' : pd.Series([1, 2, 1, 2], dtype='int32'),
          'E' : pd.Categorical(["test", "train", "test", "train"]),
          'F' : 'foo' })

In [19]:

Out[19]:

A B C D E F
0 1 2013-01-02 1 1 test foo
1 1 2013-01-02 1 2 train foo
2 1 2013-01-02 1 1 test foo
3 1 2013-01-02 1 2 train foo

可以通过列名来获取某一列:

In [17]:
 
df.B
Out[17]:
 
0  2013-01-02
1  2013-01-02
2  2013-01-02
3  2013-01-02
Name: B, dtype: datetime64[ns]
 
Compute the sum of D for each category in E:
按E分类,每类对D求和:
In [21]:
 
df.groupby('E').sum().D
Out[21]:
 
E
test   2
train  4
Name: D, dtype: int32

使用NumPy(或者笨重的Matlab)达到同样的目的会很麻烦。

还有非常多的用法。不相信的话可以看一下这个教程“10 minutes to pandas”。上面的例子也来自这个教程。
Seaborn

Matplotlib是Python主要的绘图库。但是,我不建议你直接使用它,原因与开始不推荐你使用NumPy是一样的。虽然Matplotlib很强大,它本身就很复杂,你的图经过大量的调整才能变精致。因此,作为替代,我推荐你一开始使用Seaborn。Seaborn本质上使用Matplotlib作为核心库(就像Pandas对NumPy一样)。我将简短地描述下seaborn的优点。具体来说,它可以:

  1.     默认情况下就能创建赏心悦目的图表。(只有一点,默认不是jet colormap)
  2.     创建具有统计意义的图
  3.     能理解pandas的DataFrame类型,所以它们一起可以很好地工作。

虽然anaconda预装了pandas,却没安装seaborn。可以通过conda install seaborn轻松地安装。
具有统计意义的图
In [5]:
 

%matplotlib inline # IPython magic to create plots within cells

In [7]:
 

import seaborn as sns
 
# Load one of the data sets that come with seaborn
tips = sns.load_dataset("tips")
 
sns.jointplot("total_bill", "tip", tips, kind='reg');

Python进行数据科学工作的简单入门教程

如你所见,仅通过一行代码,我们就创建了一个漂亮复杂的统计图,其中包含拥有置信区间的最拟合回归直线、边界图,以及相关系数。使用matplotlib重新绘制这幅图的话需要相当多的(丑陋)代码,包括调用scipy执行线性回归并手动利用线性回归方程绘制直线(我甚至想不出怎么在边界绘图,怎么计算置信区间)。上面和下面的例子都摘自教程“the tutorial on quantitative linear models”。
与Pandas的DataFrame很好地工作

数据有自己的结构。通常我们感兴趣的包含不同的组或类(这种情况下使用pandas中groupby的功能会让人感到很神奇)。比如tips(小费)的数据集是这样的:
In [9]:
 

tips.head()
Out[9]:
 total_bill tip sex smoker day time size
0 16.99 1.01 Female No Sun Dinner 2
1 10.34 1.66 Male No Sun Dinner 3
2 21.01 3.50 Male No Sun Dinner 3
3 23.68 3.31 Male No Sun Dinner 2
4 24.59 3.61 Female No Sun Dinner 4

我们可能想知道吸烟者给的小费是否与不吸烟的人不同。没有seaborn的话,这需要使用pandas的groupby功能,并通过复杂的代码绘制线性回归直线。使用seaborn的话,我们可以给col参数提供列名,按我们的需要划分数据:
In [11]:
 

sns.lmplot("total_bill", "tip", tips, col="smoker");

Python进行数据科学工作的简单入门教程

很整洁吧?

随着你研究得越深,你可能想更细粒度地控制这些图表的细节。因为seaborn只是调用了matplotlib,那时你可能会想学习这个库。然而,对绝大部分工作来说我还是喜欢使用seaborn。
总结

这篇文章的想法是通过提供部分包来最大化新手使用Python处理数据科学的效率。

Python 相关文章推荐
pycharm 使用心得(三)Hello world!
Jun 05 Python
python控制台中实现进度条功能
Nov 10 Python
Python中关于Sequence切片的下标问题详解
Jun 15 Python
Python 查看文件的编码格式方法
Dec 21 Python
Python多线程中阻塞(join)与锁(Lock)使用误区解析
Apr 27 Python
python pygame模块编写飞机大战
Nov 20 Python
PyTorch的深度学习入门之PyTorch安装和配置
Jun 27 Python
python basemap 画出经纬度并标定的实例
Jul 09 Python
python 正则表达式贪婪模式与非贪婪模式原理、用法实例分析
Oct 14 Python
python时间与Unix时间戳相互转换方法详解
Feb 13 Python
Python 远程开关机的方法
Nov 18 Python
Python 的演示平台支持 WSGI 接口的应用
Apr 20 Python
10个易被忽视但应掌握的Python基本用法
Apr 01 #Python
用Python制作检测Linux运行信息的工具的教程
Apr 01 #Python
用Python的pandas框架操作Excel文件中的数据教程
Mar 31 #Python
Python实现国外赌场热门游戏Craps(双骰子)
Mar 31 #Python
通过代码实例展示Python中列表生成式的用法
Mar 31 #Python
使用Python实现一个简单的项目监控
Mar 31 #Python
详解Python中内置的NotImplemented类型的用法
Mar 31 #Python
You might like
PHP缩略图等比例无损压缩,可填充空白区域补充色
2011/06/10 PHP
如何使用php绘制在图片上的正余弦曲线
2013/06/08 PHP
phpmyadmin出现Cannot start session without errors问题解决方法
2014/08/14 PHP
PHP统计数值数组中出现频率最多的10个数字的方法
2015/04/20 PHP
php中preg_match的isU代表什么意思
2015/10/01 PHP
PHP sleep()函数, usleep()函数
2016/08/25 PHP
浅谈PHP进程管理
2019/03/08 PHP
Laravel如何实现适合Api的异常处理响应格式
2020/06/14 PHP
Jquery下attr和removeAttr的使用方法
2010/12/28 Javascript
json对象转字符串如何实现
2012/12/02 Javascript
一个简单的全屏图片上下打开显示网页效果示例
2014/07/08 Javascript
JS实现带鼠标效果的头像及文章列表代码
2015/09/27 Javascript
微信小程序 Animation实现图片旋转动画示例
2018/08/22 Javascript
JS实现图片拖拽交换效果
2018/11/30 Javascript
angular4中引入echarts的方法示例
2019/01/29 Javascript
layer ui插件显示tips时,修改字体颜色的实现方法
2019/09/11 Javascript
JS合并两个数组的3种方法详解
2019/10/24 Javascript
利用js canvas实现五子棋游戏
2020/10/11 Javascript
python3简单实现微信爬虫
2015/04/09 Python
Python循环语句中else的用法总结
2016/09/11 Python
python数据类型之间怎么转换技巧分享
2019/08/20 Python
从pandas一个单元格的字符串中提取字符串方式
2019/12/17 Python
用Python生成HTML表格的方法示例
2020/03/06 Python
Python高并发和多线程有什么关系
2020/11/14 Python
野兽派官方旗舰店:THE BEAST 野兽派
2016/08/05 全球购物
北京麒麟网信息技术有限公司网络游戏测试面试题
2013/09/28 面试题
大学生毕业自荐信
2013/10/10 职场文书
合作意向协议书范本
2014/03/31 职场文书
2014年党员自我剖析材料
2014/10/07 职场文书
实训报告范文大全
2014/11/04 职场文书
单身申明具结书
2015/02/26 职场文书
铁人观后感
2015/06/16 职场文书
聊聊Python中关于a=[[]]*3的反思
2021/06/02 Python
Spring中bean的生命周期之getSingleton方法
2021/06/30 Java/Android
Django模型层实现多表关系创建和多表操作
2021/07/21 Python
CSS中使用grid布局实现一套模板多种布局
2022/07/15 HTML / CSS