Python进行数据科学工作的简单入门教程


Posted in Python onApril 01, 2015

Python拥有着极其丰富且稳定的数据科学工具环境。遗憾的是,对不了解的人来说这个环境犹如丛林一般(cue snake joke)。在这篇文章中,我会一步一步指导你怎么进入这个PyData丛林。

你可能会问,很多现有的PyData包推荐列表怎么样?我觉得对新手来说提供太多的选择可能会受不了。因此这里不会提供推荐列表,我要讨论的范围很窄,只集中于10%的工具,但它们可以完成你90%的工作。当你掌握这些必要的工具后,你就可以浏览PyData工具的长列表了,选择自己接下来要使用的。

值得一提的是,我介绍的这几个工具可以让你完成一个数据科学家日常的绝大部分工作了(比如数据输入输出、数据再加工以及数据分析)。
安装

经常会有人过来和我说“我听说Python很擅长处理数据科学,所以我想学一下。但是安装Python和所有其他模块就耗费了两天时间”。安装Python是很合理的,因为你要用它,但是当你不知道真正需要哪些其他工具时就手动安装所有的PyData工具,这确实是一项大工程啊。所以我强烈反对这样做。

幸运的是,Continuum的一伙人创建了Python发行版Anaconda,它包含了大部分PyData工具包。默认没有的模块也可以轻松地通过GUI安装。这个发行版适用于所有主流平台。这样无需耗费两天安装了,可以直接使用它。
IPython Notebook

Python安装后,大部分人直接启动并开始学习。这很合理,但遗憾的是又大错特错了。我没见过直接在Python命令行中运行Python科学计算环境的(因人而异)。相反,可以使用IPython,特别是IPython Notebook,它们都是特别强大的Python shell,被广泛地使用在PyData领域中。我强烈建议你直接使用IPython Notebook(IPyNB)而不用为其他事所烦扰,你不会后悔的。简而言之,IPyNB是一个通过浏览器访问的Python shell。它允许你混合编辑代码、文本和图形(甚至是交互对象)。本文就是在IPyNB中完成的。在Python的会议中,几乎所有的演讲都使用IPython Notebook。Anaconda中预装了IPyNB,可以直接使用。下面看下它是什么样的:

In [1]:

print('Hello World')
Hello World

IPyNB发展很快——每次在会议中听(IPyNB的)核心开发人员演讲时,我总被他们想出的新功能所震撼。要了解它的一些先进功能,可以看看下面这个关于IPython小工具的简短教程。这些小工具可以让你使用滑动条交互地控制绘图:

In [1]:
 

from IPython.display import YouTubeVideo
YouTubeVideo('wxVx54ax47s') # 没错,它也可以嵌入youtube视频

Out[1]:
6. IPython Widgets ? IPython Notebook Tutorial
Pandas

通常,大家会建议你先学习NumPy(读作num-pie,不是num-pee),一个支持多维数组的库。几年前肯定得这样,但现在我几乎不使用NumPy。因为NumPy越来越成为一个被其他库所使用核心库,这些库通常具有更优雅的接口。因此,Pandas成为了处理数据所主要使用的库。它可以以各种格式(包括数据库)输入输出数据、执行join以及其他SQL类似的功能来重塑数据、熟练地处理缺失值、支持时间序列、拥有基本绘图功能和统计功能,等等还有很多。对它所有的特性来说,肯定有一个学习曲线,但我强烈去建议你先看一下大部分文档。你所投入的时间将使你的数据再加工过程更高效,这会带来上千倍的回报。这里有一些快速技巧会让你胃口大开的:
In [18]:
 

import pandas as pd
 
df = pd.DataFrame({ 'A' : 1.,
          'B' : pd.Timestamp('20130102'),
          'C' : pd.Series(1, index=list(range(4)), dtype='float32'),
          'D' : pd.Series([1, 2, 1, 2], dtype='int32'),
          'E' : pd.Categorical(["test", "train", "test", "train"]),
          'F' : 'foo' })

In [19]:

Out[19]:

A B C D E F
0 1 2013-01-02 1 1 test foo
1 1 2013-01-02 1 2 train foo
2 1 2013-01-02 1 1 test foo
3 1 2013-01-02 1 2 train foo

可以通过列名来获取某一列:

In [17]:
 
df.B
Out[17]:
 
0  2013-01-02
1  2013-01-02
2  2013-01-02
3  2013-01-02
Name: B, dtype: datetime64[ns]
 
Compute the sum of D for each category in E:
按E分类,每类对D求和:
In [21]:
 
df.groupby('E').sum().D
Out[21]:
 
E
test   2
train  4
Name: D, dtype: int32

使用NumPy(或者笨重的Matlab)达到同样的目的会很麻烦。

还有非常多的用法。不相信的话可以看一下这个教程“10 minutes to pandas”。上面的例子也来自这个教程。
Seaborn

Matplotlib是Python主要的绘图库。但是,我不建议你直接使用它,原因与开始不推荐你使用NumPy是一样的。虽然Matplotlib很强大,它本身就很复杂,你的图经过大量的调整才能变精致。因此,作为替代,我推荐你一开始使用Seaborn。Seaborn本质上使用Matplotlib作为核心库(就像Pandas对NumPy一样)。我将简短地描述下seaborn的优点。具体来说,它可以:

  1.     默认情况下就能创建赏心悦目的图表。(只有一点,默认不是jet colormap)
  2.     创建具有统计意义的图
  3.     能理解pandas的DataFrame类型,所以它们一起可以很好地工作。

虽然anaconda预装了pandas,却没安装seaborn。可以通过conda install seaborn轻松地安装。
具有统计意义的图
In [5]:
 

%matplotlib inline # IPython magic to create plots within cells

In [7]:
 

import seaborn as sns
 
# Load one of the data sets that come with seaborn
tips = sns.load_dataset("tips")
 
sns.jointplot("total_bill", "tip", tips, kind='reg');

Python进行数据科学工作的简单入门教程

如你所见,仅通过一行代码,我们就创建了一个漂亮复杂的统计图,其中包含拥有置信区间的最拟合回归直线、边界图,以及相关系数。使用matplotlib重新绘制这幅图的话需要相当多的(丑陋)代码,包括调用scipy执行线性回归并手动利用线性回归方程绘制直线(我甚至想不出怎么在边界绘图,怎么计算置信区间)。上面和下面的例子都摘自教程“the tutorial on quantitative linear models”。
与Pandas的DataFrame很好地工作

数据有自己的结构。通常我们感兴趣的包含不同的组或类(这种情况下使用pandas中groupby的功能会让人感到很神奇)。比如tips(小费)的数据集是这样的:
In [9]:
 

tips.head()
Out[9]:
 total_bill tip sex smoker day time size
0 16.99 1.01 Female No Sun Dinner 2
1 10.34 1.66 Male No Sun Dinner 3
2 21.01 3.50 Male No Sun Dinner 3
3 23.68 3.31 Male No Sun Dinner 2
4 24.59 3.61 Female No Sun Dinner 4

我们可能想知道吸烟者给的小费是否与不吸烟的人不同。没有seaborn的话,这需要使用pandas的groupby功能,并通过复杂的代码绘制线性回归直线。使用seaborn的话,我们可以给col参数提供列名,按我们的需要划分数据:
In [11]:
 

sns.lmplot("total_bill", "tip", tips, col="smoker");

Python进行数据科学工作的简单入门教程

很整洁吧?

随着你研究得越深,你可能想更细粒度地控制这些图表的细节。因为seaborn只是调用了matplotlib,那时你可能会想学习这个库。然而,对绝大部分工作来说我还是喜欢使用seaborn。
总结

这篇文章的想法是通过提供部分包来最大化新手使用Python处理数据科学的效率。

Python 相关文章推荐
python写的一个文本编辑器
Jan 23 Python
django模型中的字段和model名显示为中文小技巧分享
Nov 18 Python
简单说明Python中的装饰器的用法
Apr 24 Python
python的else子句使用指南
Feb 27 Python
利用python打印出菱形、三角形以及矩形的方法实例
Aug 08 Python
Python Grid使用和布局详解
Jun 30 Python
Python lxml解析HTML并用xpath获取元素的方法
Jan 02 Python
Python datetime 格式化 明天,昨天实例
Mar 02 Python
TensorFlow打印输出tensor的值
Apr 19 Python
用python实现学生管理系统
Jul 24 Python
Python3.9新特性详解
Oct 10 Python
Python四款GUI图形界面库介绍
Jun 05 Python
10个易被忽视但应掌握的Python基本用法
Apr 01 #Python
用Python制作检测Linux运行信息的工具的教程
Apr 01 #Python
用Python的pandas框架操作Excel文件中的数据教程
Mar 31 #Python
Python实现国外赌场热门游戏Craps(双骰子)
Mar 31 #Python
通过代码实例展示Python中列表生成式的用法
Mar 31 #Python
使用Python实现一个简单的项目监控
Mar 31 #Python
详解Python中内置的NotImplemented类型的用法
Mar 31 #Python
You might like
PHP include_path设置技巧分享
2011/07/03 PHP
一个典型的PHP分页实例代码分享
2011/07/28 PHP
thinkphp命名空间用法实例详解
2015/12/30 PHP
Cookie跨域问题解决方案代码示例
2020/11/24 PHP
JQuery SELECT单选模拟jQuery.select.js
2009/11/12 Javascript
js 设置选中行的样式的实现代码
2010/05/24 Javascript
浏览器解析js生成的html出现样式问题的解决方法
2012/04/16 Javascript
js内存泄露的几种情况详细探讨
2013/05/31 Javascript
在js文件中写el表达式取不到值的原因及解决方法
2013/12/23 Javascript
javascript判断变量是否有值的方法
2015/04/20 Javascript
vue2.0开发实践总结之入门篇
2016/12/06 Javascript
快速入门Vue
2016/12/19 Javascript
jQuery ajax的功能实现方法详解
2017/01/06 Javascript
浅谈Vue数据响应思路之数组
2018/11/06 Javascript
Node.js如何对SQLite的async/await封装详解
2019/02/14 Javascript
微信小程序上传多图到服务器并获取返回的路径
2019/05/05 Javascript
jQuery操作attr、prop、val()/text()/html()、class属性
2019/05/23 jQuery
redux.js详解及基本使用
2019/05/24 Javascript
纯 JS 实现放大缩小拖拽功能(完整代码)
2019/11/25 Javascript
微信浏览器左上角返回按钮监听的实现
2020/03/04 Javascript
深入浅析JavaScript中的in关键字和for-in循环
2020/04/20 Javascript
vue递归获取父元素的元素实例
2020/08/07 Javascript
Python基于递归算法实现的走迷宫问题
2017/08/04 Python
解决每次打开pycharm直接进入项目的问题
2018/10/28 Python
Python列表与元组的异同详解
2019/07/02 Python
Pytorch中实现只导入部分模型参数的方式
2020/01/02 Python
Python有参函数使用代码实例
2020/01/06 Python
英国最大的奢侈珠宝和手表网站:C W Sellors
2017/02/10 全球购物
Bibloo罗马尼亚网站:女装、男装、童装及鞋子和配饰
2019/07/20 全球购物
预备党员综合考察材料
2014/05/31 职场文书
关于感恩的演讲稿800字
2014/08/26 职场文书
2014年教师党员自我评价范文
2014/09/22 职场文书
2015暑期社会实践通讯稿
2015/07/18 职场文书
PostgreSQL通过oracle_fdw访问Oracle数据的实现步骤
2021/05/21 PostgreSQL
sql查询结果列拼接成逗号分隔的字符串方法
2021/05/25 SQL Server
解决Python中的modf()函数取小数部分不准确问题
2021/05/28 Python