Python常用数据分析模块原理解析


Posted in Python onJuly 20, 2020

前言

python是一门优秀的编程语言,而是python成为数据分析软件的是因为python强大的扩展模块。也就是这些python的扩展包让python可以做数据分析,主要包括numpy,scipy,pandas,matplotlib,scikit-learn等等诸多强大的模块,在结合上ipython交互工具 ,以及python强大的爬虫数据获取能力,字符串处理能力,让python成为完整的数据分析工具。

Python常用数据分析模块原理解析

numpy

官网:https://www.scipy.org/

NumPy(Numerical Python的简称)是高性能科学计算和数据分析的基础包。NumPy最重要的一个特点就是其N维数组对象(即ndarray),该对象是一个快速而灵活的大数据集容器。可以利用这种数组对整块数据执行一些数学运算,比python自带的数组以及元组效率更高,其语法跟变量元素之间的运算一样,无需进行循环操作。

在使用python进行数据分析的过程中,我们大部分时候是不会直接使用numpy包,而是其他包要用到numpy。可以说numpy是整个python数据分析工作的基石。

举个简单的案例,我们要计算100000个随机数的值,如果传统编程需要写循环,用了2.2s,而使用numpy数据结构,则可以进行向量化操作,无需循环,只需要28.2ms节约大量时间。

In [1]: import numpy
In [2]: my_arr = np.arange(1000000)
In [3]: my_list = list(range(1000000))
In [4]: %time for _ in range(10): my_arr2 = my_arr * 2
Wall time: 28.2 ms
In [5]: %time for _ in range(10): my_list2 = [x * 2 for x in my_list]
Wall time: 2.2 s

pandas

官网:https://pandas.pydata.org/

Python Data Analysis Library,可根据需要帮助组织各种参数的数据。pandas基于numpy底层数据结构。让python成为类似Excel,R等统计学软件,主要就是pandas的功劳。pandas在python中实现了各种数据的计算 ,分组计算,添加删除,排序,筛选,抽样等都能工作。使Pandas成为数据科学家中最受欢迎的库。

pandas主要包含两种数据结构:Series与DataFrame。Series是一种类似于以为数组的对象,它由一组数据以及与之相关的数据标签组成,仅有一组数据即可产生最简单的Series。Series类似于R中的向量,属于以为数据。Series可以构成二维的DataFrame。行为记录值,列为观测值。如果熟悉R中的数据框DataFrame,在使用pandas则会轻松上手,因为作者自己说pandas的DataFrame就是模仿R的数据框。

scipy

官网:https://www.scipy.org/

scipy是一个用于数学、科学、工程领域的常用软件包,可以处理插值、积分、优化、图像处理、常微分方程数值解的求解、信号处理等问题。它用于有效计算Numpy矩阵,使Numpy和Scipy协同工作,高效解决问题。
Scipy是由针对特定任务的子模块组成:

Python常用数据分析模块原理解析

matplotlib

官网:https://matplotlib.org/

matplotlib是python中优秀的数据可视化的包,根据命名就可以看到,它其实是一个matlib的plot库,也就是利用python将matlib的绘图功能实现了一遍。如果你熟悉matlib绘图,那么将直接上手。matplotlib是Python编程语言及其数值数学扩展包 NumPy的可视化操作界面。它为利用通用的图形用户界面工具包,如Tkinter, wxPython, Qt或GTK+向应用程序嵌入式绘图提供了应用程序接口(API)。

plotnine

官网:https://plotnine.readthedocs.io/en/stable/

如果你不熟悉matlib,而是从R转到python,可能不太喜欢matplotlib的绘图模式和风格,觉得不如R绘图方便。而且R还有ggplot2包。那么plotnine则是将ggplot2移植到python上,在python上完全重现ggplot2的功能。如果你熟悉ggplot2的语法,直接上手。不过,我倒是觉得这个工作意义不大,这属于重新发明轮子,后面如果ggplot2在更新了,二者之间还是会有一些差别,用户会有些困扰。当然,这样的问题仁者见仁,愚者见愚。聊胜于无,如果想在 python环境中完成全部工作,有了这个包还是非常不错的。

Python常用数据分析模块原理解析

scikit-learn

官网:https://scikit-learn.org/stable/

有很多人不是天天喜欢三句话不离大数据,机器学习,人工智能吗。那么scikit-learn则是完成python大数据机器学习的包。scikit-Learn是python数据分析中非常重要的一个模块,它是一个基于NumPy和SciPy构建的开源机器学习工具包。 它具有常用的ML算法,可用于预处理,分类,回归以及聚类。算法包括[支持向量机]( support vector machines,ridge回归, 网格搜索算法(Grid Search algorithm) ,k均值聚类等等。另外还有样本数据集。API易学易用。 在几乎所有平台上的良好性能,它在学术和商业用途中都很受欢迎。

Python常用数据分析模块原理解析

其他:

除了以上包之外,python还有很多很多其他有关数据分析的包,不胜枚举,比如图片识别的opencv,google机器学习开源库tensorflow,PyTorch等等,一个崭新的世界等待你去发现。但是前提是前面基础这些包熟悉了,以及有最核心的计算机以及统计学基础,否则就是无水之源,无木之本,你所谓的人工智能,只能是人工智障。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
复习Python中的字符串知识点
Apr 14 Python
Python验证企业工商注册码
Oct 25 Python
python shell根据ip获取主机名代码示例
Nov 25 Python
Python多线程threading和multiprocessing模块实例解析
Jan 29 Python
Django中ORM外键和表的关系详解
May 20 Python
pytorch 在网络中添加可训练参数,修改预训练权重文件的方法
Aug 17 Python
python 监测内存和cpu的使用率实例
Nov 28 Python
python enumerate内置函数用法总结
Jan 07 Python
解决paramiko执行命令超时的问题
Apr 16 Python
Python基于正则表达式实现计算器功能
Jul 13 Python
python如何调用百度识图api
Sep 29 Python
使用pandas或numpy处理数据中的空值(np.isnan()/pd.isnull())
May 14 Python
Python+Kepler.gl实现时间轮播地图过程解析
Jul 20 #Python
用pandas划分数据集实现训练集和测试集
Jul 20 #Python
Python数据可视化实现漏斗图过程图解
Jul 20 #Python
浅谈pandas dataframe对除数是零的处理
Jul 20 #Python
为什么说python更适合树莓派编程
Jul 20 #Python
Python faker生成器生成虚拟数据代码实例
Jul 20 #Python
Python DataFrame使用drop_duplicates()函数去重(保留重复值,取重复值)
Jul 20 #Python
You might like
php smarty truncate UTF8乱码问题解决办法
2014/06/13 PHP
PHP实现在线阅读PDF文件的方法
2015/06/23 PHP
PHP中使用curl伪造IP的简单方法
2015/08/07 PHP
PHP新特性之字节码缓存和内置服务器
2017/08/11 PHP
PHP实现的多进程控制demo示例
2019/07/22 PHP
PHP面向对象程序设计中的self、static、parent关键字用法分析
2019/08/14 PHP
PHP cookie与session会话基本用法实例分析
2019/11/18 PHP
谈谈关于JavaScript 中的 MVC 模式
2013/04/11 Javascript
jquery实现图片滚动效果的简单实例
2013/11/23 Javascript
深入理解javascript中的立即执行函数(function(){…})()
2014/06/12 Javascript
jQuery中:last-child选择器用法实例
2014/12/31 Javascript
基于jQuery实现带动画效果超炫酷的弹出对话框(附源码下载)
2016/02/22 Javascript
jQuery表格插件datatables用法汇总
2016/03/29 Javascript
js实现PC端和移动端刮卡效果
2020/03/27 Javascript
javascript 中select框触发事件过程的分析
2017/08/01 Javascript
对vue事件的延迟执行实例讲解
2018/08/28 Javascript
Vue框架TypeScript装饰器使用指南小结
2019/02/18 Javascript
Python自定义函数的创建、调用和函数的参数详解
2014/03/11 Python
全面理解Python中self的用法
2016/06/04 Python
Python3基于sax解析xml操作示例
2018/05/22 Python
python+numpy+matplotalib实现梯度下降法
2018/08/31 Python
基于wxPython的GUI实现输入对话框(1)
2019/02/27 Python
PyInstaller运行原理及常用操作详解
2020/06/13 Python
如何在python中处理配置文件代码实例
2020/09/27 Python
scrapy在python爬虫中搭建出错的解决方法
2020/11/22 Python
英国户外玩具儿童游乐设备网站:TP Toys(蹦床、攀爬框架、秋千、滑梯和游戏屋)
2018/04/09 全球购物
List, Set, Map是否继承自Collection接口?
2016/05/16 面试题
为什么说Ruby是一种真正的面向对象程序设计语言
2012/10/30 面试题
YII2 全局异常处理深入讲解
2021/03/24 PHP
办公室主任岗位竞聘书
2015/09/15 职场文书
52条SQL语句教你性能优化
2021/05/25 MySQL
仅用几行Python代码就能复制她的U盘文件?
2021/06/26 Python
MySQL中varchar和char类型的区别
2021/11/17 MySQL
MongoDB支持的数据类型
2022/04/11 MongoDB
动作冒险《Hell Is Us》将采用虚幻5 消灭怪物探索王国
2022/04/13 其他游戏
Golang map映射的用法
2022/04/22 Golang