python实现稀疏矩阵示例代码


Posted in Python onJune 09, 2017

工程实践中,多数情况下,大矩阵一般都为稀疏矩阵,所以如何处理稀疏矩阵在实际中就非常重要。本文以Python里中的实现为例,首先来探讨一下稀疏矩阵是如何存储表示的。

1.sparse模块初探

python中scipy模块中,有一个模块叫sparse模块,就是专门为了解决稀疏矩阵而生。本文的大部分内容,其实就是基于sparse模块而来的。

第一步自然就是导入sparse模块

>>> from scipy import sparse

然后help一把,先来看个大概

>>> help(sparse)

直接找到我们最关心的部分:

Usage information
  =================

  There are seven available sparse matrix types:

    1. csc_matrix: Compressed Sparse Column format
    2. csr_matrix: Compressed Sparse Row format
    3. bsr_matrix: Block Sparse Row format
    4. lil_matrix: List of Lists format
    5. dok_matrix: Dictionary of Keys format
    6. coo_matrix: COOrdinate format (aka IJV, triplet format)
    7. dia_matrix: DIAgonal format

  To construct a matrix efficiently, use either dok_matrix or lil_matrix.
  The lil_matrix class supports basic slicing and fancy
  indexing with a similar syntax to NumPy arrays. As illustrated below,
  the COO format may also be used to efficiently construct matrices.

  To perform manipulations such as multiplication or inversion, first
  convert the matrix to either CSC or CSR format. The lil_matrix format is
  row-based, so conversion to CSR is efficient, whereas conversion to CSC
  is less so.

  All conversions among the CSR, CSC, and COO formats are efficient,
  linear-time operations.

通过这段描述,我们对sparse模块就有了个大致的了解。sparse模块里面有7种存储稀疏矩阵的方式。接下来,我们对这7种方式来做个一一介绍。

2.coo_matrix

coo_matrix是最简单的存储方式。采用三个数组row、col和data保存非零元素的信息。这三个数组的长度相同,row保存元素的行,col保存元素的列,data保存元素的值。一般来说,coo_matrix主要用来创建矩阵,因为coo_matrix无法对矩阵的元素进行增删改等操作,一旦矩阵创建成功以后,会转化为其他形式的矩阵。

>>> row = [2,2,3,2]
>>> col = [3,4,2,3]
>>> c = sparse.coo_matrix((data,(row,col)),shape=(5,6))
>>> print c.toarray()
[[0 0 0 0 0 0]
 [0 0 0 0 0 0]
 [0 0 0 5 2 0]
 [0 0 3 0 0 0]
 [0 0 0 0 0 0]]

稍微需要注意的一点是,用coo_matrix创建矩阵的时候,相同的行列坐标可以出现多次。矩阵被真正创建完成以后,相应的坐标值会加起来得到最终的结果。

3.dok_matrix与lil_matrix

dok_matrix和lil_matrix适用的场景是逐渐添加矩阵的元素。doc_matrix的策略是采用字典来记录矩阵中不为0的元素。自然,字典的key存的是记录元素的位置信息的元祖,value是记录元素的具体值。

>>> import numpy as np
>>> from scipy.sparse import dok_matrix
>>> S = dok_matrix((5, 5), dtype=np.float32)
>>> for i in range(5):
...   for j in range(5):
...       S[i, j] = i + j
...
>>> print S.toarray()
[[ 0. 1. 2. 3. 4.]
 [ 1. 2. 3. 4. 5.]
 [ 2. 3. 4. 5. 6.]
 [ 3. 4. 5. 6. 7.]
 [ 4. 5. 6. 7. 8.]]

lil_matrix则是使用两个列表存储非0元素。data保存每行中的非零元素,rows保存非零元素所在的列。这种格式也很适合逐个添加元素,并且能快速获取行相关的数据。

>>> from scipy.sparse import lil_matrix
>>> l = lil_matrix((6,5))
>>> l[2,3] = 1
>>> l[3,4] = 2
>>> l[3,2] = 3
>>> print l.toarray()
[[ 0. 0. 0. 0. 0.]
 [ 0. 0. 0. 0. 0.]
 [ 0. 0. 0. 1. 0.]
 [ 0. 0. 3. 0. 2.]
 [ 0. 0. 0. 0. 0.]
 [ 0. 0. 0. 0. 0.]]
>>> print l.data
[[] [] [1.0] [3.0, 2.0] [] []]
>>> print l.rows
[[] [] [3] [2, 4] [] []]

由上面的分析很容易可以看出,上面两种构建稀疏矩阵的方式,一般也是用来通过逐渐添加非零元素的方式来构建矩阵,然后转换成其他可以快速计算的矩阵存储方式。

4.dia_matrix

这是一种对角线的存储方式。其中,列代表对角线,行代表行。如果对角线上的元素全为0,则省略。

如果原始矩阵是个对角性很好的矩阵那压缩率会非常高。

找了网络上的一张图,大家就很容易能看明白其中的原理。

python实现稀疏矩阵示例代码

5.csr_matrix与csc_matrix

csr_matrix,全名为Compressed Sparse Row,是按行对矩阵进行压缩的。CSR需要三类数据:数值,列号,以及行偏移量。CSR是一种编码的方式,其中,数值与列号的含义,与coo里是一致的。行偏移表示某一行的第一个元素在values里面的起始偏移位置。

同样在网络上找了一张图,能比较好反映其中的原理。

python实现稀疏矩阵示例代码

看看在python里怎么使用:

>>> from scipy.sparse import csr_matrix
>>> indptr = np.array([0, 2, 3, 6])
>>> indices = np.array([0, 2, 2, 0, 1, 2])
>>> data = np.array([1, 2, 3, 4, 5, 6])
>>> csr_matrix((data, indices, indptr), shape=(3, 3)).toarray()
array([[1, 0, 2],
    [0, 0, 3],
    [4, 5, 6]])

怎么样,是不是也不是很难理解。

我们再看看文档中是怎么说的

Notes
 | -----
 |
 | Sparse matrices can be used in arithmetic operations: they support
 | addition, subtraction, multiplication, division, and matrix power.
 |
 | Advantages of the CSR format
 |  - efficient arithmetic operations CSR + CSR, CSR * CSR, etc.
 |  - efficient row slicing
 |  - fast matrix vector products
 |
 | Disadvantages of the CSR format
 |  - slow column slicing operations (consider CSC)
 |  - changes to the sparsity structure are expensive (consider LIL or DOK)

不难看出,csr_matrix比较适合用来做真正的矩阵运算。

至于csc_matrix,跟csr_matrix类似,只不过是基于列的方式压缩的,不再单独介绍。

6.bsr_matrix

Block Sparse Row format,顾名思义,是按分块的思想对矩阵进行压缩。

python实现稀疏矩阵示例代码

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python深入学习之闭包
Aug 31 Python
python实现忽略大小写对字符串列表排序的方法
Sep 25 Python
python中matplotlib的颜色及线条控制的示例
Mar 16 Python
Django保护敏感信息的方法示例
May 09 Python
python实现切割url得到域名、协议、主机名等各个字段的例子
Jul 25 Python
关于Python中的向量相加和numpy中的向量相加效率对比
Aug 26 Python
python常用排序算法的实现代码
Nov 08 Python
python隐藏类中属性的3种实现方法
Dec 19 Python
Jupyter Notebook 实现正常显示中文和负号
Apr 24 Python
使用Python合成图片的实现代码(图片添加个性化文本,图片上叠加其他图片)
Apr 30 Python
pycharm Tab键设置成4个空格的操作
Feb 26 Python
Python爬虫基础之初次使用scrapy爬虫实例
Jun 26 Python
Python实现数据库并行读取和写入实例
Jun 09 #Python
详解python之多进程和进程池(Processing库)
Jun 09 #Python
Python使用django搭建web开发环境
Jun 09 #Python
Python实现删除文件中含“指定内容”的行示例
Jun 09 #Python
Python实现两个list对应元素相减操作示例
Jun 09 #Python
Python实现向服务器请求压缩数据及解压缩数据的方法示例
Jun 09 #Python
python爬虫框架talonspider简单介绍
Jun 09 #Python
You might like
比较简单的百度网盘文件直链PHP代码
2013/03/24 PHP
如何使用PHP对网站验证码进行破解
2015/09/17 PHP
比较完整的微信开发php代码
2016/08/02 PHP
用PHP去掉文件头的Unicode签名(BOM)方法
2017/06/22 PHP
PHP数组访问常用方法解析
2020/09/05 PHP
javascript 面向对象编程基础 多态
2009/08/21 Javascript
function foo的原型与prototype属性解惑
2010/11/19 Javascript
修复IE9&safari 的sort方法
2011/10/21 Javascript
window.open()详解及浏览器兼容性问题示例探讨
2014/05/29 Javascript
js淡入淡出的图片轮播效果代码分享
2015/08/24 Javascript
jQuery遍历DOM元素与节点方法详解
2016/04/14 Javascript
JS中常用的输出方式(五种)
2016/06/12 Javascript
DropDownList实现可输入可选择(两种版本可选)
2016/12/07 Javascript
Websocket协议详解及简单实例代码
2016/12/12 Javascript
JQueryMiniUI按照时间进行查询的实现方法
2017/06/07 jQuery
JS中type="button"和type="submit"的区别
2017/07/04 Javascript
vue 实现搜索的结果页面支持全选与取消全选功能
2019/05/10 Javascript
JS实现排行榜文字向上滚动轮播效果
2019/11/26 Javascript
解决element-ui里的下拉多选框 el-select 时,默认值不可删除问题
2020/08/14 Javascript
[27:02]2014 DOTA2国际邀请赛中国区预选赛 5 23 CIS VS LGD第三场
2014/05/24 DOTA
[03:49]显微镜下的DOTA2第十五期—VG登基之路完美团
2014/06/24 DOTA
[01:07:15]DOTA2-DPC中国联赛 正赛 DLG vs XG BO3 第二场 1月25日
2021/03/11 DOTA
python模拟登陆,用session维持回话的实例
2018/12/27 Python
win8.1安装Python 2.7版环境图文详解
2019/07/01 Python
python定义类self用法实例解析
2020/01/22 Python
python的sys.path模块路径添加方式
2020/03/09 Python
python 异步async库的使用说明
2020/05/04 Python
Python turtle库的画笔控制说明
2020/06/28 Python
纯CSS3打造属于自己的“小黄人”
2016/03/14 HTML / CSS
办公室内勤岗位职责范本
2013/12/09 职场文书
教师的实习鉴定
2013/12/15 职场文书
小学中秋节活动方案
2014/02/06 职场文书
《最佳路径》教学反思
2014/04/13 职场文书
课前三分钟演讲稿
2014/04/24 职场文书
公司优秀员工获奖感言
2014/08/14 职场文书
青春励志演讲稿范文
2014/08/25 职场文书