Python统计单词出现的次数


Posted in Python onApril 04, 2018

题目:

统计一个文件中每个单词出现的次数,列出出现频率最多的5个单词。

前言:

这道题在实际应用场景中使用比较广泛,比如统计历年来四六级考试中出现的高频词汇,记得李笑来就利用他的编程技能出版过一本背单词的畅销书,就是根据词频来记单词,深受学生喜欢。这就是一个把编程技能用来解决实际问题的典型场景。另外,在数据分析时,那些词云效果本质上都是基于词频统计来调整字体的大小,如果你能熟练运用Python中的知识来解决问题的话,说明你真的入门Python了。

分析

本题主要考察以下几个方面的知识点:

1、如何正确读写文件

在python中读写文件可以使用内置函数open(),而 open 函数在python2 和 python3 中有一定的区别,比如 Python 中可以指定读写文件的编码格式,而 Python 则不可以,为了同时兼容2和3,我们通常会使用io模块下面的 open 函数,大家可以查文档搞清楚它们之间的区别,培养主动学习能力和查资料的习惯。

另外一点是读写文件完成之后是需要关闭文件描述符的,除了可以使用 try...except...finally的语法之后,我们还可以使用更优雅的 with … as 的语法来自动关闭文件。

2、如何对数据进行排序

sorted函数是一个使用频率很高的内置函数,它的用法也很强大,因为它可以通过指定参数 key 来进行自定义排序,也就意味着你不仅可以对数字排序、对字母排序、还可以对列表、字典、自定义的对象进行排序,你只需要要告诉 sorted 函数的排序规则是什么,比如一个people对象,我既可以根据年龄排序也可以根据身高体重来排序,所以这个函数时非常灵活的,另外,对于列表对象有自带的 sort 方法,如果能区分清楚 list.sort 与 sorted 之间区别那说明你已经能灵活运用了。

3、字典数据类型的运用

做词频统计,用字典无疑是最合适的数据类型,单词作为字典的key, 单词出现的次数作为字典的 value,很方便地就记录好了每个单词的频率,字典很像我们的电话本,每个名字关联一个电话号码。另外,字典最大的特点就是它的查询速度会非常快。理想情况下时间复杂度为O(1),我是说理想情况,如果你想深入了解字典的话,建议看看这篇文章 https://www.laurentluce.com/posts/python-dictionary-implementation/

4、正则表达式的运用

对文本、字符串处理,正则表达式简直是神器,无论是做数据爬虫还是数据清洗使用非常广泛,当然,正则表达式并不是Python特有的东西,所有编程语言都支持,我们要做的除了学习正则表达式还有他的API,只有熟悉了API我们才能运用到实际场景中去。关于正则表达式推荐一篇文章:http://www.cnblogs.com/huxi/archive/2010/07/04/1771073.html ,另外我还发现有同学引入了jieba分词库,这个库在做中文分词非常有用,感兴趣的可以去了解一下。

实现

分析完之后,我们实现起来其实是非常快的。所以我们在拿到一个需求的时候,首先肯定是把需求弄清楚,想想大概可以用哪些技术来实现,随后才是动手写代码,其实我们在工作上,真正写代码的时间还不到一半。

# -*- coding:utf-8 -*-
import io
import re
class Counter:
 def __init__(self, path):
 """
 :param path: 文件路径
 """
 self.mapping = dict()
 with io.open(path, encoding="utf-8") as f:
  data = f.read()
  words = [s.lower() for s in re.findall("\w+", data)]
  for word in words:
  self.mapping[word] = self.mapping.get(word, 0) + 1
 def most_common(self, n):
 assert n > 0, "n should be large than 0"
 return sorted(self.mapping.items(), key=lambda item: item[1], reverse=True)[:n]
if __name__ == '__main__':
 most_common_5 = Counter("importthis.txt").most_common(5)
 for item in most_common_5:
 print(item)

打印结果:

('is', 10)
('better', 8)
('than', 8)
('the', 6)
('to', 5)

总结

我在看大家代码的时候,很多代码依然存在有命名不规范(建议读PEP8),代码的排版混乱(阅读起来很困难,建议用Pycharm进行格式化)。还有不少代码的实现方式看起来很复杂(往往越复杂的代码Bug越多)。当然,实现方法不是唯一。

比如Python模块本身就提供了一个collections.Counter的类,它继承自dict类,就是用于做统计的,我发现有部分同学使用的就是这个类来实现的,细心的你可能发现了,我实现的这个Counter和collections下面那个Counter很像,其实这就是造轮子,造轮子可以锻炼我们的编程思维,当然在工作上有现成的东西就没必要自己造轮子了,除非你有信心做得更好。你也可以思考思考,假如Python没有提供Counter这个工具,你该怎么做。

另外,该模块还提供一个有序的字典对象 OrderedDict,使用它可以免去我们手动排序的操作。最后建议大家学习总结上面我提到的所有内容。如果你能坚持100天,相信你对Python的掌握程度是游刃有余的。

以上所述是小编给大家介绍的Python统计单词出现的次数,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
浅谈Python生成器generator之next和send的运行流程(详解)
May 08 Python
python中日志logging模块的性能及多进程详解
Jul 18 Python
numpy使用技巧之数组过滤实例代码
Feb 03 Python
Python使用requests提交HTTP表单的方法
Dec 26 Python
Django渲染Markdown文章目录的方法示例
Jan 02 Python
Python OOP类中的几种函数或方法总结
Feb 22 Python
pandas 空数据处理方法详解
Nov 02 Python
Python 调用有道翻译接口实现翻译
Mar 02 Python
详解Django中views数据查询使用locals()函数进行优化
Aug 24 Python
简单的命令查看安装的python版本号
Aug 28 Python
虚拟环境及venv和virtualenv的区别说明
Feb 05 Python
如何用Python编写一个电子考勤系统
Feb 08 Python
高效使用Python字典的清单
Apr 04 #Python
Python的numpy库中将矩阵转换为列表等函数的方法
Apr 04 #Python
python 列表,数组,矩阵两两转换tolist()的实例
Apr 04 #Python
使用Python设计一个代码统计工具
Apr 04 #Python
用 Python 连接 MySQL 的几种方式详解
Apr 04 #Python
Python基于辗转相除法求解最大公约数的方法示例
Apr 04 #Python
对numpy中数组元素的统一赋值实例
Apr 04 #Python
You might like
在PHP的图形函数中显示汉字
2006/10/09 PHP
PHP 多进程与信号中断实现多任务常驻内存管理实例方法
2019/10/04 PHP
AutoSave/自动存储功能实现
2007/03/24 Javascript
JavaScript 继承的实现
2009/07/09 Javascript
深入理解Javascript作用域与变量提升
2013/12/09 Javascript
nodejs 实现模拟form表单上传文件
2014/07/14 NodeJs
Query常用DIV操作获取和设置长度宽度的实现方法
2016/09/19 Javascript
jQuery插件ajaxFileUpload使用实例解析
2016/10/19 Javascript
Bootstrap基本插件学习笔记之Popover提示框(19)
2016/12/08 Javascript
搭建element-ui的Vue前端工程操作实例
2018/02/23 Javascript
vue mint-ui tabbar变组件使用
2018/05/04 Javascript
promise和co搭配生成器函数方式解决js代码异步流程的比较
2018/05/25 Javascript
Bootstrap开发中Tab标签页切换图表显示问题的解决方法
2018/07/13 Javascript
vue 点击按钮实现动态挂载子组件的方法
2018/09/07 Javascript
vue 实现tab切换保持数据状态
2020/07/21 Javascript
[09:40]DAC2018 4.5 SOLO赛 MidOne vs Miracle
2018/04/06 DOTA
[01:00:59]VP VS VG Supermajor小组赛胜者组第二轮 BO3第二场 6.2
2018/06/03 DOTA
python 调用HBase的简单实例
2016/12/18 Python
用生成器来改写直接返回列表的函数方法
2017/05/25 Python
python实现邮件自动发送
2019/08/10 Python
如何分离django中的媒体、静态文件和网页
2019/11/12 Python
Python turtle画图库&&画姓名实例
2020/01/19 Python
python 读取串口数据的示例
2020/11/09 Python
CSS3中box-shadow的用法介绍
2015/07/15 HTML / CSS
Too Faced官网:美国知名彩妆品牌
2017/03/07 全球购物
销售主管的自我评价分享
2014/01/03 职场文书
探矿工程师自荐信
2014/01/24 职场文书
新闻专业毕业生英文求职信
2014/03/19 职场文书
乡镇网格化管理实施方案
2014/03/23 职场文书
优秀团员事迹材料
2014/12/25 职场文书
求职自荐信范文(优秀篇)
2015/03/27 职场文书
停电调休通知
2015/04/16 职场文书
2015年学校德育工作总结
2015/04/22 职场文书
健身房被搭讪?用python写了个小米计时器助人为乐
2021/06/08 Python
MySQL 那些常见的错误设计规范,你都知道吗
2021/07/16 MySQL
python对文档中元素删除,替换操作
2022/04/02 Python