python 中的jieba分词库


Posted in Python onNovember 23, 2021
jieba 库是优秀的中文分词第三方库,中文文本需要通过分词获得单个的词语

1、jieba库安装

管理员身份运行cmd窗口输入命令:pip install jieba

2、jieba库功能介绍

特征:
支持三种分词模式:
精确模式:试图将句子最精确地切开,适合文本分析
全模式:把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义
搜索引擎模式:在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词
  • 支持繁体分词
  • 支持自定义词典
分词功能:
jieba.cutjieba.lcut 方法接受两个传入参数:
  • 第一个参数为需要分词的字符串
  • cut_all参数用来控制是否采用全模式
lcut 将返回的对象转化为 list 对象返回
jieba.cut_for_search 和 jieba.lcut_for_search 方法接受一个参数
  • 需要分词的字符串
该方法适合用于搜索引擎构建倒排索引的分词,颗粒度较细
jieba.lcut_for_search 方法返回列表类型
添加自定义词典:
开发者可以指定自己自定义的词典,以便包含jieba词库里没有的词。虽然jieba有新词识别能力,但是自行添加新词可以保证更高的正确率
用法:
使用自定义词典文件:
jieba.load_userdict(file_name) # file_name 是自定义词典的路径
使用jieba在程序中动态修改词典:
jieba.add_word(new_words) # new_words 是想要添加的新词
jieba.del_word(words) # 删除words
关键词提取:
jieba.analyse.extract_tags(sentence,topK) #需要先import jieba.analyse
sentence 为待提取的文本
topK 为返回几个TF/IDF权重最大的关键词,默认是20
词性标注:
jieba.posseg.POSTokenizer(tokenizer=None) 新建自定义分词器,tokenizer参数可指定内部使用的jieba.Tokenizer 分词
jieba.posseg.dt 为默认词性标注分词器
标注句子分词后每个词的词性,采用和ictclas兼容的标记法

3、案例

3.1、精确模式

import jieba
list1 = jieba.lcut("中华人民共和国是一个伟大的国家")
print(list1)
print("精确模式:"+"/".join(list1))

3.2、全模式

list2 = jieba.lcut("中华人民共和国是一个伟大的国家",cut_all = True)
print(list2,end=",")
print("全模式:"+"/".join(list2))

3.3、搜索引擎模式

list3 = jieba.lcut_for_search("中华人民共和国是一个伟大的国家")
print(list3)
print("搜索引擎模式:"+"  ".join(list3))

3.4、修改词典

 
import jieba
text = "中信建投投资公司了一款游戏,中信也投资了一个游戏公司"
word = jieba.lcut(text)
print(word)
# 添加词
jieba.add_word("中信建投")
jieba.add_word("投资公司")
word1 = jieba.lcut(text)
print(word1)
# 删除词
jieba.del_word("中信建投")
word2 = jieba.lcut(text)
print(word2)

3.5、词性标注

import jieba.posseg as pseg
words = pseg.cut("我爱北京天安门")
for i in words:
print(i.word,i.flag)

3.6、统计三国演义中人物出场的次数

三演义文本下载:
import  jieba
txt = open("文件路径", "r", encoding='utf-8').read()    # 打开并读取文件
words = jieba.lcut(txt)     # 使用精确模式对文本进行分词
counts = {}     # 通过键值对的形式存储词语及其出现的次数
for word in words:
    if  len(word) == 1:    # 单个词语不计算在内
        continue
    else:
        counts[word] = counts.get(word, 0) + 1    # 遍历所有词语,每出现一次其对应的值加 1   
items = list(counts.items())     #将键值对转换成列表
items.sort(key=lambda x: x[1], reverse=True)    # 根据词语出现的次数进行从大到小排序 
for i in range(15):
    word, count = items[i]
    print("{0:<10}{1:>5}".format(word, count))
import jieba
excludes = {"将军","却说","荆州","二人","不可","不能","如此","如何"}
txt = open("三国演义.txt", "r", encoding='utf-8').read()
words  = jieba.lcut(txt)
counts = {}
for word in words:
    if len(word) == 1:
        continue
    elif word == "诸葛亮" or word == "孔明曰":
        rword = "孔明"
    elif word == "关公" or word == "云长":
        rword = "关羽"
    elif word == "玄德" or word == "玄德曰":
        rword = "刘备"
    elif word == "孟德" or word == "丞相":
        rword = "曹操"
    else:
        rword = word
        counts[rword] = counts.get(rword,0) + 1
    
for i in excludes:
    del counts[i]
    
items = list(counts.items())
items.sort(key=lambda x:x[1], reverse=True) 
for i in range(10):
    word, count = items[i]
    print ("{0:<10}{1:>5}".format(word, count)) 

到此这篇关于python 中的jieba分词库的文章就介绍到这了,更多相关python jieba分词库内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python scikit-learn 做线性回归的示例代码
Nov 01 Python
Python实现PS滤镜Fish lens图像扭曲效果示例
Jan 29 Python
Python常见字符串操作函数小结【split()、join()、strip()】
Feb 02 Python
PyQt5每天必学之创建窗口居中效果
Apr 19 Python
python 实现将字典dict、列表list中的中文正常显示方法
Jul 06 Python
Python爬虫之正则表达式基本用法实例分析
Aug 08 Python
pygame游戏之旅 python和pygame安装教程
Nov 20 Python
Python字符串逆序输出的实例讲解
Feb 16 Python
Python远程开发环境部署与调试过程图解
Dec 09 Python
Python字符串对齐方法使用(ljust()、rjust()和center())
Apr 26 Python
Pytorch distributed 多卡并行载入模型操作
Jun 05 Python
详解python的异常捕获
Mar 03 Python
python周期任务调度工具Schedule使用详解
Nov 23 #Python
python百行代码实现汉服圈图片爬取
python可视化大屏库big_screen示例详解
python数据可视化JupyterLab实用扩展程序Mito
python入门学习关于for else的特殊特性讲解
Nov 20 #Python
Python标准库pathlib操作目录和文件
Nov 20 #Python
python数据可视化使用pyfinance分析证券收益示例详解
You might like
DOTA2 无惧惊涛骇浪 昆卡大型水友攻略
2020/04/20 DOTA
PL-880隐藏功能
2021/03/01 无线电
PHP中实现进程间通讯
2006/10/09 PHP
PHP静态新闻列表自动生成代码
2007/06/14 PHP
获取远程文件大小的php函数
2010/01/11 PHP
PHPWind与Discuz截取字符函数substrs与cutstr性能比较
2011/12/05 PHP
PHP实现的博客欢迎提示功能(很特别哦)
2014/06/05 PHP
JavaScript入门教程(10) 认识其他对象
2009/01/31 Javascript
Javascript 页面模板化很多人没有使用过的方法
2012/06/05 Javascript
基于jquery &amp; json的省市区联动代码
2012/06/26 Javascript
JavaScript mapreduce工作原理简析
2012/11/25 Javascript
jquery禁止输入数字以外的字符的示例(纯数字验证码)
2014/04/10 Javascript
JavaScript中的比较操作符&gt;、=、
2014/12/31 Javascript
ECMAScript 5中的属性描述符详解
2015/03/02 Javascript
js实现点击图片自动提交action的简单方法
2016/10/16 Javascript
微信小程序 form组件详解及简单实例
2017/01/10 Javascript
详解Vue-cli 创建的项目如何跨域请求
2017/05/18 Javascript
JavaScript数组排序reverse()和sort()方法详解
2017/12/24 Javascript
Vue实现动态创建和删除数据的方法
2018/03/17 Javascript
vue.js this.$router.push获取不到params参数问题
2020/03/03 Javascript
浅谈JavaScript中的“!!”作用
2020/08/03 Javascript
详解微信小程序轨迹回放实现及遇到的坑
2021/02/02 Javascript
python连接MySQL、MongoDB、Redis、memcache等数据库的方法
2013/11/15 Python
Python下的subprocess模块的入门指引
2015/04/16 Python
Python closure闭包解释及其注意点详解
2019/08/28 Python
pytorch点乘与叉乘示例讲解
2019/12/27 Python
详解Python调用系统命令的六种方法
2021/01/28 Python
PyCharm常用配置和常用插件(小结)
2021/02/06 Python
AmazeUI 输入框组的示例代码
2020/08/14 HTML / CSS
Expedia泰国:预订机票、酒店和旅游包(航班+酒店)
2016/09/27 全球购物
英国领先的独立时装店:Van Mildert
2019/10/28 全球购物
体育活动总结范文
2014/05/04 职场文书
超市促销活动总结
2014/07/01 职场文书
学用政策心得体会
2014/09/10 职场文书
JavaScript中reduce()的用法
2022/05/11 Javascript
MySQL控制流函数(-if ,elseif,else,case...when)
2022/07/07 MySQL