python 中的jieba分词库


Posted in Python onNovember 23, 2021
jieba 库是优秀的中文分词第三方库,中文文本需要通过分词获得单个的词语

1、jieba库安装

管理员身份运行cmd窗口输入命令:pip install jieba

2、jieba库功能介绍

特征:
支持三种分词模式:
精确模式:试图将句子最精确地切开,适合文本分析
全模式:把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义
搜索引擎模式:在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词
  • 支持繁体分词
  • 支持自定义词典
分词功能:
jieba.cutjieba.lcut 方法接受两个传入参数:
  • 第一个参数为需要分词的字符串
  • cut_all参数用来控制是否采用全模式
lcut 将返回的对象转化为 list 对象返回
jieba.cut_for_search 和 jieba.lcut_for_search 方法接受一个参数
  • 需要分词的字符串
该方法适合用于搜索引擎构建倒排索引的分词,颗粒度较细
jieba.lcut_for_search 方法返回列表类型
添加自定义词典:
开发者可以指定自己自定义的词典,以便包含jieba词库里没有的词。虽然jieba有新词识别能力,但是自行添加新词可以保证更高的正确率
用法:
使用自定义词典文件:
jieba.load_userdict(file_name) # file_name 是自定义词典的路径
使用jieba在程序中动态修改词典:
jieba.add_word(new_words) # new_words 是想要添加的新词
jieba.del_word(words) # 删除words
关键词提取:
jieba.analyse.extract_tags(sentence,topK) #需要先import jieba.analyse
sentence 为待提取的文本
topK 为返回几个TF/IDF权重最大的关键词,默认是20
词性标注:
jieba.posseg.POSTokenizer(tokenizer=None) 新建自定义分词器,tokenizer参数可指定内部使用的jieba.Tokenizer 分词
jieba.posseg.dt 为默认词性标注分词器
标注句子分词后每个词的词性,采用和ictclas兼容的标记法

3、案例

3.1、精确模式

import jieba
list1 = jieba.lcut("中华人民共和国是一个伟大的国家")
print(list1)
print("精确模式:"+"/".join(list1))

3.2、全模式

list2 = jieba.lcut("中华人民共和国是一个伟大的国家",cut_all = True)
print(list2,end=",")
print("全模式:"+"/".join(list2))

3.3、搜索引擎模式

list3 = jieba.lcut_for_search("中华人民共和国是一个伟大的国家")
print(list3)
print("搜索引擎模式:"+"  ".join(list3))

3.4、修改词典

 
import jieba
text = "中信建投投资公司了一款游戏,中信也投资了一个游戏公司"
word = jieba.lcut(text)
print(word)
# 添加词
jieba.add_word("中信建投")
jieba.add_word("投资公司")
word1 = jieba.lcut(text)
print(word1)
# 删除词
jieba.del_word("中信建投")
word2 = jieba.lcut(text)
print(word2)

3.5、词性标注

import jieba.posseg as pseg
words = pseg.cut("我爱北京天安门")
for i in words:
print(i.word,i.flag)

3.6、统计三国演义中人物出场的次数

三演义文本下载:
import  jieba
txt = open("文件路径", "r", encoding='utf-8').read()    # 打开并读取文件
words = jieba.lcut(txt)     # 使用精确模式对文本进行分词
counts = {}     # 通过键值对的形式存储词语及其出现的次数
for word in words:
    if  len(word) == 1:    # 单个词语不计算在内
        continue
    else:
        counts[word] = counts.get(word, 0) + 1    # 遍历所有词语,每出现一次其对应的值加 1   
items = list(counts.items())     #将键值对转换成列表
items.sort(key=lambda x: x[1], reverse=True)    # 根据词语出现的次数进行从大到小排序 
for i in range(15):
    word, count = items[i]
    print("{0:<10}{1:>5}".format(word, count))
import jieba
excludes = {"将军","却说","荆州","二人","不可","不能","如此","如何"}
txt = open("三国演义.txt", "r", encoding='utf-8').read()
words  = jieba.lcut(txt)
counts = {}
for word in words:
    if len(word) == 1:
        continue
    elif word == "诸葛亮" or word == "孔明曰":
        rword = "孔明"
    elif word == "关公" or word == "云长":
        rword = "关羽"
    elif word == "玄德" or word == "玄德曰":
        rword = "刘备"
    elif word == "孟德" or word == "丞相":
        rword = "曹操"
    else:
        rword = word
        counts[rword] = counts.get(rword,0) + 1
    
for i in excludes:
    del counts[i]
    
items = list(counts.items())
items.sort(key=lambda x:x[1], reverse=True) 
for i in range(10):
    word, count = items[i]
    print ("{0:<10}{1:>5}".format(word, count)) 

到此这篇关于python 中的jieba分词库的文章就介绍到这了,更多相关python jieba分词库内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python实现处理管道的方法
Jun 04 Python
CentOS下使用yum安装python-pip失败的完美解决方法
Aug 16 Python
详解python中的线程
Feb 10 Python
Tensorflow卷积神经网络实例进阶
May 24 Python
有关Python的22个编程技巧
Aug 29 Python
如何基于python实现画不同品种的樱花树
Jan 03 Python
春节到了 教你使用python来抢票回家
Jan 06 Python
python实现FTP文件传输的方法(服务器端和客户端)
Mar 20 Python
Python decimal模块使用方法详解
Jun 08 Python
python中类与对象之间的关系详解
Dec 16 Python
自己搭建resnet18网络并加载torchvision自带权重的操作
May 13 Python
Pandas 稀疏数据结构的实现
Jul 25 Python
python周期任务调度工具Schedule使用详解
Nov 23 #Python
python百行代码实现汉服圈图片爬取
python可视化大屏库big_screen示例详解
python数据可视化JupyterLab实用扩展程序Mito
python入门学习关于for else的特殊特性讲解
Nov 20 #Python
Python标准库pathlib操作目录和文件
Nov 20 #Python
python数据可视化使用pyfinance分析证券收益示例详解
You might like
第十四节--命名空间
2006/11/16 PHP
PDO版本问题 Invalid parameter number: no parameters were bound
2013/01/06 PHP
PHP安全的URL字符串base64编码和解码
2014/06/19 PHP
使用indexOf等在JavaScript的数组中进行元素查找和替换
2013/09/18 Javascript
JQuery打造省市下拉框联动效果
2014/05/18 Javascript
js实现百度联盟中一款不错的图片切换效果完整实例
2015/03/04 Javascript
浅析C/C++,Java,PHP,JavaScript,Json数组、对象赋值时最后一个元素后面是否可以带逗号
2016/03/22 Javascript
深入理解jquery跨域请求方法
2016/05/18 Javascript
JavaScript通过HTML的class来获取HTML元素的方法总结
2016/05/24 Javascript
jquery 动态增加,减少input表单的简单方法(必看)
2016/10/12 Javascript
HTML5 js实现拖拉上传文件功能
2020/11/20 Javascript
jQuery封装animate.css的实例
2018/01/04 jQuery
jQuery幻灯片插件owlcarousel参数说明中文文档
2018/02/27 jQuery
javascript面向对象三大特征之封装实例详解
2019/07/24 Javascript
python使用三角迭代计算圆周率PI的方法
2015/03/20 Python
Python3.遍历某文件夹提取特定文件名的实例
2018/04/26 Python
python3将视频流保存为本地视频文件
2018/06/20 Python
python gdal安装与简单使用
2019/08/01 Python
python 一维二维插值实例
2020/04/22 Python
keras 自定义loss层+接受输入实例
2020/06/28 Python
Python实现简单的2048小游戏
2021/03/01 Python
解决Pyinstaller打包软件失败的一个坑
2021/03/04 Python
美国宠物美容和宠物用品购物网站:Cherrybrook
2018/12/07 全球购物
分解成质因数(如435234=251*17*17*3*2,据说是华为笔试题)
2014/07/16 面试题
Servlet的生命周期
2013/08/25 面试题
会计专业毕业生自我评价
2013/09/25 职场文书
主管职责范文
2013/11/09 职场文书
业务员岗位职责范本
2013/12/15 职场文书
班组长安全生产职责
2013/12/16 职场文书
2014年大学庆元旦迎新年活动方案
2014/03/09 职场文书
安全责任书范文
2014/08/25 职场文书
2014年学习厉行节约反对浪费思想汇报
2014/09/10 职场文书
党的群众路线教育实践活动查摆剖析材料
2014/10/10 职场文书
对党的十八届四中全会的期盼
2014/10/17 职场文书
技术员岗位职责范本
2015/04/11 职场文书
解决Mysql中的innoDB幻读问题
2022/04/29 MySQL