python 实现敏感词过滤的方法


Posted in Python onJanuary 21, 2019

如下所示:

#!/usr/bin/python2.6  
# -*- coding: utf-8 -*- 
import time 
class Node(object): 
  def __init__(self): 
    self.children = None 
 
# The encode of word is UTF-8 
def add_word(root,word): 
  node = root 
  for i in range(len(word)): 
    if node.children == None: 
      node.children = {} 
      node.children[word[i]] = Node() 
 
    elif word[i] not in node.children: 
      node.children[word[i]] = Node() 
 
    node = node.children[word[i]] 
 
def init(path): 
  root = Node() 
  fp = open(path,'r') 
  for line in fp: 
    line = line[0:-1] 
    #print len(line) 
    #print line 
    #print type(line) 
    add_word(root,line) 
  fp.close() 
  return root 
 
# The encode of word is UTF-8 
# The encode of message is UTF-8 
def is_contain(message, root): 
  for i in range(len(message)): 
    p = root 
    j = i 
    while (j<len(message) and p.children!=None and message[j] in p.children): 
      p = p.children[message[j]] 
      j = j + 1 
 
    if p.children==None: 
      #print '---word---',message[i:j] 
      return True 
   
  return False 
 
 
 
def dfa(): 
  print '----------------dfa-----------' 
  root = init('/tmp/word.txt') 
 
  message = '四处乱咬乱吠,吓得家中11岁的女儿躲在屋里不敢出来,直到辖区派出所民警赶到后,才将孩子从屋中救出。最后在征得主人同意后,民警和村民合力将这只发疯的狗打死' 
  #message = '不顾' 
  print '***message***',len(message) 
  start_time = time.time() 
  for i in range(1000): 
    res = is_contain(message,root) 
    #print res 
  end_time = time.time() 
  print (end_time - start_time)  
 
def is_contain2(message,word_list): 
  for item in word_list: 
    if message.find(item)!=-1: 
      return True 
  return False 
 
def normal(): 
  print '------------normal--------------' 
  path = '/tmp/word.txt' 
  fp = open(path,'r') 
  word_list = [] 
  message = '四处乱咬乱吠,吓得家中11岁的女儿躲在屋里不敢出来,直到辖区派出所民警赶到后,才将孩子从屋中救出。最后在征得主人同意后,民警和村民合力将这只发疯的狗打死' 
  print '***message***',len(message) 
  for line in fp: 
    line = line[0:-1] 
    word_list.append(line) 
  fp.close() 
  print 'The count of word:',len(word_list) 
  start_time = time.time() 
  for i in range(1000): 
    res = is_contain2(message,word_list) 
    #print res 
  end_time = time.time() 
  print (end_time - start_time)  
 
 
if __name__ == '__main__': 
  dfa() 
  normal()

测试结果:

1) 敏感词 100个

----------------dfa-----------
***message*** 224
0.325479984283
------------normal--------------
***message*** 224
The count of word: 100
0.107350111008

2) 敏感词 1000 个

----------------dfa-----------
***message*** 224
0.324251890182
------------normal--------------
***message*** 224
The count of word: 1000
1.05939006805

从上面的实验我们可以看出,在DFA 算法只有在敏感词较多的情况下,才有意义。在百来个敏感词的情况下,甚至不如普通算法

下面从理论上推导时间复杂度,为了方便分析,首先假定消息文本是等长的,长度为lenA;每个敏感词的长度相同,长度为lenB,敏感词的个数是m。

1) DFA算法的核心是构建一棵多叉树,由于我们已经假设,敏感词的长度相同,所以树的最大深度为lenB,那么我们可以说从消息文本的某个位置(字节)开始的某个子串是否在敏感词树中,最多只用经过lenB次匹配.也就是说判断一个消息文本中是否有敏感词的时间复杂度是lenA * lenB

2) 再来看看普通做法,是使用for循环,对每一个敏感词,依次在消息文本中进行查找,假定字符串是使用KMP算法,KMP算法的时间复杂度是O(lenA + lenB)

那么对m个敏感词查找的时间复杂度是 (lenA + lenB ) * m

综上所述,DFA 算法的时间复杂度基本上是与敏感词的个数无关的。

以上这篇python 实现敏感词过滤的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
跟老齐学Python之Import 模块
Oct 13 Python
Python实现的数据结构与算法之队列详解
Apr 22 Python
python win32 简单操作方法
May 25 Python
Pycharm代码无法复制,无法选中删除,无法编辑的解决方法
Oct 22 Python
使用Template格式化Python字符串的方法
Jan 22 Python
Python中@property的理解和使用示例
Jun 11 Python
python实时检测键盘输入函数的示例
Jul 17 Python
Python字符串中添加、插入特定字符的方法
Sep 10 Python
Python3 sys.argv[ ]用法详解
Oct 24 Python
使用pickle存储数据dump 和 load实例讲解
Dec 30 Python
详解python tkinter模块安装过程
Jan 06 Python
Python文件操作及内置函数flush原理解析
Oct 13 Python
python执行精确的小数计算方法
Jan 21 #Python
详解安装mitmproxy以及遇到的坑和简单用法
Jan 21 #Python
python dict 相同key 合并value的实例
Jan 21 #Python
关于python之字典的嵌套,递归调用方法
Jan 21 #Python
对python 合并 累加两个dict的实例详解
Jan 21 #Python
python去重,一个由dict组成的list的去重示例
Jan 21 #Python
Python实现计算字符串中出现次数最多的字符示例
Jan 21 #Python
You might like
77A一级收信机修理记
2021/03/02 无线电
PHP变量内存分配问题记录整理
2013/11/27 PHP
thinkphp中AJAX返回ajaxReturn()方法分析
2016/12/06 PHP
载入进度条 效果
2006/07/08 Javascript
Javascript String对象扩展HTML编码和解码的方法
2009/06/02 Javascript
IE JS无提示关闭窗口不提示的方法
2010/04/29 Javascript
Webkit的跨域安全问题说明
2011/09/13 Javascript
JavaScript中实现最高效的数组乱序方法
2014/10/11 Javascript
javascript 回调函数详解
2014/11/11 Javascript
js的for in循环和java里foreach循环的区别分析
2015/01/28 Javascript
jQuery+easyui中的combobox实现下拉框特效
2015/02/27 Javascript
javascript实现网站加入收藏功能
2015/12/16 Javascript
jQuery模拟select实现下拉菜单功能
2016/06/20 Javascript
js H5 canvas投篮小游戏
2016/08/18 Javascript
浅谈Javascript中的函数、this以及原型
2016/10/09 Javascript
Vue Ajax跨域请求实例详解
2017/06/20 Javascript
JavaScript 高性能数组去重的方法
2018/09/20 Javascript
浅谈v-for 和 v-if 并用时筛选条件方法
2019/11/07 Javascript
es5 类与es6中class的区别小结
2020/11/09 Javascript
js回到页面指定位置的三种方式
2020/12/17 Javascript
Python正则表达式使用经典实例
2016/06/21 Python
基于python中的TCP及UDP(详解)
2017/11/06 Python
基于python-opencv3的图像显示和保存操作
2019/06/27 Python
Django后台admin的使用详解
2019/07/08 Python
python+logging+yaml实现日志分割
2019/07/22 Python
Python3自定义http/https请求拦截mitmproxy脚本实例
2020/05/11 Python
Python如何实现邮件功能
2020/05/27 Python
HTML5触摸事件实现移动端简易进度条的实现方法
2018/05/04 HTML / CSS
HTML5中form如何关闭自动完成功能的方法
2018/07/02 HTML / CSS
免税水晶:Duty Free Crystal
2019/05/13 全球购物
New delete 与malloc free 的联系与区别
2013/02/04 面试题
12月小学生校园广播稿
2014/02/04 职场文书
采购助理岗位职责
2014/02/16 职场文书
校庆团日活动总结
2014/08/28 职场文书
2014国庆节商场促销活动策划方案
2014/09/16 职场文书
2015年个人招商工作总结
2015/04/25 职场文书