PHP中使用正则表达式提取中文实现笔记


Posted in PHP onJanuary 20, 2015

最近老板叫做一个数据查重的小练习,涉及从一个包含中文字段的文件中提取出其中的中文字段并存储,使用php开发。中间涉及到php正则表达式中文匹配的问题,网上搜罗一大片,但是也很乱没有一个准信儿,经过自己的代码的修改和检验,先将extract函数写下。

首先要注意到的是,双字节字符的编码问题,这里我们以后还可能会遇到像韩文、日文等编码问题,与中文理解上是一个意思。

1. GBK (GB2312/GB18030)

\x00-\xff GBK双字节编码范围   

\x20-\x7f ASCII   

\xa1-\xff 中文 gb2312   

\x80-\xff 中文 gbk  
 
2. UTF-8 (Unicode)
\u4e00-\u9fa5 (中文)   

\x3130-\x318F (韩文   

\xAC00-\xD7A3 (韩文)   

\u0800-\u4e00 (日文) 

在Notepad++下面,我们可以首先进行测试我们的正则书写的错误与否。第一个表达式我是使用[\u4e00-\u9fa5]+来检验的,+号表示不止一个

PHP中使用正则表达式提取中文实现笔记

匹配符。结果与预期相同,那么,是否在脚本中就可以使用这个正则了呢?

我们测试一下,我们使用preg_match_all(‘/[\u4e00-\u9fa5]+/', $subject,$matches)调用,然后你却看到了这么一个结果:Compilation failed: PCRE does not support \L, \l, \N{name}, \U, or \u at offset 2。。。。是不是很头大??这究竟是什么原因?

查阅了很多资料后发现,u (PCRE_UTF8),就是上面的PCRE,这是是一个Perl库,包括 perl 兼容的正规表达式库。此修正符启用了一个 PCRE 中与 Perl 不兼容的额外功能。模式字符串被当成 UTF-8。本修正符在 Unix 下自 PHP 4.1.0 起可用,在 win32 下自 PHP 4.2.3 起可用。而php正则表达式对于十六进制数据的表达方式上也有所不同,在php中,是用\x表示十六进制数据的。下面我们就将代码优化一下,检测函数变为:

 class storeDataAdapter extends Store{   

        private $dsData;   

        /**  

         * 数据转换函数,调用preg_match_all根据$pattern正则来进行数值匹配,并将返回的结果以数组形式存储在$matches中,  

         * $matches[0]将包含与整个模式匹配的文本,$matches[1] 将包含与第一个捕获的括号中的子模式所匹配的文本,以此类推  

         * @see Store::data_convert()  

         */  

        public function data_convert($pattern,$subject) {   

            $matches=array();   

            if (preg_match_all($pattern, $subject,$matches)){   

                return $matches[0];   

            }else    

            {   

                return null;   

            }   

        }   

    } 

调用的时候变为:

 $store=new storeDataAdapter($txtContent);   

    $match=array();   

    $dsName=$store->data_convert(‘/[\x7f-\xff]+/',$txtContent);   

    foreach ($dsName as $val){   

        echo $val."<br>";   

    }  

输入文件为:

PHP中使用正则表达式提取中文实现笔记

,下面是提取出中文之后的输出文件内容:

PHP中使用正则表达式提取中文实现笔记

,符合预期需求。

PHP 相关文章推荐
PHP项目开发中最常用的自定义函数整理
Dec 02 PHP
PHP操作Memcache实例介绍
Jun 14 PHP
网页上facebook分享功能具体实现
Jan 26 PHP
PHP函数strip_tags的一个bug浅析
May 22 PHP
destoon实现调用热门关键字的方法
Jul 15 PHP
php类的定义与继承用法实例
Jul 07 PHP
PHP解压tar.gz格式文件的方法
Feb 14 PHP
PHP简单获取网站百度搜索和搜狗搜索收录量的方法
Aug 23 PHP
详解php用curl调用接口方法,get和post两种方式
Jan 13 PHP
微信第三方登录(原生)demo【必看篇】
May 26 PHP
php+javascript实现的动态显示服务器运行程序进度条功能示例
Aug 07 PHP
PHP+Redis链表解决高并发下商品超卖问题(实现原理及步骤)
Aug 03 PHP
php中的观察者模式简单实例
Jan 20 #PHP
php 5.6版本中编写一个PHP扩展的简单示例
Jan 20 #PHP
PHP函数extension_loaded()用法实例
Jan 19 #PHP
php使用正则表达式获取图片url的方法
Jan 16 #PHP
php使用CURL伪造IP和来源实例详解
Jan 15 #PHP
php+mysql实现无限分类实例详解
Jan 15 #PHP
php截取html字符串及自动补全html标签的方法
Jan 15 #PHP
You might like
怎样去阅读一份php源代码
2009/08/21 PHP
zf框架的db类select查询器join链表使用示例(zend框架)
2014/03/14 PHP
PHP缓存机制Output Control详解
2014/07/14 PHP
最新版本PHP 7 vs HHVM 多角度比较
2016/02/14 PHP
PHP ADODB实现分页功能简单示例
2018/05/25 PHP
php往mysql中批量插入数据实例教程
2018/12/12 PHP
JQUERY复选框CHECKBOX全选,取消全选
2008/08/30 Javascript
google jQuery 引用文件,jQuery 引用地址集合(jquery 1.2.6至jquery1.5.2)
2011/04/24 Javascript
关于javascript event flow 的一个bug详解
2013/09/17 Javascript
原生JS可拖动弹窗效果实例代码
2013/11/09 Javascript
javascript(js)的小数点乘法除法问题详解
2014/03/07 Javascript
查询json的数据结构的8种方式简介
2014/03/10 Javascript
js 验证身份证信息有效性
2014/03/28 Javascript
原生js获取宽高与jquery获取宽高的方法关系对比
2014/04/04 Javascript
js判断登录与否并确定跳转页面的方法
2015/01/30 Javascript
探寻JavaScript中this指针指向
2016/04/23 Javascript
Javascript基础之数组的使用
2016/05/13 Javascript
jquery dataview数据视图插件使用方法
2016/12/23 Javascript
jQuery列表检索功能实现代码
2017/07/17 jQuery
Nodejs实现文件上传的示例代码
2017/09/26 NodeJs
Vue2 轮播图slide组件实例代码
2018/05/31 Javascript
原来JS还可以这样拆箱转换详解
2019/02/01 Javascript
js实现删除li标签一行内容
2019/04/16 Javascript
JS学习笔记之贪吃蛇小游戏demo实例详解
2019/05/29 Javascript
sortable+element 实现表格行拖拽的方法示例
2019/06/07 Javascript
js实现简易拖拽的示例
2020/10/26 Javascript
Python 实现交换矩阵的行示例
2019/06/26 Python
Python的pygame安装教程详解
2020/02/10 Python
python中os包的用法
2020/06/01 Python
Pytorch实现将模型的所有参数的梯度清0
2020/06/24 Python
python实现逻辑回归的示例
2020/10/09 Python
Python实现中英文全文搜索的示例
2020/12/04 Python
校园门卫岗位职责
2013/12/09 职场文书
2014年党的群众路线整改措施思想汇报
2014/10/12 职场文书
商业门面租房协议书
2014/11/25 职场文书
使用golang编写一个并发工作队列
2021/05/08 Golang