JS对大量数据进行多重过滤的方法


Posted in Javascript onNovember 04, 2016

前言

主要的需求是前端通过 Ajax 从后端取得了大量的数据,需要根据一些条件过滤,首先过滤的方法是这样的:

class Filter {
 filterA(s) {
 let data = this.filterData || this.data;
 this.filterData = data.filter(m => m.a === s);
 }
 
 filterB(s) {
 let data = this.filterData || this.data;
 this.filterData = data.filter(m => m.b === s);
 }
}

现在迷糊了,觉得这样处理数据不对,但是又不知道该怎么处理。

发现问题

问题就在过滤上,这样固然可以实现多重过滤(先调用 filterA() 再调用 filterB() 就可以实现),但是这个过滤是不可逆的。

假如过滤过程是这样:

f.filterA("a1");
f.filterB("b1");
f.filterA("a2");

本来是希望按 "a1" 和 "b1" 过滤了数据之后,再修改第一个条件为 "a2",但结果却成了空集。

解决问题

发现了问题,就针对性的解决。这个问题既然是因为过滤过程不可逆造成的,那每次都直接从 this.data 开始过滤,而不是从 this.filterData 开始过滤,就能解决问题。如果要这样做,就需要将选择的过滤条件先记录下来。

记录过滤条件

用一个列表记录过滤条件当然是可行的,但是注意对同一个条件的两次过滤是互斥的,只能保留最后一个,所以应该用 HashMap 更为合适。

class Filter {
 constructor() {
 this.filters = {};
 }

 set(key, filter) {
 this.filters[key] = filter;
 }

 getFilters() {
 return Object.keys(this.filters).map(key => this.filters[key]);
 }
}

这种情况下,像上面的过程表示为

f.set("A", m => m.a === "a1");
f.set("B", m => m.b === "b1");
f.set("A", m => m.a === "a1");

let filters = f.getFilters(); // length === 2;

上面第 3 句设置的 filter 覆盖了第 1 句设置的那个。现在再用最后取得的 filters 依次来过滤原数据 this.data,就能得到正确的结果。

有人会觉得 getFilters() 返回的列表不是按 set 的顺序的——的确,这是 HashMap 的特点,无序。不过对于简单条件的判断,不管谁先谁后,结果是一样的。但是对于一些复合条件判断,就可能会有影响。

确实需要的话,可以通过 array 代替 map 来解决一下顺序的问题,但这样查找效率会降低(线性查找)。如果还想解决查找效率的问题,可以用 array + map 来处理。这里就不多说了。

过滤

实际上在使用的时候,每次都 getFilter() 再用一个循环来处理确实比较慢。既然 data 都封装成 Filter 中,可以考虑直接给一个 filter() 方法来送货过滤接口。

class Filter {
 filter() {
 let data = this.data;
 for (let f of this.getFilters()) {
  data = data.filter(f);
 }
 return data;
 }
}

不过这样我觉得效率不太好,尤其是对大量数据的时候。不妨利用一下 lodash 的延迟处理过程。

利用 lodash 的延迟处理

filter() {
 let chain = _(this.data);
 for (let f of this.getFilters()) {
 chain = chain.filter(f);
 }
 return chain.value();
}

lodash 在数据大于 200 的时候会启用延迟处理过程,也就是说,它会处理成一个循环中依次调用每一个 filter,而不是对每一个 filter 进行一次循环。

延迟处理和非延迟处理通过下图可以看出来区别。非延迟处理总共会进行 n(这里 n = 3) 次大循环,产生 n - 1 个中间结果。而延迟处理只会进行一次大循环,没有中间结果产生。

JS对大量数据进行多重过滤的方法

不过说实在的,我不太喜欢为了一点小事多加载一个库,所以干脆自己做个简单的实现

自己实现延迟处理

filter() {
 const filters = this.getFilters();
 return data.filter(m => {
 for (let f of filters) {
  // 如果某个 filter 已经把它过滤掉了,也不用再用后面的 filter 来判断了
  if (!f(m)) {
  return false;
  }
 }
 return true;
 });
}

里面的 for 循环还可以用 Array.prototype.every 来简化:

filter() {
 const filters = this.getFilters();
 return data.filter(m => {
 return filters.every(f => f(m));
 });
}

数据过滤其实并不是多复杂的事情,只要把思路理清楚,搞明白什么数据是需要保留的,什么数据是临时(中间过程)的,什么数据是最终结果……利用 Array.prototype 中的相关方法,或者诸如 lodash 之类的工具,很容易就处理出来了。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能有所帮助,如果有疑问大家可以留言交流。

Javascript 相关文章推荐
JS验证邮箱格式是否正确的代码
Dec 05 Javascript
贴近用户体验的Jquery日期、时间选择插件
Aug 19 Javascript
jQuery禁用快捷键例如禁用F5刷新 禁用右键菜单等的简单实现
Aug 31 Javascript
jQuery如何解决IE输入框不能输入的问题
Oct 08 Javascript
jquery广告无缝轮播实例
Jan 05 Javascript
jQuery+ajax读取json数据并按照价格排序示例
Mar 28 jQuery
Koa代理Http请求的示例代码
Oct 10 Javascript
从理论角度讨论JavaScript闭包
Apr 03 Javascript
搭建一个Koa后端项目脚手架的方法步骤
May 30 Javascript
基于javascript实现贪吃蛇小游戏
Nov 25 Javascript
JS实现简单移动端鼠标拖拽
Jul 23 Javascript
不依任何赖第三方,单纯用vue实现Tree 树形控件的案例
Sep 21 Javascript
AngularJS模板加载用法详解
Nov 04 #Javascript
jQuery 遍历map()方法详解
Nov 04 #Javascript
Sortable.js拖拽排序使用方法解析
Nov 04 #Javascript
jQuery图片加载显示loading效果
Nov 04 #Javascript
JavaScript 深层克隆对象详解及实例
Nov 03 #Javascript
jQuery.ajax实现根据不同的Content-Type做出不同的响应
Nov 03 #Javascript
简单学习vue指令directive
Nov 03 #Javascript
You might like
PHP中引用类型和值类型功能与用法示例
2019/02/26 PHP
PHP连接SQL Server的方法分析【基于thinkPHP5.1框架】
2019/05/06 PHP
php实现QQ小程序发送模板消息功能
2019/09/18 PHP
一步一步教你写一个jQuery的插件教程(Plugin)
2009/09/03 Javascript
JavaScript对象链式操作代码(jquery)
2010/07/04 Javascript
js报错 Object doesn't support this property or method的原因分析
2011/03/31 Javascript
前端轻量级MVC框架CanJS详解
2014/09/26 Javascript
jQuery如何防止这种冒泡事件发生
2015/02/27 Javascript
Jquery 垂直多级手风琴菜单附源码下载
2015/11/17 Javascript
jquery遍历函数siblings()用法实例
2015/12/24 Javascript
学习javascript面向对象 掌握创建对象的9种方式
2016/01/04 Javascript
Bootstrap基本样式学习笔记之标签(5)
2016/12/07 Javascript
hovertree插件实现二级树形菜单(简单实用)
2016/12/28 Javascript
详解angular2封装material2对话框组件
2017/03/03 Javascript
jQuery 实现图片的依次加载图片功能
2017/07/06 jQuery
JavaScript创建对象的七种方式全面总结
2017/08/21 Javascript
Angular路由ui-router配置详解
2018/08/01 Javascript
vue.js 图片上传并预览及图片更换功能的实现代码
2018/08/27 Javascript
微信小程序云开发修改云数据库中的数据方法
2019/05/18 Javascript
微信小程序自定义多列选择器使用详解
2019/06/21 Javascript
深入学习Vue nextTick的用法及原理
2019/10/08 Javascript
python使用Queue在多个子进程间交换数据的方法
2015/04/18 Python
python实现的简单抽奖系统实例
2015/05/22 Python
轻松掌握python设计模式之访问者模式
2016/11/18 Python
python复制列表时[:]和[::]之间有什么区别
2018/10/16 Python
python如何实现一个刷网页小程序
2018/11/27 Python
wxPython实现文本框基础组件
2019/11/18 Python
Pytorch之parameters的使用
2019/12/31 Python
Python Sphinx使用实例及问题解决
2020/01/17 Python
python 发送get请求接口详解
2020/11/17 Python
浅谈HTML5 FileReader分布读取文件以及其方法简介
2017/11/09 HTML / CSS
巴西体育用品商店:Lojão dos Esportes
2018/07/21 全球购物
美国牛仔品牌:True Religion
2018/11/16 全球购物
重阳节简报
2015/07/20 职场文书
游戏开发中如何使用CocosCreator进行音效处理
2021/04/14 Javascript
macos系统如何实现微信双开? mac登录两个微信以上微信的技巧
2022/07/23 数码科技