nodejs读取本地中文json文件出现乱码解决方法


Posted in NodeJs onOctober 10, 2018

1. 确定json文件是UTF-8 无BOM编码的的。如果有BOM,会在读取第一行的时候出现乱码。

Per "fs.readFileSync(filename, 'utf8') doesn't strip BOM markers #1918", fs.readFile is
working as designed: BOM is not stripped from the header of the UTF-8 file, if it exists. It at the discretion of the developer to handle this.

Possible workarounds:

  • data= data.replace(/^\uFEFF/, ''); perhttps://github.com/joyent/node/issues/1918#issuecomment-2480359
  • Transform the incoming stream to remove the BOM header with the NPM module bomstrip perhttps://github.com/joyent/node/issues/1918#issuecomment-38491548

What you are getting is the byte order mark header (BOM) of the UTF-8 file. When JSON.parse sees
this, it gives an syntax error (read: "unexpected character" error). You must strip the byte order mark from the file before passing it to JSON.parse:

fs.readFile('./myconfig.json', 'utf8', function (err, data) {
  myconfig = JSON.parse(data.toString('utf8').replace(/^\uFEFF/, ''));
});
// note: data is an instance of Buffer

2. 确定json没有格式错误。我在用utf8编码并用utf8 encoding来读取文件之后依然报错,百思不得其解。

最后发现json有两个editor没有发现的格式错误,一个是一个数组中两个元素之间少了一个“,”,另一个是另一个数组最后多了一个“,”。

注1:Node的iconv模块,仅支持linux,不支持Windows,因此要用纯js的iconv-lite,另:作者说iconv-lite的性能更好,具体参考Git站点:iconv-lite

注2:我在测试读写文件时,始终无法把中文写入文件,一直乱码,读取正常,后来同事帮我发现:js文件的编码格式是ansi,nodejs的代码文件必须是utf8格式

注3:如果程序操作的文件,都是以UTF8编码格式保存的,那么就不需要使用iconv模块,直接以utf8格式读取文件即可,如:

// 参数file,必须保存为utf8格式,否则里面的中文会乱码  
function readFile(file){  
    // readFile的第2个参数表示读取编码格式,如果未传递这个参数,表示返回Buffer字节数组  
    fs.readFile(file, "utf8", function(err, data){  
        if(err)  
            console.log("读取文件fail " + err);  
        else{  
            // 读取成功时  
            console.log(data);// 直接输出中文字符串了  
        }  
    });  
}

nodejs读取中文文件编码问题

准备一个文本文件(当然也可以是csv文件等)test.txt和text.csv,nodejs文件test.js如下:

var iconv = require('iconv-lite');  
  
var fs = require('fs');  
var fileStr = fs.readFileSync('D:\\test.csv', {encoding:'binary'});  
  
var buf = new Buffer(fileStr, 'binary');  
  
var str = iconv.decode(buf, 'GBK');  
console.log(str);  

直接读文件的话是乱码,不信你可以试试。需要先统一用二进制编码方式读取,然后再用GBK解码。

NodeJs 相关文章推荐
Nodejs Post请求报socket hang up错误的解决办法
Sep 25 NodeJs
详谈nodejs异步编程
Dec 04 NodeJs
nodejs 整合kindEditor实现图片上传
Feb 03 NodeJs
Nodejs关于gzip/deflate压缩详解
Mar 04 NodeJs
nodejs实现遍历文件夹并统计文件大小
May 28 NodeJs
windows下安装nodejs及框架express
Aug 07 NodeJs
nodejs个人博客开发第五步 分配数据
Apr 12 NodeJs
nodejs制作爬虫实现批量下载图片
May 19 NodeJs
nodejs批量下载图片的实现方法
May 19 NodeJs
深入理解nodejs中Express的中间件
May 19 NodeJs
nodejs acl的用户权限管理详解
Mar 14 NodeJs
深入理解nodejs搭建静态服务器(实现命令行)
Feb 05 NodeJs
nodejs require js文件入口,在package.json中指定默认入口main方法
Oct 10 #NodeJs
nodejs更新package.json中的dependencies依赖到最新版本的方法
Oct 10 #NodeJs
nodejs中用npm初始化来创建package.json的实例讲解
Oct 10 #NodeJs
nodejs初始化init的示例代码
Oct 10 #NodeJs
webpack打包nodejs项目的方法
Sep 26 #NodeJs
Nodejs把接收图片base64格式保存为文件存储到服务器上
Sep 26 #NodeJs
基于Nodejs的Tcp封包和解包的理解
Sep 19 #NodeJs
You might like
简单PHP上传图片、删除图片实现代码
2010/05/12 PHP
深入Apache与Nginx的优缺点比较详解
2013/06/17 PHP
十幅图告诉你什么是PHP引用
2015/02/22 PHP
Smarty模板简单配置与使用方法示例
2016/05/23 PHP
PHP用户注册邮件激活账户的实现代码
2017/05/31 PHP
php微信开发之关键词回复功能
2018/06/13 PHP
在laravel-admin中列表中禁止某行编辑、删除的方法
2019/10/03 PHP
JQuery1.6 使用方法三
2011/11/23 Javascript
javascript 图片裁剪技巧解读
2012/11/15 Javascript
jquery mobile changepage的三种传参方法介绍
2013/09/13 Javascript
js将字符串转成正则表达式的实现方法
2013/11/13 Javascript
jQuery实现表格展开与折叠的方法
2015/05/04 Javascript
深入理解vue Render函数
2017/07/19 Javascript
JS实现随机生成10个手机号的方法示例
2018/12/07 Javascript
微信小程序实现富文本图片宽度自适应的方法
2019/01/20 Javascript
使用JS location实现搜索框历史记录功能
2019/12/23 Javascript
基于jQuery实现挂号平台首页源码
2020/01/06 jQuery
Python开发编码规范
2006/09/08 Python
python之文件的读写和文件目录以及文件夹的操作实现代码
2016/08/28 Python
Python实现线程状态监测简单示例
2018/03/28 Python
详解django的serializer序列化model几种方法
2018/10/16 Python
Django多数据库配置及逆向生成model教程
2020/03/28 Python
Python搭建Keras CNN模型破解网站验证码的实现
2020/04/07 Python
基于Tensorflow的MNIST手写数字识别分类
2020/06/17 Python
用Python实现定时备份Mongodb数据并上传到FTP服务器
2021/01/27 Python
html5视频媒体标签video的使用方法及完整参数说明详解
2019/09/27 HTML / CSS
英国男女奢华内衣和泳装购物网站:Figleaves
2017/01/28 全球购物
Allsole美国/加拿大:英国一家专门出售品牌鞋子的网站
2018/10/21 全球购物
TCP/IP模型的分界线
2012/12/01 面试题
冰淇淋开店创业计划书
2014/02/01 职场文书
书法兴趣小组活动总结
2014/07/07 职场文书
2014年企业党支部工作总结
2014/12/04 职场文书
2015年医德考评自我评价
2015/03/03 职场文书
导游词之茶卡盐湖
2019/11/26 职场文书
javascript函数式编程基础
2021/09/15 Javascript
Mysql 数据库中的 redo log 和 binlog 写入策略
2022/04/26 MySQL