php读取txt文件并将数据插入到数据库


Posted in PHP onFebruary 23, 2016

今天测试一个功能,需要往数据库中插入一些原始数据,PM给了一个txt文件,如何快速的将这个txt文件的内容拆分为所要的数组,然后再插入到数据库中?

serial_number.txt的示例内容:

serial_number.txt:

DM00001A11 0116,
SN00002A11 0116,
AB00003A11 0116,
PV00004A11 0116,
OC00005A11 0116,
IX00006A11 0116,

创建数据表:

create table serial_number(
id int primary key auto_increment not null,
serial_number varchar(50) not null
)ENGINE=InnoDB DEFAULT CHARSET=utf8;

php代码如下:

$conn = mysql_connect('127.0.0.1','root','') or die("Invalid query: " . mysql_error());
mysql_select_db('test', $conn) or die("Invalid query: " . mysql_error());

$content = file_get_contents("serial_number.txt");
$contents= explode(",",$content);//explode()函数以","为标识符进行拆分

foreach ($contents as $k => $v)//遍历循环
{
  $id = $k;
  $serial_number = $v;
  mysql_query("insert into serial_number (`id`,`serial_number`)
      VALUES('$id','$serial_number')");
}

备注:方法有很多种,我这里是在拆分txt文件为数组后,然后遍历循环得到的数组,每循环一次,往数据库中插入一次。

再给大家分享一个支持大文件导入的

<?php
/**
 * $splitChar 字段分隔符
 * $file 数据文件文件名
 * $table 数据库表名
 * $conn 数据库连接
 * $fields 数据对应的列名
 * $insertType 插入操作类型,包括INSERT,REPLACE
 */
function loadTxtDataIntoDatabase($splitChar,$file,$table,$conn,$fields=array(),$insertType='INSERT'){
  if(empty($fields)) $head = "{$insertType} INTO `{$table}` VALUES('";
  else $head = "{$insertType} INTO `{$table}`(`".implode('`,`',$fields)."`) VALUES('";  //数据头
  $end = "')";
  $sqldata = trim(file_get_contents($file));
  if(preg_replace('/\s*/i','',$splitChar) == '') {
    $splitChar = '/(\w+)(\s+)/i';
    $replace = "$1','";
    $specialFunc = 'preg_replace';
  }else {
    $splitChar = $splitChar;
    $replace = "','";
    $specialFunc = 'str_replace';
  }
  //处理数据体,二者顺序不可换,否则空格或Tab分隔符时出错
  $sqldata = preg_replace('/(\s*)(\n+)(\s*)/i','\'),(\'',$sqldata);  //替换换行
  $sqldata = $specialFunc($splitChar,$replace,$sqldata);        //替换分隔符
  $query = $head.$sqldata.$end;  //数据拼接
  if(mysql_query($query,$conn)) return array(true);
  else {
    return array(false,mysql_error($conn),mysql_errno($conn));
  }
}

//调用示例1
require 'db.php';
$splitChar = '|';  //竖线
$file = 'sqldata1.txt';
$fields = array('id','parentid','name');
$table = 'cengji';
$result = loadTxtDataIntoDatabase($splitChar,$file,$table,$conn,$fields);
if (array_shift($result)){
  echo 'Success!<br/>';
}else {
  echo 'Failed!--Error:'.array_shift($result).'<br/>';
}
/*sqlda ta1.txt
1|0|A
2|1|B
3|1|C
4|2|D

-- cengji
CREATE TABLE `cengji` (
 `id` int(11) NOT NULL AUTO_INCREMENT,
 `parentid` int(11) NOT NULL,
 `name` varchar(255) DEFAULT NULL,
 PRIMARY KEY (`id`),
 UNIQUE KEY `parentid_name_unique` (`parentid`,`name`) USING BTREE
) ENGINE=InnoDB AUTO_INCREMENT=1602 DEFAULT CHARSET=utf8
*/

//调用示例2
require 'db.php';
$splitChar = ' ';  //空格
$file = 'sqldata2.txt';
$fields = array('id','make','model','year');
$table = 'cars';
$result = loadTxtDataIntoDatabase($splitChar,$file,$table,$conn,$fields);
if (array_shift($result)){
  echo 'Success!<br/>';
}else {
  echo 'Failed!--Error:'.array_shift($result).'<br/>';
}
/* sqldata2.txt
11 Aston DB19 2009
12 Aston DB29 2009
13 Aston DB39 2009

-- cars
CREATE TABLE `cars` (
 `id` int(11) NOT NULL AUTO_INCREMENT,
 `make` varchar(16) NOT NULL,
 `model` varchar(16) DEFAULT NULL,
 `year` varchar(16) DEFAULT NULL,
 PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=14 DEFAULT CHARSET=utf8
*/

//调用示例3
require 'db.php';
$splitChar = '  ';  //Tab
$file = 'sqldata3.txt';
$fields = array('id','make','model','year');
$table = 'cars';
$insertType = 'REPLACE';
$result = loadTxtDataIntoDatabase($splitChar,$file,$table,$conn,$fields,$insertType);
if (array_shift($result)){
  echo 'Success!<br/>';
}else {
  echo 'Failed!--Error:'.array_shift($result).'<br/>';
}
/* sqldata3.txt
11  Aston  DB19  2009
12  Aston  DB29  2009
13  Aston  DB39  2009 
*/

//调用示例3
require 'db.php';
$splitChar = '  ';  //Tab
$file = 'sqldata3.txt';
$fields = array('id','value');
$table = 'notExist';  //不存在表
$result = loadTxtDataIntoDatabase($splitChar,$file,$table,$conn,$fields);
if (array_shift($result)){
  echo 'Success!<br/>';
}else {
  echo 'Failed!--Error:'.array_shift($result).'<br/>';
}

//附:db.php
/*  //注释这一行可全部释放
?>
<?php
static $connect = null;
static $table = 'jilian';
if(!isset($connect)) {
  $connect = mysql_connect("localhost","root","");
  if(!$connect) {
    $connect = mysql_connect("localhost","Zjmainstay","");
  }
  if(!$connect) {
    die('Can not connect to database.Fatal error handle by /test/db.php');
  }
  mysql_select_db("test",$connect);
  mysql_query("SET NAMES utf8",$connect);
  $conn = &$connect;
  $db = &$connect;
}
?>

//*/
复制代码
-- 数据表结构:

-- 100000_insert,1000000_insert

CREATE TABLE `100000_insert` (
 `id` int(11) NOT NULL AUTO_INCREMENT,
 `parentid` int(11) NOT NULL,
 `name` varchar(255) DEFAULT NULL,
 PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8

 100000 (10万)行插入:Insert 100000_line_data use 2.5534288883209 seconds

 1000000(100万)行插入:Insert 1000000_line_data use 19.677318811417 seconds

//可能报错:MySQL server has gone away

//解决:修改my.ini/my.cnf   max_allowed_packet=20M

PHP 相关文章推荐
打造计数器DIY三步曲(上)
Oct 09 PHP
phplock(php进程锁) v1.0 beta1
Nov 24 PHP
给初学者的30条PHP最佳实践(荒野无灯)
Aug 02 PHP
使用PHP备份MySQL和网站发送到邮箱实例代码
Nov 28 PHP
php使用GeoIP库实例
Jun 27 PHP
php合并数组中相同元素的方法
Nov 13 PHP
php格式输出文件var_export函数实例
Nov 15 PHP
php使用正则表达式获取字符串中的URL
Dec 29 PHP
PHP实现的下载远程文件类定义与用法示例
Jul 05 PHP
PHP设计模式之原型设计模式原理与用法分析
Apr 25 PHP
PHP错误提示It is not safe to rely on the system……的解决方法
Mar 25 PHP
PHP正则表达式笔记与实例详解
May 09 PHP
PHP调试的强悍利器之PHPDBG
Feb 22 #PHP
PHP Imagick完美实现图片裁切、生成缩略图、添加水印
Feb 22 #PHP
PHP实现linux命令tail -f
Feb 22 #PHP
PHP设计模式之观察者模式实例
Feb 22 #PHP
PHP编写RESTful接口的方法
Feb 21 #PHP
PHP常见漏洞攻击分析
Feb 21 #PHP
php采集神器cURL使用方法详解
Feb 19 #PHP
You might like
shopex主机报错误请求解决方案(No such file or directory)
2011/12/27 PHP
PHP数字金额转换成中文大写显示
2019/01/05 PHP
PHP+fiddler抓包采集微信文章阅读数点赞数的思路详解
2019/12/20 PHP
Laravel 手动开关 Eloquent 修改器的操作方法
2019/12/30 PHP
OfflineSave离线保存代码再次发布使用说明
2007/05/23 Javascript
检测input每次的输入是否合法遇到汉字输入就有问题
2012/05/23 Javascript
将字符串转换成gb2312或者utf-8编码的参数(js版)
2013/04/10 Javascript
js中的屏蔽的使用示例
2013/07/30 Javascript
jQuery对象与DOM对象转换方法详解
2016/05/10 Javascript
全面解析bootstrap格子布局
2016/05/22 Javascript
jQuery处理XML文件的几种方法
2016/06/14 Javascript
Bootstrap零基础入门教程(三)
2016/07/18 Javascript
必备的JS调试技巧汇总
2016/07/20 Javascript
JS获取IE版本号与HTML设置IE文档模式的方法
2016/10/09 Javascript
微信小程序 action-sheet底部菜单详解
2016/10/27 Javascript
浅谈Vue.js路由管理器 Vue Router
2018/08/16 Javascript
vue elementui el-form rules动态验证的实例代码详解
2019/05/23 Javascript
js判断密码强度的方法
2020/03/18 Javascript
[01:10]DOTA2亚洲邀请赛 征战号角响彻全场
2015/01/06 DOTA
Python使用MYSQLDB实现从数据库中导出XML文件的方法
2015/05/11 Python
linux平台使用Python制作BT种子并获取BT种子信息的方法
2017/01/20 Python
基于Python函数的作用域规则和闭包(详解)
2017/11/29 Python
Python 调用PIL库失败的解决方法
2019/01/08 Python
python并发编程 Process对象的其他属性方法join方法详解
2019/08/20 Python
关于初始种子自动选取的区域生长实例(python+opencv)
2020/01/16 Python
pycharm中导入模块错误时提示Try to run this command from the system terminal
2020/03/26 Python
python boto和boto3操作bucket的示例
2020/10/30 Python
常用的四种CSS透明属性介绍
2014/04/12 HTML / CSS
css3实现wifi信号逐渐增强效果实例
2017/08/09 HTML / CSS
Monica Vinader官网:英国轻奢珠宝品牌
2020/02/05 全球购物
Clos19英国:高档香槟、葡萄酒和烈酒在线购物平台
2020/07/10 全球购物
Java TransactionAPI (JTA) 主要包含几部分
2012/12/07 面试题
计算机多媒体专业自荐信
2014/07/04 职场文书
教师党员自我评价范文
2015/03/04 职场文书
协议书格式模板
2016/03/24 职场文书
vue中 this.$set的使用详解
2021/11/17 Vue.js