php读取txt文件并将数据插入到数据库


Posted in PHP onFebruary 23, 2016

今天测试一个功能,需要往数据库中插入一些原始数据,PM给了一个txt文件,如何快速的将这个txt文件的内容拆分为所要的数组,然后再插入到数据库中?

serial_number.txt的示例内容:

serial_number.txt:

DM00001A11 0116,
SN00002A11 0116,
AB00003A11 0116,
PV00004A11 0116,
OC00005A11 0116,
IX00006A11 0116,

创建数据表:

create table serial_number(
id int primary key auto_increment not null,
serial_number varchar(50) not null
)ENGINE=InnoDB DEFAULT CHARSET=utf8;

php代码如下:

$conn = mysql_connect('127.0.0.1','root','') or die("Invalid query: " . mysql_error());
mysql_select_db('test', $conn) or die("Invalid query: " . mysql_error());

$content = file_get_contents("serial_number.txt");
$contents= explode(",",$content);//explode()函数以","为标识符进行拆分

foreach ($contents as $k => $v)//遍历循环
{
  $id = $k;
  $serial_number = $v;
  mysql_query("insert into serial_number (`id`,`serial_number`)
      VALUES('$id','$serial_number')");
}

备注:方法有很多种,我这里是在拆分txt文件为数组后,然后遍历循环得到的数组,每循环一次,往数据库中插入一次。

再给大家分享一个支持大文件导入的

<?php
/**
 * $splitChar 字段分隔符
 * $file 数据文件文件名
 * $table 数据库表名
 * $conn 数据库连接
 * $fields 数据对应的列名
 * $insertType 插入操作类型,包括INSERT,REPLACE
 */
function loadTxtDataIntoDatabase($splitChar,$file,$table,$conn,$fields=array(),$insertType='INSERT'){
  if(empty($fields)) $head = "{$insertType} INTO `{$table}` VALUES('";
  else $head = "{$insertType} INTO `{$table}`(`".implode('`,`',$fields)."`) VALUES('";  //数据头
  $end = "')";
  $sqldata = trim(file_get_contents($file));
  if(preg_replace('/\s*/i','',$splitChar) == '') {
    $splitChar = '/(\w+)(\s+)/i';
    $replace = "$1','";
    $specialFunc = 'preg_replace';
  }else {
    $splitChar = $splitChar;
    $replace = "','";
    $specialFunc = 'str_replace';
  }
  //处理数据体,二者顺序不可换,否则空格或Tab分隔符时出错
  $sqldata = preg_replace('/(\s*)(\n+)(\s*)/i','\'),(\'',$sqldata);  //替换换行
  $sqldata = $specialFunc($splitChar,$replace,$sqldata);        //替换分隔符
  $query = $head.$sqldata.$end;  //数据拼接
  if(mysql_query($query,$conn)) return array(true);
  else {
    return array(false,mysql_error($conn),mysql_errno($conn));
  }
}

//调用示例1
require 'db.php';
$splitChar = '|';  //竖线
$file = 'sqldata1.txt';
$fields = array('id','parentid','name');
$table = 'cengji';
$result = loadTxtDataIntoDatabase($splitChar,$file,$table,$conn,$fields);
if (array_shift($result)){
  echo 'Success!<br/>';
}else {
  echo 'Failed!--Error:'.array_shift($result).'<br/>';
}
/*sqlda ta1.txt
1|0|A
2|1|B
3|1|C
4|2|D

-- cengji
CREATE TABLE `cengji` (
 `id` int(11) NOT NULL AUTO_INCREMENT,
 `parentid` int(11) NOT NULL,
 `name` varchar(255) DEFAULT NULL,
 PRIMARY KEY (`id`),
 UNIQUE KEY `parentid_name_unique` (`parentid`,`name`) USING BTREE
) ENGINE=InnoDB AUTO_INCREMENT=1602 DEFAULT CHARSET=utf8
*/

//调用示例2
require 'db.php';
$splitChar = ' ';  //空格
$file = 'sqldata2.txt';
$fields = array('id','make','model','year');
$table = 'cars';
$result = loadTxtDataIntoDatabase($splitChar,$file,$table,$conn,$fields);
if (array_shift($result)){
  echo 'Success!<br/>';
}else {
  echo 'Failed!--Error:'.array_shift($result).'<br/>';
}
/* sqldata2.txt
11 Aston DB19 2009
12 Aston DB29 2009
13 Aston DB39 2009

-- cars
CREATE TABLE `cars` (
 `id` int(11) NOT NULL AUTO_INCREMENT,
 `make` varchar(16) NOT NULL,
 `model` varchar(16) DEFAULT NULL,
 `year` varchar(16) DEFAULT NULL,
 PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=14 DEFAULT CHARSET=utf8
*/

//调用示例3
require 'db.php';
$splitChar = '  ';  //Tab
$file = 'sqldata3.txt';
$fields = array('id','make','model','year');
$table = 'cars';
$insertType = 'REPLACE';
$result = loadTxtDataIntoDatabase($splitChar,$file,$table,$conn,$fields,$insertType);
if (array_shift($result)){
  echo 'Success!<br/>';
}else {
  echo 'Failed!--Error:'.array_shift($result).'<br/>';
}
/* sqldata3.txt
11  Aston  DB19  2009
12  Aston  DB29  2009
13  Aston  DB39  2009 
*/

//调用示例3
require 'db.php';
$splitChar = '  ';  //Tab
$file = 'sqldata3.txt';
$fields = array('id','value');
$table = 'notExist';  //不存在表
$result = loadTxtDataIntoDatabase($splitChar,$file,$table,$conn,$fields);
if (array_shift($result)){
  echo 'Success!<br/>';
}else {
  echo 'Failed!--Error:'.array_shift($result).'<br/>';
}

//附:db.php
/*  //注释这一行可全部释放
?>
<?php
static $connect = null;
static $table = 'jilian';
if(!isset($connect)) {
  $connect = mysql_connect("localhost","root","");
  if(!$connect) {
    $connect = mysql_connect("localhost","Zjmainstay","");
  }
  if(!$connect) {
    die('Can not connect to database.Fatal error handle by /test/db.php');
  }
  mysql_select_db("test",$connect);
  mysql_query("SET NAMES utf8",$connect);
  $conn = &$connect;
  $db = &$connect;
}
?>

//*/
复制代码
-- 数据表结构:

-- 100000_insert,1000000_insert

CREATE TABLE `100000_insert` (
 `id` int(11) NOT NULL AUTO_INCREMENT,
 `parentid` int(11) NOT NULL,
 `name` varchar(255) DEFAULT NULL,
 PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8

 100000 (10万)行插入:Insert 100000_line_data use 2.5534288883209 seconds

 1000000(100万)行插入:Insert 1000000_line_data use 19.677318811417 seconds

//可能报错:MySQL server has gone away

//解决:修改my.ini/my.cnf   max_allowed_packet=20M

PHP 相关文章推荐
从零开始 教你如何搭建Discuz!4.1论坛
Jul 07 PHP
PHP stristr() 函数(不区分大小写的字符串查找)
Jun 03 PHP
PHP 文件系统详解
Sep 13 PHP
屏蔽机器人从你的网站搜取email地址的php代码
Nov 14 PHP
zf框架的session会话周期及次数限制使用示例
Mar 13 PHP
PHP程序员常见的40个陋习,你中了几个?
Nov 20 PHP
php array_merge函数使用需要注意的一个问题
Mar 30 PHP
Laravel+jQuery实现AJAX分页效果
Sep 14 PHP
PHP递归删除多维数组中的某个值
Apr 17 PHP
PHP ADODB实现事务处理功能示例
May 25 PHP
浅析PHP反序列化中过滤函数使用不当导致的对象注入问题
Feb 15 PHP
TP5框架安全机制实例分析
Apr 05 PHP
PHP调试的强悍利器之PHPDBG
Feb 22 #PHP
PHP Imagick完美实现图片裁切、生成缩略图、添加水印
Feb 22 #PHP
PHP实现linux命令tail -f
Feb 22 #PHP
PHP设计模式之观察者模式实例
Feb 22 #PHP
PHP编写RESTful接口的方法
Feb 21 #PHP
PHP常见漏洞攻击分析
Feb 21 #PHP
php采集神器cURL使用方法详解
Feb 19 #PHP
You might like
WinXP + Apache +PHP5 + MySQL + phpMyAdmin安装全功略
2006/07/09 PHP
网站加速 PHP 缓冲的免费实现方法
2006/10/09 PHP
sqlyog 中文乱码问题的设置方法
2008/10/19 PHP
php 分页函数multi() discuz
2009/06/21 PHP
PHP连接和操作MySQL数据库基础教程
2014/09/29 PHP
php简单防盗链实现方法
2015/07/29 PHP
百万级别知乎用户数据抓取与分析之PHP开发
2015/09/28 PHP
优化WordPress的Google字体以加速国内服务器上的运行
2015/11/24 PHP
PHP实现上传多文件示例代码
2017/02/20 PHP
PHP读取CSV大文件导入数据库的实例
2017/07/24 PHP
基于laravel where的高级使用方法
2019/10/10 PHP
laravel添加前台跳转成功页面示例
2019/10/22 PHP
Javascript调用C#代码
2011/01/17 Javascript
JS和JQ的event对象区别分析
2014/11/24 Javascript
JavaScript实现更改网页背景与字体颜色的方法
2015/02/02 Javascript
jQuery简单实现上下,左右滑动的方法
2016/06/01 Javascript
js简单实现网页换肤功能
2017/04/07 Javascript
Easyui和zTree两种方式分别实现树形下拉框
2017/08/04 Javascript
基于axios封装fetch方法及调用实例
2018/02/05 Javascript
一次记住JavaScript的6个正则表达式方法
2018/02/22 Javascript
JS实现li标签的删除
2019/04/12 Javascript
json数据格式常见操作示例
2019/06/13 Javascript
JavaScript WeakMap使用详解
2021/02/05 Javascript
浅析Python编写函数装饰器
2016/03/18 Python
python字符串的常用操作方法小结
2016/05/21 Python
python 阶乘累加和的实例
2019/02/01 Python
Django框架登录加上验证码校验实现验证功能示例
2019/05/23 Python
浅谈matplotlib.pyplot与axes的关系
2020/03/06 Python
HTML5 MiranaVideo播放器 (代码开源)
2010/06/11 HTML / CSS
草莓网英国官网:Strawberrynet UK
2017/02/12 全球购物
如何获取某个日期是当月的最后一天
2013/12/05 面试题
客户答谢会活动方案
2014/08/31 职场文书
经验交流材料格式
2014/12/30 职场文书
委托书格式要求
2015/01/28 职场文书
食堂管理制度范本
2015/08/04 职场文书
Python自动化实战之接口请求的实现
2022/05/30 Python