文章详细介绍了csv文件在php中快速导入到mysql数据库中的例子,虽然从最简单的几百mb的到最后使用插件实现几个gb数据导入中间有一些嗑碰了,但结果还是好的.
对于数百万条数据量的CSV文件,文件大小可能达到数百M,如果简单读取的话很可能出现超时或者卡死的现象.
为了成功将CSV文件里的数据导入数据库,分批处理是非常必要的,下面这个函数是读取CSV文件中指定的某几行数据,代码如下:
函数主要采用行定位的思路,通过跳过起始行数来实现文件指针定位,至于数据如何入库本文不再详细讲述.
上述函数对500M以内的文件进行过测试,运行通畅,对于1GB的文件发现有点慢了,于是再接着找方法.
立即学习“PHP免费学习笔记（深入）”；
如何快速完整的操作大文件仍然还存在一些问题.
1、如何快速获取CSV大文件的总行数？
办法一:直接获取文件内容，使用换行符进行拆分得出总行数，这种办法对小文件可行，处理大文件时不可行；
办法二:使用fgets一行一行遍历，得出总行数，这种办法比办法一好一些，但大文件仍有超时的可能；
办法三:借助SplFileObject类，直接将指针定位到文件末尾，通过SplFileObject::key方法获取总行数，这种办法可行，且高效。
具体实现方法,代码如下:
说明：用途：程序员、美工、中小型科技公司接单建站使用1.将此文件夹下的文件传入根目录下2.数据库文件：company.sql3.把数据库文件导入数据库4.修改数据库链接信息(用户名、密码，数据库名)：/inc/dabase_mysql.php5.超级帐号webmaster 密码：123456 后台管理目录/cdguanli6.后台栏目配置和前台插件的调用方式，请见官网教程。7.前台插件调用示例相比
$csv_file = 'path/bigfile.csv'; $spl_object = new SplFileObject($csv_file, 'rb'); $spl_object->seek(filesize($csv_file)); echo $spl_object->key();
2、如何快速获取CSV大文件的数据？
仍然使用PHP的SplFileObject类,通过seek方法实现快速定位,代码如下:
$csv_file = 'path/bigfile.csv';
$start = 100000; // 从第100000行开始 www.phprm.com读取
$num = 100; // 读取100行
$data = array();
$spl_object = new SplFileObject($csv_file, 'rb');
$spl_object->seek($start);
while ($num-- && !$spl_object->eof()) {
$data[] = $spl_object->fgetcsv();
$spl_object->next();
}print_r($data);
综合上面两点,整理成一个csv文件读取的类,代码如下:
csv_file = $csv_file;
}
}
public function set_csv_file($csv_file) {
if (!$csv_file || !file_exists($csv_file)) {
$this->error = 'File invalid';
return false;
}
$this->csv_file = $csv_file;
$this->spl_object = null;
}
public function get_csv_file() {
return $this->csv_file;
}
private function _file_valid($file = '') {
$file = $file ? $file : $this->csv_file;
if (!$file || !file_exists($file)) {
return false;
}
if (!is_readable($file)) {
return false;
}
return true;
}
private function _open_file() {
if (!$this->_file_valid()) {
$this->error = 'File invalid';
return false;
}
if ($this->spl_object == null) {
$this->spl_object = new SplFileObject($this->csv_file, 'rb');
}
return true;
}
public function get_data($length = 0, $start = 0) {
if (!$this->_open_file()) {
return false;
}
$length = $length ? $length : $this->get_lines();
$start = $start - 1;
$start = ($start < 0) ? 0 : $start;
$data = array();
$this->spl_object->seek($start);
while ($length-- && !$this->spl_object->eof()) {
$data[] = $this->spl_object->fgetcsv();
$this->spl_object->next();
}
return $data;
}
public function get_lines() {
if (!$this->_open_file()) {
return false;
}
$this->spl_object->seek(filesize($this->csv_file));
return $this->spl_object->key();
}
public function get_error() {
return $this->error;
}
}
?>调用方法如下:
include('CsvReader.class.php');
$csv_file = 'path/bigfile.csv';
$csvreader = new CsvReader($csv_file);
$line_number = $csvreader->get_lines();
$data = $csvreader->get_data(10);
echo $line_number, chr(10);
print_r($data);其实,上述CsvReader类并不只针对CSV大文件,对于其他文本类型的大文件或超大文件同样可用,前提是将类中fgetcsv方法稍加改动为current即可.
教程链接:
随意转载~但请保留教程地址★
