0

0

在ThinkPHP6中使用Mysql进行大批量数据导入

王林

王林

发布时间:2023-06-20 13:40:43

|

3068人浏览过

|

来源于php中文网

原创

随着数据量不断增加,许多企业需要将大量数据导入到数据库中。但是对于开发人员来说,如何高效地进行数据导入,却是一个值得探讨的问题。在本文中,我们将介绍如何在thinkphp6框架中使用mysql进行大批量数据导入。

  1. 准备数据

在开始导入之前,我们需要准备好数据。数据可以以CSV、Excel等格式导出,也可以直接由代码生成。在本文中,我们将使用代码生成数据。

先来创建一个数据表user

CREATE TABLE `user` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `name` varchar(255) DEFAULT NULL,
  `age` int(11) DEFAULT NULL,
  `created_at` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
  `updated_at` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4;

然后编写以下代码生成1000条数据:

use thinkacadeDb;

// 生成测试数据
$data = [];
for ($i = 1; $i <= 1000; $i++) {
    $data[] = [
        'name' => 'User' . $i,
        'age' => mt_rand(18, 60),
    ];
}

// 批量插入数据
Db::name('user')->insertAll($data);
  1. 使用Mysql的LOAD DATA功能导入数据

Mysql提供了一个非常方便的功能LOAD DATA,可以将数据从文件导入到表中。我们只需要将数据保存到一个CSV文件中,然后使用LOAD DATA命令将数据导入到表中。

立即学习PHP免费学习笔记(深入)”;

首先,将所有数据保存到CSV文件中。在本例中,我们将数据保存到user.csv文件中:

use thinkacadeDb;

$data = Db::name('user')->select();

$fp = fopen('user.csv', 'w');

//写数据到CSV文件中
foreach ($data as $item) {
    fputcsv($fp, [$item['name'], $item['age']]);
}

fclose($fp);

然后使用以下代码将数据导入到数据库中:

use thinkacadeDb;

$filename = 'user.csv';

$sql = <<

在上述代码中,我们首先指定要导入的文件路径,然后编写SQL语句,使用LOAD DATA将数据导入到数据库中。需要注意的是,在导入之前需要确保Mysql的local_infile选项已经开启。

网趣网上购物系统HTML静态版
网趣网上购物系统HTML静态版

网趣购物系统静态版支持网站一键静态生成,采用动态进度条模式生成静态,生成过程更加清晰明确,商品管理上增加淘宝数据包导入功能,与淘宝数据同步更新!采用领先的AJAX+XML相融技术,速度更快更高效!系统进行了大量的实用性更新,如优化核心算法、增加商品图片批量上传、谷歌地图浏览插入等,静态版独特的生成算法技术使静态生成过程可随意掌控,从而可以大大减轻服务器的负担,结合多种强大的SEO优化方式于一体,使

下载
  1. 使用TP6自带的批量插入功能导入数据

Mysql的LOAD DATA功能虽然方便快捷,但是需要将数据保存为文件,而且需要手动编写SQL语句,操作起来较为繁琐。在TP6中,我们可以使用自带的批量插入功能,一次性插入大量数据。

在上面的例子中,我们使用以下代码将数据插入到数据库中:

use thinkacadeDb;

$data = Db::name('user')->select();

$result = Db::name('user')->insertAll($data);

在上述代码中,我们首先查询所有数据,然后使用insertAll方法批量插入数据。需要注意的是,insertAll方法默认一次性最多插入1000条数据。如果要插入更多数据,需要在insertAll方法中指定$limit参数。例如,以下代码将每次最多插入500条数据:

use thinkacadeDb;

$data = Db::name('user')->select();

$limit = 500;
$total = count($data);
for ($i = 0; $i < $total; $i += $limit) {
    $result = Db::name('user')->insertAll(array_slice($data, $i, $limit));
}

在上述代码中,我们使用循环的方式将数据分批插入。每次最多插入500条数据,直到全部完成。

总结:

在ThinkPHP6中进行大批量数据导入,可能会遇到内存溢出、性能瓶颈等问题,但是通过使用Mysql的LOAD DATA功能、TP6自带的批量插入功能、手动分批插入数据等方法,可以有效提高数据导入的效率。在实际开发过程中,需要根据情况选择合适的方法,以达到最优的导入效果。

相关文章

PHP速学教程(入门到精通)
PHP速学教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
高德地图升级方法汇总
高德地图升级方法汇总

本专题整合了高德地图升级相关教程,阅读专题下面的文章了解更多详细内容。

4

2026.01.16

全民K歌得高分教程大全
全民K歌得高分教程大全

本专题整合了全民K歌得高分技巧汇总,阅读专题下面的文章了解更多详细内容。

3

2026.01.16

C++ 单元测试与代码质量保障
C++ 单元测试与代码质量保障

本专题系统讲解 C++ 在单元测试与代码质量保障方面的实战方法,包括测试驱动开发理念、Google Test/Google Mock 的使用、测试用例设计、边界条件验证、持续集成中的自动化测试流程,以及常见代码质量问题的发现与修复。通过工程化示例,帮助开发者建立 可测试、可维护、高质量的 C++ 项目体系。

10

2026.01.16

java数据库连接教程大全
java数据库连接教程大全

本专题整合了java数据库连接相关教程,阅读专题下面的文章了解更多详细内容。

33

2026.01.15

Java音频处理教程汇总
Java音频处理教程汇总

本专题整合了java音频处理教程大全,阅读专题下面的文章了解更多详细内容。

15

2026.01.15

windows查看wifi密码教程大全
windows查看wifi密码教程大全

本专题整合了windows查看wifi密码教程大全,阅读专题下面的文章了解更多详细内容。

42

2026.01.15

浏览器缓存清理方法汇总
浏览器缓存清理方法汇总

本专题整合了浏览器缓存清理教程汇总,阅读专题下面的文章了解更多详细内容。

7

2026.01.15

ps图片相关教程汇总
ps图片相关教程汇总

本专题整合了ps图片设置相关教程合集,阅读专题下面的文章了解更多详细内容。

9

2026.01.15

ppt一键生成相关合集
ppt一键生成相关合集

本专题整合了ppt一键生成相关教程汇总,阅读专题下面的的文章了解更多详细内容。

6

2026.01.15

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
MySQL 教程
MySQL 教程

共48课时 | 1.8万人学习

MySQL 初学入门(mosh老师)
MySQL 初学入门(mosh老师)

共3课时 | 0.3万人学习

简单聊聊mysql8与网络通信
简单聊聊mysql8与网络通信

共1课时 | 795人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号