
本文揭示 CodeIgniter 中 get() 方法在循环分块查询时仅返回首块数据的根本原因——每次调用会重置查询构建器状态,并提供安全、高效的分块导出 CSV 的完整实现方案。
本文揭示 codeigniter 中 `get()` 方法在循环分块查询时仅返回首块数据的根本原因——每次调用会重置查询构建器状态,并提供安全、高效的分块导出 csv 的完整实现方案。
在使用 CodeIgniter 进行大数据量导出(如生成 CSV 文件)时,开发者常采用「分块查询(chunked query)」策略:通过 LIMIT 和 OFFSET 分批读取数据库记录,避免内存溢出或超时。然而,如问题所示,以下典型写法会导致仅首块(如前 2000 行)被写入文件,后续循环始终返回空或重复数据:
while ($offset < $totalRows) {
$result = $this->db->get('tblProgram', $chunk, $offset)->result_array(); // ❌ 问题所在
// ... 处理结果
$offset += $chunk;
}根本原因:get() 方法会自动重置查询构建器
查阅 CodeIgniter 源码(DB_query_builder.php#L2521)可知,get() 方法内部执行了关键操作:
public function get($table = '', $limit = NULL, $offset = NULL)
{
if ($table !== '') {
$this->_track_aliases($table);
$this->from($table); // ⚠️ 重设 FROM 表!
}
if (!empty($limit)) {
$this->limit($limit, $offset); // ⚠️ 覆盖原有 LIMIT/OFFSET
}
$result = $this->query($this->_compile_select());
$this->_reset_select(); // ✅ 彻底清空所有 WHERE、JOIN、ORDER BY 等状态!
return $result;
}这意味着:每次调用 $this->db->get(...) 都会丢弃此前设置的所有查询条件(包括 join()、order_by()、where() 等),仅保留最后一次 from() 和 limit()。因此,第二次循环时,$this->db->join() 和 $this->db->order_by() 已失效,实际执行的是一个不带关联、无排序的裸表查询 —— 很可能因主键缺失或索引失效导致结果集异常,甚至因优化器选择全表扫描而返回错误偏移。
正确做法:复用查询构造器 + 手动编译 + 避免 get()
应避免在循环内反复调用 get(),而是:
- 一次性构建完整查询结构(含 JOIN、WHERE、ORDER BY);
- 在循环中仅动态注入 LIMIT 和 OFFSET;
- 使用 query() 执行已编译的 SQL,绕过 get() 的重置逻辑。
以下是修复后的专业实现(兼容 CI 3.x):
public function get_download_tree_data($options = array(), $rand = "")
{
// 1. 构建基础查询(不执行)
$this->db->select('tblTrees.*'); // 明确字段,避免 SELECT *
$this->db->from('tblProgram');
$this->db->join('tblPlots', 'tblPlots.programID = tblProgram.pkProgramID');
$this->db->join('tblTrees', 'tblTrees.treePlotID = tblPlots.id');
$this->db->order_by('tblTrees.id', 'ASC');
// 2. 获取总行数(注意:COUNT(*) 应基于最终 JOIN 结果)
$count_query = clone $this->db;
$allResults = $count_query->count_all_results(); // ✅ 安全获取总数
// 3. 初始化文件句柄
$treePath = $this->config->item('temp_path') . "$rand/trees.csv";
$tree_handle = fopen($treePath, 'w'); // 使用 'w' 而非 'a',确保新文件
if (!$tree_handle) {
throw new Exception("无法创建 CSV 文件: $treePath");
}
$chunk = 2000;
$offset = 0;
// 4. 分块执行查询
while ($offset < $allResults) {
// 克隆原始查询对象,避免污染
$query = clone $this->db;
$query->limit($chunk, $offset);
$sql = $query->_compile_select(); // 获取编译后 SQL
$result = $this->db->query($sql)->result_array();
// 写入 CSV(首块写入 header)
if ($offset === 0 && !empty($result)) {
fputcsv($tree_handle, array_keys($result[0])); // 写入列名
}
foreach ($result as $row) {
fputcsv($tree_handle, $row);
}
$offset += $chunk;
}
fclose($tree_handle);
return ['resultCount' => $allResults];
}关键注意事项与最佳实践
- ✅ 永远 clone 查询构建器:防止循环中修改原始 $this->db 实例;
- ✅ 显式 select() 字段:避免 SELECT * 导致 CSV 列顺序不可控或性能下降;
- ✅ 使用 count_all_results() 前克隆对象:确保计数查询与数据查询逻辑一致;
- ✅ CSV 文件用 'w' 模式打开:避免追加写入导致脏数据;
- ⚠️ 慎用大 OFFSET:当 offset 较大时(如 >10万),MySQL 性能急剧下降。推荐改用「基于游标的分页(cursor-based pagination)」,例如:
$this->db->where('tblTrees.id >', $last_id); // 替代 OFFSET - ? 添加错误处理:如 fopen() 失败、query() 异常等,提升鲁棒性。
通过理解 CodeIgniter 查询构建器的生命周期机制,并采用手动 SQL 编译 + 克隆执行的方式,即可彻底解决分块查询「只取首块」的问题,实现稳定、可扩展的大数据导出功能。









