Go 无法直接通过 EXEC 或 PREPARE 执行 COPY table FROM 'file' 这类服务端文件路径式 COPY 命令；必须使用 lib/pq 提供的流式 CopyIn 接口，由客户端将数据分批发送至服务器完成高效批量导入。
go 无法直接通过 `exec` 或 `prepare` 执行 `copy table from 'file'` 这类服务端文件路径式 copy 命令；必须使用 lib/pq 提供的流式 `copyin` 接口，由客户端将数据分批发送至服务器完成高效批量导入。
在 PostgreSQL 中，COPY ... FROM 'path/to/file' 是一个服务端命令：它要求数据库进程自身能访问该文件路径（通常需位于数据库服务器本地），且需超级用户权限。而 Go 应用作为客户端运行在远程机器上，直接传入本地 CSV 路径（如 /tmp/data.csv）会导致 PostgreSQL 尝试在服务端查找该路径，不仅失败，更会触发协议级错误 —— 这正是你遇到 pq: unknown response for copy query: 'C' 的根本原因：lib/pq 检测到服务器意外返回了 COPY 启动响应（代码 'C'），但当前上下文未进入 COPY 模式，协议握手失败。
✅ 正确做法是利用 lib/pq 的 pq.CopyIn / pq.CopyInSchema 系列函数，它们实现了 PostgreSQL 的 COPY FROM STDIN 协议。Go 客户端主动建立 COPY 流，逐行或批量写入数据，全程不依赖服务端文件系统，安全、可控、跨平台。
✅ 推荐实现：使用 pq.CopyIn 批量导入 CSV 数据
以下是一个生产就绪的示例，支持从本地 CSV 文件读取并导入指定表（含 Schema）：
import (
"database/sql"
"encoding/csv"
"fmt"
"io"
"log"
"os"
"github.com/lib/pq"
)
func CopyFromCSV(db *sql.DB, schema, table string, columns []string, csvPath string) error {
// 1. 开启事务确保原子性
tx, err := db.Begin()
if err != nil {
return fmt.Errorf("failed to begin transaction: %w", err)
}
defer func() {
if err != nil {
tx.Rollback()
}
}()
// 2. 准备 COPY 流（注意：列名必须与表结构严格一致）
stmt, err := tx.Prepare(pq.CopyInSchema(schema, table, columns...))
if err != nil {
return fmt.Errorf("failed to prepare COPY statement: %w", err)
}
defer stmt.Close()
// 3. 打开并解析 CSV 文件
file, err := os.Open(csvPath)
if err != nil {
return fmt.Errorf("failed to open CSV file: %w", err)
}
defer file.Close()
reader := csv.NewReader(file)
reader.FieldsPerRecord = len(columns) // 强制校验列数
// 4. 跳过 Header 行（若 CSV 含 header）
if _, err := reader.Read(); err != nil && err != io.EOF {
return fmt.Errorf("failed to read CSV header: %w", err)
}
// 5. 逐行读取并写入 COPY 流
for i := 1; ; i++ {
record, err := reader.Read()
if err == io.EOF {
break
}
if err != nil {
return fmt.Errorf("failed to read CSV line %d: %w", i, err)
}
// 将 string 切片转换为 interface{}[]（注意类型匹配！）
args := make([]interface{}, len(record))
for j, v := range record {
args[j] = v // 字符串可直接传入；如需其他类型（int/bool/time），请提前转换
}
if _, err := stmt.Exec(args...); err != nil {
return fmt.Errorf("failed to exec COPY for line %d: %w", i, err)
}
}
// 6. 发送结束信号并提交
if _, err := stmt.Exec(); err != nil { // 第二个 Exec() 表示流结束
return fmt.Errorf("failed to finalize COPY: %w", err)
}
return tx.Commit()
}⚠️ 关键注意事项
- 列顺序必须严格一致：pq.CopyInSchema(schema, table, columns...) 中的 columns 参数顺序，必须与 CSV 每行字段顺序、以及目标表物理列顺序完全对应。
- 类型转换需手动处理：stmt.Exec() 仅接受 interface{}，CSV 默认读出为 string。若目标列为 INT, BOOLEAN, TIMESTAMP 等，务必在 args 构造前完成强转（例如 strconv.Atoi, time.Parse），否则将报类型错误。
- 事务与资源管理：COPY 必须在事务内执行；务必调用 stmt.Close() 和 tx.Commit()，否则连接可能泄漏或数据未持久化。
-
性能优化建议：
- 对于超大文件，可分批次 Exec()（例如每 1000 行调用一次），避免内存暴涨；
- 使用 pq.CopyIn 而非 pq.CopyInSchema 可省略 schema 名（适用于 public schema）；
- 确保目标表已存在且结构匹配，COPY 不创建表。
- 替代方案考虑：若需更高性能或更复杂格式（如带 NULL 处理、编码转换），可结合 github.com/jackc/pgx/v5（原生 pgx 驱动）的 CopyFrom 方法，其 API 更现代、错误提示更清晰。
总之，Go 中 PostgreSQL 的高效批量导入，不是“执行一条 SQL”，而是“建立一条数据管道”。拥抱 pq.CopyIn 的流式语义，才能真正发挥 COPY 协议的性能优势。
