0

0

Golang Unicode/Utf16与Utf8互转_处理Windows平台特定编码

P粉602998670

P粉602998670

发布时间:2026-02-20 15:15:11

|

411人浏览过

|

来源于php中文网

原创

go无内置utf-16编解码支持,unicode/utf16仅转换rune与uint16切片,不处理字节序、bom或空终止;应使用golang.org/x/text/encoding/unicode包,并注意windows api调用时手动补零及正确预估长度。

golang unicode/utf16与utf8互转_处理windows平台特定编码

Go 里没有内置 UTF-16 编码支持,unicode/utf16 只处理编码转换逻辑,不负责字节序或 BOM

Go 标准库的 unicode/utf16 包不是编解码器,它只提供 EncodeDecode 函数,把 []rune[]uint16 互相转换。它不碰字节([]byte),也不管你是 Little-Endian 还是 Big-Endian,更不会自动识别或写入 BOM。
Windows API(如 WideCharToMultiByte)默认用 UTF-16LE,而 Go 的 encoding/binary 需你显式指定 binary.LittleEndian 才能正确序列化 []uint16 成字节流。

  • 常见错误现象:string(unsafe.Slice(&u16[0], len(u16)*2)) 直接转字符串 → 字节序错乱,Windows 上读出来是乱码
  • 正确做法:先 utf16.Decode 得到 []rune,再用 []byte(string(runes)) 转 UTF-8;反向则先 UTF-8 解码为 []rune,再 utf16.Encode + binary.Write(指定 LE)
  • Windows 场景下必须手动处理 BOM:UTF-16LE 的 BOM 是 \xff\xfe,但 Go 程序读文件时若带 BOM,os.ReadFile 会原样返回,需自己跳过前 2 字节再解码

golang.org/x/text/encoding/unicode 是唯一靠谱的 UTF-16 编解码器

如果你要读写磁盘上真实的 UTF-16 文件(比如 Windows 记事本保存的 .txt),别手写转换逻辑——直接用 x/text/encoding/unicode。它封装了 BOM 检测、字节序自动识别、以及与 io.Reader/Writer 的无缝对接。

  • 使用场景:读取 Windows 生成的 UTF-16LE 文件、向 COM 接口传 UTF-16 字节、与 Cgo 调用 Windows API 交互
  • 关键参数:unicode.UTF16(unicode.LittleEndian, unicode.UseBOM) —— UseBOM 表示写入时加 BOM,读取时自动跳过;若设为 unicode.ExpectBOM,则读取时强制要求 BOM,缺则报 encoding.ErrInvalidUTF16
  • 性能影响:比纯 utf16.Decode 多一次内存拷贝,但对大多数 I/O 场景可忽略;兼容性远高于手撸逻辑,尤其在跨平台混合 BOM 存在时

Cgo 调用 Windows API 时,*uint16 必须指向以 \x00\x00 结尾的 UTF-16LE 字节块

Windows 的宽字符 API(如 CreateFileWSetWindowTextW)接收 LPCWSTR,即指向 uint16 的空终止指针。Go 中不能直接传 []uint16,必须用 C.CString 类思路手动构造,并确保末尾双字节为零。

Cognitive Mill
Cognitive Mill

一个云计算平台,可以分析视频并自动生成预告片

下载
  • 常见错误现象:C.GoBytes(unsafe.Pointer(&u16[0]), C.int(len(u16)*2)) → 缺少结尾 \x00\x00,API 调用崩溃或截断字符串
  • 正确做法:分配 len(runes) + 1uint16,最后一位清零;用 C.CString 不行(它按字节处理),得用 C.malloc + unsafe.Slice + copy
  • 注意:utf16.Encode 输出不含结尾零,必须手动补;且整个切片需保持有效生命周期,不能是局部 []uint16 的底层数组

UTF-8 和 UTF-16 长度不等价,len([]byte(s)) != len(utf16.Encode([]rune(s))) * 2

一个中文字符在 UTF-8 占 3 字节,在 UTF-16 占 2 字节;但遇到 Unicode 辅助平面字符(如 emoji ?、古汉字),UTF-16 需要两个 uint16(代理对),而 UTF-8 仍只需 4 字节。所以长度换算绝不能硬乘除。

立即学习go语言免费学习笔记(深入)”;

  • 典型坑:buf := make([]byte, len(src)*2) 预估 UTF-16 字节长度 → 对含 emoji 的字符串严重溢出
  • 安全做法:先 utf16.Encode([]rune(s)) 得到 []uint16,再用 len(u16) * 2;或直接用 x/text/encodingEncoder.Size 方法预估
  • Windows 路径限制:MAX_PATH 是字符数(wchar_t 个数),不是字节数。所以判断路径是否超长,该用 len(utf16.Encode([]rune(path))),而非 len([]byte(path))

事情说清了就结束。最常被绕开的是 BOM 处理和空终止——这两点在 Windows 平台几乎必踩,而且错误表现往往延迟到运行时才暴露。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
golang如何定义变量
golang如何定义变量

golang定义变量的方法:1、声明变量并赋予初始值“var age int =值”;2、声明变量但不赋初始值“var age int”;3、使用短变量声明“age :=值”等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

207

2024.02.23

golang有哪些数据转换方法
golang有哪些数据转换方法

golang数据转换方法:1、类型转换操作符;2、类型断言;3、字符串和数字之间的转换;4、JSON序列化和反序列化;5、使用标准库进行数据转换;6、使用第三方库进行数据转换;7、自定义数据转换函数。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

239

2024.02.23

golang常用库有哪些
golang常用库有哪些

golang常用库有:1、标准库;2、字符串处理库;3、网络库;4、加密库;5、压缩库;6、xml和json解析库;7、日期和时间库;8、数据库操作库;9、文件操作库;10、图像处理库。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

348

2024.02.23

golang和python的区别是什么
golang和python的区别是什么

golang和python的区别是:1、golang是一种编译型语言,而python是一种解释型语言;2、golang天生支持并发编程,而python对并发与并行的支持相对较弱等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

212

2024.03.05

golang是免费的吗
golang是免费的吗

golang是免费的。golang是google开发的一种静态强类型、编译型、并发型,并具有垃圾回收功能的开源编程语言,采用bsd开源协议。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

403

2024.05.21

golang结构体相关大全
golang结构体相关大全

本专题整合了golang结构体相关大全,想了解更多内容,请阅读专题下面的文章。

344

2025.06.09

golang相关判断方法
golang相关判断方法

本专题整合了golang相关判断方法,想了解更详细的相关内容,请阅读下面的文章。

197

2025.06.10

golang数组使用方法
golang数组使用方法

本专题整合了golang数组用法,想了解更多的相关内容,请阅读专题下面的文章。

990

2025.06.17

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

776

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Go 教程
Go 教程

共32课时 | 5.3万人学习

Go语言实战之 GraphQL
Go语言实战之 GraphQL

共10课时 | 0.8万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号