windows下用multibytetowidechar+widechartomultibyte转utf8到gbk最稳妥,需注意字符边界、错误处理及缓冲区大小;linux/macos需用iconv,注意平台差异;c++标准库不支持gbk。

Windows下用MultiByteToWideChar + WideCharToMultiByte转UTF8到GBK
Windows API 是最稳妥的方案,因为系统原生支持 GBK(即 CP936),且绕过第三方库依赖。关键不是“能不能转”,而是字符边界和错误处理——UTF8里一个汉字是3字节,GBK里是2字节,直接 memcpy 必然乱码。
实操建议:
立即学习“C++免费学习笔记(深入)”;
- 先用
MultiByteToWideChar(CP_UTF8, ...)把 UTF8 字符串转成wchar_t(宽字符)中间态,注意传入长度时别漏掉末尾\0,否则可能截断 - 再用
WideCharToMultiByte(CP936, ...)转成 GBK 编码的char*,第二个参数推荐加WC_ERR_INVALID_CHARS,遇到非法 UTF8 序列时函数会失败,而不是静默替换为问号 - 目标缓冲区大小要提前用
WideCharToMultiByte(..., NULL, 0, ...)获取,避免栈溢出或堆越界 - 如果源字符串来自网络或文件,务必确认它确实是合法 UTF8;常见错误现象是
MultiByteToWideChar返回 0,GetLastError()得到ERROR_NO_UNICODE_TRANSLATION
Linux/macOS 下没有原生GBK支持,得靠 iconv
POSIX 系统不内置 GBK,iconv 是事实标准。但要注意:glibc 的 iconv 对 GBK 支持叫 GB18030 或 GBK(取决于系统版本),而 macOS 的 libiconv 只认 GBK,不认 GB18030——同一条代码在两平台编译可能一个成功一个失败。
实操建议:
立即学习“C++免费学习笔记(深入)”;
- 初始化时用
iconv_open("GBK", "UTF-8"),不要写"GB18030",除非你明确知道目标环境只支持后者 -
iconv是状态机,输入指针和输出指针都要传地址(char**),且每次调用后它们会自动偏移,别在循环里反复传同一块缓冲区首地址 - 转换失败时
iconv返回(size_t)-1,此时检查errno:常见是E2BIG(输出不够)、EILSEQ(输入非法 UTF8) - 别忘了
iconv_close(),尤其在长期运行的服务中,否则句柄泄漏
用 std::codecvt_utf8_utf16 不行,C++ 标准库不支持 GBK
C++11 引入的 std::codecvt_utf8_utf16 只能处理 UTF8 ↔ UTF16,它根本不认识 CP936 或 GBK。有人试过继承 std::codecvt 自己实现,结果发现 VS2015+ 已弃用整个 codecvt 系列,GCC 也标记为 deprecated——这不是写法问题,是标准库根本没打算支持地区编码。
常见错误现象:
- 编译通过但运行时
use_facet<codecvt></codecvt>抛std::runtime_error - 用
std::wstring_convert包一层,结果非 ASCII 字符全变成?或空字符串 - 误以为
std::locale("Chinese_China.936")能生效——这在 Windows 下也不被 MSVC 支持
跨平台项目建议封装成统一接口,但别抽象过度
真正麻烦的不是单次转换,而是不同平台、不同构建配置(如是否启用 ICU)下行为不一致。比如用 ICU 库虽然功能强,但静态链接时 Windows 上容易因 UCONFIG_NO_CONVERSION 宏导致 GBK 支持被编译掉。
实操建议:
立即学习“C++免费学习笔记(深入)”;
- 头文件里声明
std::string utf8_to_gbk(const std::string& utf8),实现按平台条件编译:Windows 走 WinAPI,Linux/macOS 走iconv - 别把错误处理藏进封装里——比如静默丢弃非法字符。调用方需要知道哪几个字节出错了,所以返回值建议是
std::pair<:string bool></:string>或抛自定义异常 - 测试用例必须包含带 BOM 的 UTF8、无 BOM 的 UTF8、含代理对的 emoji(如 ?)、以及典型 GBK 不支持的 Unicode 字符(如 〇、〆),这些地方最容易暴露边界处理漏洞
最常被忽略的是:GBK 编码本身没有统一标准,Windows 的 CP936 和国标 GBK/GB18030 在部分字符映射上并不完全等价。如果你的程序要和老系统对接,光“能转”不够,还得确认对方实际用的是哪个子集。










