直接读取utf-16文件会乱码，因为c++默认字符编码不兼容utf-16且未正确处理字节序。1. 使用wifstream结合codecvt处理宽字符；2. 检测bom以确定字节序（utf-16le为0xfffe，utf-16be为0xfeff）；3. 设置对应locale并跳过bom；4. 无bom时需推断编码或尝试读取；5. 可用wstring_convert将utf-16转为utf-8。
处理C++中的UTF-16编码文件，核心在于使用
wifstream读取宽字符，并结合
codecvt进行编码转换。这并非总是直接就能搞定的，需要注意字节序和文件头的处理。
使用
wifstream和
codecvt处理UTF-16编码文件。
为什么直接读取UTF-16文件会乱码？
直接用
ifstream读取UTF-16文件，或者即使使用
wifstream但不进行正确的编码转换，都会导致乱码。这是因为C++默认的字符编码通常是UTF-8或系统本地编码，与UTF-16不兼容。
wifstream虽然处理宽字符，但如果未指定如何将文件中的UTF-16数据解释为宽字符，它仍然会按照默认方式处理，从而产生错误。此外，UTF-16有大端和小端之分，字节序错误也会导致乱码。
立即学习“C++免费学习笔记（深入）”；
如何正确读取UTF-16文件？
首先，需要确定文件的字节序（Byte Order Mark, BOM）。UTF-16LE（Little Endian）的BOM是
0xFF 0xFE，UTF-16BE（Big Endian）的BOM是
0xFE 0xFF。如果文件没有BOM，则需要根据上下文或其他信息来推断字节序。然后，使用
std::locale和
std::codecvt_utf16来正确地读取和转换文件内容。
#include <iostream>
#include <fstream>
#include <locale>
#include <codecvt>
#include <string>
// 自动检测BOM并返回编码类型
enum class Encoding {
UTF16LE,
UTF16BE,
Unknown
};
Encoding detectEncoding(const std::string& filename) {
std::ifstream file(filename, std::ios::binary);
if (!file) {
return Encoding::Unknown;
}
char bom[2];
if (file.read(bom, 2)) {
if (bom[0] == (char)0xFF && bom[1] == (char)0xFE) {
return Encoding::UTF16LE;
} else if (bom[0] == (char)0xFE && bom[1] == (char)0xFF) {
return Encoding::UTF16BE;
}
}
return Encoding::Unknown;
}
int main() {
std::string filename = "utf16_example.txt"; // 替换为你的UTF-16文件名
Encoding encoding = detectEncoding(filename);
std::wifstream wif(filename, std::ios::binary); // 二进制模式很重要
if (!wif.is_open()) {
std::cerr << "无法打开文件" << std::endl;
return 1;
}
// 根据检测到的编码设置locale
if (encoding == Encoding::UTF16LE) {
std::locale utf16le_locale(std::locale(), new std::codecvt_utf16<wchar_t, 0x10ffff, std::little_endian>);
wif.imbue(utf16le_locale);
wif.seekg(2); // 跳过BOM
} else if (encoding == Encoding::UTF16BE) {
std::locale utf16be_locale(std::locale(), new std::codecvt_utf16<wchar_t, 0x10ffff, std::big_endian>);
wif.imbue(utf16be_locale);
wif.seekg(2); // 跳过BOM
} else {
std::cerr << "未知编码或没有BOM，尝试UTF-16LE" << std::endl;
std::locale utf16le_locale(std::locale(), new std::codecvt_utf16<wchar_t, 0x10ffff, std::little_endian>);
wif.imbue(utf16le_locale);
}
std::wstring line;
while (std::getline(wif, line)) {
std::wcout << line << std::endl;
}
return 0;
}这段代码首先检测BOM，然后根据BOM设置
wifstream的
locale，并跳过BOM。如果检测不到BOM，则默认尝试UTF-16LE。注意，二进制模式打开文件至关重要，否则可能会错误地解释文件内容。
如何处理没有BOM的UTF-16文件？
如果UTF-16文件没有BOM，情况会变得复杂。你可能需要根据文件名、文件内容或其他元数据来推断编码。如果没有这些信息，可以尝试先用UTF-16LE读取，如果出现乱码，再尝试UTF-16BE。但这并不是一个可靠的方法，最好还是确保UTF-16文件包含BOM。
codecvt_utf16的模板参数有什么含义？
codecvt_utf16是一个模板类，其模板参数有特殊含义：
wchar_t
: 指定用于存储宽字符的类型。通常是wchar_t
，但也可以是其他类型，如char16_t
或char32_t
（C++11）。0x10ffff
: 指定最大Unicode码点。这个值是Unicode标准定义的，表示Unicode可以表示的所有字符的上限。std::little_endian
或std::big_endian
: 指定字节序。
如何将读取的UTF-16数据转换为UTF-8？
读取UTF-16数据后，你可能需要将其转换为UTF-8。可以使用
std::wstring_convert和
std::codecvt_utf8_utf16来实现。
#include <locale>
#include <codecvt>
#include <string>
std::string utf16_to_utf8(const std::wstring& utf16_string) {
std::wstring_convert<std::codecvt_utf8_utf16<wchar_t>> converter;
return converter.to_bytes(utf16_string);
}使用时，先读取UTF-16文件到
std::wstring，然后使用
utf16_to_utf8函数将其转换为UTF-8
std::string。
