std::string::length() 返回字节数而非字符数，utf-8中中文占3字节、gbk中占2字节，导致统计错误；c++20的std::u8string仍需手动解析utf-8编码单元。
为什么 std::string::length() 不能直接统计中文字符个数
因为 std::string 是字节容器，length() 返回的是字节数，不是字符数。UTF-8 编码下，ASCII 字符占 1 字节，而大部分中文字符占 3 字节（如 “你好” 长度为 6），直接用 length() 会把一个中文算成 3 个“字符”。
- Windows 控制台默认使用 GBK 时，中文占 2 字节，结果又不同
- 跨平台代码必须明确编码假设，否则统计结果不可靠
- 没有 UTF-8 解码逻辑，就无法识别多字节序列边界
用 std::u8string + std::char8_t 遍历 UTF-8 字符（C++20）
C++20 引入了 std::u8string 和 std::char8_t，但注意：它们只是带语义的别名，底层仍是 unsigned char，仍需手动解析 UTF-8 编码单元。
#include <string>
#include <iostream>
int count_utf8_chars(const std::u8string& s) {
int count = 0;
for (size_t i = 0; i < s.size(); ) {
unsigned char b = s[i];
if ((b & 0x80) == 0) {
i += 1; // ASCII
} else if ((b & 0xE0) == 0xC0) {
i += 2; // 2-byte sequence
} else if ((b & 0xF0) == 0xE0) {
i += 3; // 3-byte sequence (most Chinese)
} else if ((b & 0xF8) == 0xF0) {
i += 4; // 4-byte
}
++count;
}
return count;
}
int main() {
std::u8string s = u8"Hello你好123";
std::cout << count_utf8_chars(s) << "\n"; // 输出 9
}
- 该逻辑只适用于严格 UTF-8 输入；遇到非法字节（如截断的 3 字节中文）会越界或计数错误
-
std::u8string在 C++17 中已存在但被当作std::string别名，C++20 才正式语义化，编译需加-std=c++20 - 不依赖第三方库，适合轻量嵌入场景
用 ICU 库做健壮 Unicode 字符计数（推荐生产环境）
ICU（International Components for Unicode）能正确处理组合字符、代理对、BOM、非法序列等边界情况，是工业级方案。
#include <unicode/unistr.h>
#include <unicode/ustream.h>
#include <iostream>
int count_unicode_codepoints(const std::string& utf8_str) {
icu::UnicodeString ustr = icu::UnicodeString::fromUTF8(utf8_str);
return ustr.countChar32(); // 正确统计 Unicode code points
}
int main() {
std::string s = "Hello你好??"; // 含 emoji 组合序列
std::cout << count_unicode_codepoints(s) << "\n"; // 输出 9（不是 10）
}
-
ustr.countChar32()自动跳过代理对，把 emoji ?? 算作 1 个字符（而非 2 个 UTF-16 单元） - 需链接
-licuuc -licudata，Linux/macOS 安装用apt install libicu-dev或brew install icu4c - Windows 需预编译 ICU 或用 vcpkg：
vcpkg install icu:x64-windows
避免踩坑：检查输入编码与运行环境一致性
即使代码逻辑正确，若源文件编码、编译器读取方式、终端显示编码三者不一致，看到的“中文”可能根本不是 UTF-8。
立即学习“C++免费学习笔记（深入）”；
- 确保源文件保存为 UTF-8 无 BOM（VS Code 右下角可切换；Clion 默认 UTF-8）
- g++ 编译时加
-finput-charset=UTF-8 -fexec-charset=UTF-8显式声明 - Windows 控制台默认是 GBK，
chcp 65001切到 UTF-8 后再运行，否则中文输出乱码，输入也可能是 GBK 编码 - 用
std::filesystem::path构造含中文路径时，Windows 下建议用std::wstring+CreateFileW，避免 UTF-8 路径在 API 层被误解释
真正难的不是写一个计数函数，而是让整个工具链从文件读入、内存表示、到终端输出，全程保持编码意图不变。漏掉任意一环，统计结果就只是“看起来对”。
