解决 tokenizers 安装兼容性：Rust 编译器严格性与版本升级指南

1. 问题背景与错误分析

在使用 pip install tokenizers==0.12.1 命令安装 tokenizers 库时，用户可能会遇到编译错误，即使 python 版本为 3.6.15，rust 编译器版本为 1.72.0。此类错误通常表现为 rust 编译器发出的警告和错误，例如：

• 可变性警告 (Mutable Warning):

  warning: variable does not need to be mutable
       --> tokenizers-lib\src\models\unigram\model.rs:265:21
        |
    265 |                 let mut target_node = &mut best_path_ends_at[key_pos];
        |                     ----^^^^^^^^^^^
        |                     |
        |                     help: remove this `mut`

  这个警告提示某个变量被声明为可变 (mut)，但实际上其值并未被修改，建议移除 mut 关键字。

• 类型转换错误 (Casting Issue):

  error: casting `&T` to `&mut T` is undefined behavior, even if the reference is unused, consider instead using an `UnsafeCell`
       --> tokenizers-lib\src\models\bpe\trainer.rs:526:47
        |
    522 |                     let w = &words[*i] as *const _ as *mut _;
        |                             -------------------------------- casting happened here
    ...
    526 |                         let word: &mut Word = &mut (*w);
        |                                               ^^^^^^^^^
        |
        = note: for more information, visit 
        = note: `#[deny(invalid_reference_casting)]` on by default

  这是核心错误，指出将不可变引用 &T 直接强制转换为可变引用 &mut T 是一种未定义行为。Rust 编译器（特别是从 1.73.0 版本开始）对此类操作实施了更严格的检查，以确保内存安全和程序行为的确定性。tokenizers 的旧版本（如 0.12.1）可能包含了不符合新编译器严格性要求的代码。

2. 根本原因分析

问题的根源在于 Rust 编译器在特定版本（据社区反馈，可能从 1.73.0 开始）对类型安全和引用转换规则进行了强化。旧版 tokenizers 库（例如 0.12.1）在编写时可能依赖了当时编译器较为宽松的规则，或使用了现在被认为是未定义行为的模式。当使用较新版本的 Rust 编译器（如 1.72.0 及更高版本，尽管 1.72.0 理论上不应触发此特定错误，但实际情况可能因具体补丁或依赖链而异，1.73.0 及其后续版本明确引入了此严格性）编译这些旧代码时，就会触发上述错误。

tokenizers 官方已在后续版本中修复了这些兼容性问题，例如在 0.14.1 版本中解决了与 Rust 编译器严格性相关的构建问题。

3. 解决方案

针对此兼容性问题，主要有两种解决方案：

3.1 方案一：升级 tokenizers 及其相关依赖

这是推荐的首选方案，因为它能利用 tokenizers 官方已修复的兼容性更新。

NexChatGPT

火爆全网的IDEA插件，支持IDEA全家桶

下载

1. 升级 tokenizers 版本： 将 tokenizers 升级到 0.14.1 或更高版本。这些版本已针对新版 Rust 编译器的严格性进行了适配。

   pip install tokenizers>=0.14.1

2. 同步升级其他依赖： 请注意，升级 tokenizers 可能导致与其他库（特别是 transformers）的依赖冲突。例如，如果你的项目要求 transformers==4.19.1，而此版本又要求 tokenizers=4.36。

   如果你的项目使用 requirements.txt 文件管理依赖，你需要修改文件内容：

   - tokenizers==0.12.1
   - transformers==4.19.1
   + tokenizers>=0.14.1
   + transformers>=4.36

   然后重新安装：

   pip install -r requirements.txt

   注意事项：

   • 升级依赖可能会改变项目行为，尤其是在处理大型或敏感项目时。请务必在升级后进行充分测试，以确保项目功能不受影响。
   • 检查项目文档或 pyproject.toml、setup.py 文件，了解其对 tokenizers 和 transformers 的具体版本要求。

3.2 方案二：强制使用旧版 Rust 编译器 (高级)

如果由于项目限制无法升级 tokenizers 或其依赖，或者需要严格复现特定环境，可以尝试强制使用一个更旧、更宽松的 Rust 编译器版本来编译 tokenizers。

1. 安装旧版 Rust 工具链： 使用 rustup 工具安装一个已知与 tokenizers==0.12.1 兼容的旧版 Rust 工具链。根据社区反馈，Rust 1.72.1 或 1.71.1 可能是兼容的选择。

   rustup install 1.72.1 # 或者 rustup install 1.71.1

2. 通过环境变量指定工具链： 在执行 pip install 命令之前，设置 RUSTUP_TOOLCHAIN 环境变量，强制 cargo（Rust 的包管理器，pip 在安装 tokenizers 时会调用它）使用指定的旧版工具链进行编译。

   • Linux/macOS:

     RUSTUP_TOOLCHAIN=1.72.1 pip install tokenizers==0.12.1

   • Windows (Command Prompt):

     set RUSTUP_TOOLCHAIN=1.72.1
     pip install tokenizers==0.12.1

   • Windows (PowerShell):

     $env:RUSTUP_TOOLCHAIN="1.72.1"
     pip install tokenizers==0.12.1

   注意事项：

   • 此方法会绕过当前系统默认的 Rust 工具链，只影响当前命令的执行。
   • 需要确保 rustup 已正确安装并配置。
   • 选择的旧版 Rust 工具链必须与你的操作系统和架构兼容。
   • 这是一种临时的解决方案，长期来看，升级库版本仍然是更稳健的做法。

4. 总结

tokenizers 库的安装问题，特别是与旧版本和新版 Rust 编译器之间的兼容性，是由于 Rust 语言生态系统不断演进，编译器严格性增强所致。解决此问题的最佳实践是升级 tokenizers 及其相关依赖（如 transformers）到最新兼容版本，以利用官方提供的修复。如果升级不可行，可以通过指定旧版 Rust 工具链作为临时或特定环境下的替代方案。无论采用哪种方法，都建议在生产环境部署前进行充分的测试，以确保项目的稳定性和功能完整性。