NotImplementedError: Cannot copy out of meta tensor; no data!错误，通常在使用Hugging Face Transformers库加载和运行大型语言模型时出现，尤其是在GPU显存不足的情况下。该错误表明程序尝试从一个“meta tensor”中复制数据，但该tensor实际上并不包含任何数据。Meta tensor是一种占位符，用于在模型加载初期节省显存，它仅包含tensor的元信息（如形状和数据类型），而实际数据则存储在其他地方，例如CPU或磁盘。
错误原因分析
该错误的主要原因是Accelerate库的自动卸载机制。当GPU显存不足以容纳整个模型时，Accelerate会将部分模型权重卸载到CPU或磁盘，以释放GPU资源。当程序尝试访问这些卸载的权重时，就会触发从meta tensor复制数据的操作，从而导致NotImplementedError。
解决方案
以下是一些可以尝试的解决方案，以解决NotImplementedError错误：
-
调整设备映射 (device_map)
device_map="auto" 是一个方便的选项，但它可能不是最优的。尝试更精确地控制模型的加载方式。例如，可以将部分层加载到GPU，其余加载到CPU。
base_model = AutoModelForCausalLM.from_pretrained( 'meta-llama/Llama-2-7b-chat-hf', token=access_token, trust_remote_code=True, device_map={'model.embed_tokens': 'cuda:0', # 将embedding层加载到GPU 0 'model.layers.0': 'cuda:0', # 将第一层加载到GPU 0 'model.layers.1': 'cuda:0', # 将第二层加载到GPU 0 'model.layers.2': 'cuda:0', # 将第三层加载到GPU 0 'model.layers.3': 'cuda:0', # 将第四层加载到GPU 0 'model.layers.4': 'cuda:0', # 将第五层加载到GPU 0 'model.layers.5': 'cuda:0', # 将第六层加载到GPU 0 'model.layers.6': 'cuda:0', # 将第七层加载到GPU 0 'model.layers.7': 'cuda:0', # 将第八层加载到GPU 0 'model.layers.8': 'cuda:0', # 将第九层加载到GPU 0 'model.layers.9': 'cuda:0', # 将第十层加载到GPU 0 'model.layers.10': 'cuda:0', # 将第十一层加载到GPU 0 'model.layers.11': 'cuda:0', # 将第十二层加载到GPU 0 'model.layers.12': 'cuda:0', # 将第十三层加载到GPU 0 'model.layers.13': 'cuda:0', # 将第十四层加载到GPU 0 'model.layers.14': 'cuda:0', # 将第十五层加载到GPU 0 'model.layers.15': 'cuda:0', # 将第十六层加载到GPU 0 'model.norm': 'cuda:0', # 将norm层加载到GPU 0 'lm_head': 'cuda:0', # 将lm_head加载到GPU 0 'model.layers': 'cpu'}, # 将其余层加载到CPU torch_dtype=torch.float16, offload_folder="offload/" ) model = PeftModel.from_pretrained( base_model, 'FinGPT/fingpt-forecaster_dow30_llama2-7b_lora', token=access_token, offload_folder="offload/" ) model = model.eval() -
使用更小的模型
如果硬件资源有限，可以考虑使用规模更小的模型。例如，可以选择较小的Llama 2模型或其他的轻量级模型。
-
增加GPU显存
如果条件允许，可以升级GPU以获得更大的显存。更大的显存可以容纳整个模型，从而避免权重卸载的问题。
-
使用torch.no_grad()上下文
在不需要计算梯度的推理阶段，可以使用torch.no_grad()上下文来减少显存占用。
with torch.no_grad(): # 在此处运行模型推理 output = model(input_tensor) -
检查Accelerate配置
确保Accelerate库的配置正确。可以使用accelerate config命令来检查和修改配置。特别是，要确保offload_folder参数指向一个有效的目录，并且该目录具有足够的磁盘空间。
注意事项
- 在使用offload_folder参数时，确保指定的目录存在且具有足够的磁盘空间。
- 调整device_map参数时，需要仔细分析模型的结构，并根据硬件资源合理分配各个层到不同的设备。
- 使用更小的模型或增加GPU显存是最根本的解决方案，可以彻底解决显存不足的问题。
总结
NotImplementedError: Cannot copy out of meta tensor; no data!错误是由于GPU显存不足导致的。通过调整设备映射、使用更小的模型、增加GPU显存、使用torch.no_grad()上下文以及检查Accelerate配置，可以有效地解决该错误，并顺利运行大型语言模型。在实际应用中，需要根据具体的硬件资源和模型规模选择合适的解决方案。
