理解 AWS Lambda 运行时环境的依赖管理
在 aws lambda 上开发 python 函数时，一个常见的挑战是确保本地开发环境与 lambda 运行时环境之间依赖库的一致性。aws lambda 为每个 python 运行时（如 python 3.9、3.12 等）预装了一系列常用的 python 模块，例如 boto3、botocore 等。然而，这些预装模块的具体版本可能会随着时间的推移而更新，或者与本地开发环境中安装的版本存在差异。
例如，开发者在本地使用 urllib3 的较新版本时，可能会用到 HTTPResponse.json() 这样的便捷方法。但在某个特定的 Lambda Python 运行时中，如果 urllib3 的版本较旧，该方法可能不存在，从而导致 AttributeError。为了避免此类运行时错误，并尽可能利用 Lambda 预装的模块以减少部署包大小，了解运行时环境中到底包含了哪些模块及其确切版本至关重要。
动态查询 Lambda 运行时模块的方法
幸运的是，Python 3.8 及更高版本引入的 importlib.metadata 模块提供了一种标准化的方式来访问已安装包的元数据，包括它们的版本信息。我们可以利用这一特性，在 AWS Lambda 环境中执行一个简单的函数来动态地列出所有预装模块及其版本。
部署查询 Lambda 函数
以下是一个用于查询 Lambda 运行时模块信息的 Python 函数代码。您可以将其部署为一个新的 Lambda 函数，选择您感兴趣的 Python 运行时（例如 Python 3.12），然后调用它。
import json
from importlib.metadata import packages_distributions, version
def lambda_handler(event, context):
"""
Lambda 函数处理器，用于列出当前运行时环境中所有已安装的 Python 模块及其版本。
"""
installed_modules_info = []
# packages_distributions() 返回一个字典，键是包名，值是该包包含的模块列表
# 遍历所有已知的包，并获取其版本信息
for distributions in packages_distributions().values():
for pkg_name in distributions:
try:
# 尝试获取模块的版本
pkg_version = version(pkg_name)
installed_modules_info.append({"name": pkg_name, "version": pkg_version})
except Exception as e:
# 某些情况下，packages_distributions可能包含无法直接通过version()查询的内部组件
# 忽略这些错误，或者记录下来以便调试
print(f"无法获取模块 '{pkg_name}' 的版本信息: {e}")
# 将结果作为 JSON 字符串返回
return {
'statusCode': 200,
'body': json.dumps(installed_modules_info)
}
代码解释：
立即学习“Python免费学习笔记（深入）”；
- import json: 用于将最终结果格式化为 JSON 字符串。
-
from importlib.metadata import packages_distributions, version: 导入 importlib.metadata 模块中的两个关键函数。
- packages_distributions(): 返回一个字典，其键是分发包的名称（通常与模块名相同），值是一个包含该分发包所包含的所有顶级模块名的列表。例如，{'boto3': ['boto3'], 'botocore': ['botocore']}。
- version(package_name): 接受一个包名作为参数，并返回该包的版本字符串。
- 循环遍历和信息收集: 代码通过嵌套循环遍历 packages_distributions() 返回的所有模块，并使用 version() 函数获取每个模块的版本号，然后将模块名和版本号存储在一个字典列表中。
- 返回结果: 函数最终返回一个包含 statusCode 和 body 的字典，其中 body 是一个 JSON 字符串，包含了所有查询到的模块信息。
示例输出
当您调用上述 Lambda 函数时，它将返回一个类似以下的 JSON 响应体（具体内容会因运行时版本而异）：
{
"statusCode": 200,
"body": "[{\"name\": \"pip\", \"version\": \"23.2.1\"}, {\"name\": \"simplejson\", \"version\": \"3.17.2\"}, {\"name\": \"awslambdaric\", \"version\": \"2.0.10\"}, {\"name\": \"botocore\", \"version\": \"1.34.42\"}, {\"name\": \"boto3\", \"version\": \"1.34.42\"}, {\"name\": \"s3transfer\", \"version\": \"0.10.0\"}, {\"name\": \"jmespath\", \"version\": \"1.0.1\"}, {\"name\": \"python-dateutil\", \"version\": \"2.8.2\"}, {\"name\": \"six\", \"version\": \"1.16.0\"}, {\"name\": \"urllib3\", \"version\": \"1.26.18\"}]"
}请注意，body 字段实际上是一个 JSON 字符串，您需要对其进行解析才能获取实际的模块列表。解析后，您会得到一个 Python 列表，其中每个元素都是一个字典，包含 name（模块名）和 version（版本号）。
[
{
"name": "pip",
"version": "23.2.1"
},
{
"name": "simplejson",
"version": "3.17.2"
},
{
"name": "awslambdaric",
"version": "2.0.10"
},
{
"name": "botocore",
"version": "1.34.42"
},
{
"name": "boto3",
"version": "1.34.42"
},
{
"name": "s3transfer",
"version": "0.10.0"
},
{
"name": "jmespath",
"version": "1.0.1"
},
{
"name": "python-dateutil",
"version": "2.8.2"
},
{
"name": "six",
"version": "1.16.0"
},
{
"name": "urllib3",
"version": "1.26.18"
}
]从上述输出中，您可以清晰地看到每个预装模块的名称及其对应的版本号。例如，urllib3 的版本是 1.26.18。通过比对这个版本与您本地开发环境中的版本，您可以判断是否存在兼容性问题，并决定是否需要调整代码或打包特定版本的依赖。
注意事项与最佳实践
- 动态性与准确性: 这种方法直接查询实际运行的 Lambda 环境，因此其结果是最准确、最实时的。它比查阅静态文档或第三方列表更为可靠，因为那些信息可能不会及时更新。
-
版本兼容性: 一旦获取了运行时模块版本，您就可以据此调整您的代码。如果某个核心库（如 urllib3）的版本过旧，缺少您需要的功能，您有两种选择：
- 代码适配: 修改代码以适应旧版本的功能（例如，将 response.json() 改为 json.loads(response.data)）。
- 打包依赖: 将所需的新版本模块打包到您的 Lambda 部署包中。请注意，打包的模块会优先于运行时预装的模块加载。
- 不同运行时版本: AWS 会定期发布新的 Python 运行时版本。每个新版本都可能更新其预装模块的版本。因此，如果您更换了 Lambda 函数的运行时（例如从 Python 3.9 切换到 3.12），建议重新运行此查询函数以获取最新的依赖信息。
- 减少部署包大小: 了解预装模块有助于您避免不必要的打包。如果您的代码依赖的模块及其版本已经预装在 Lambda 运行时中，您就不需要将它们包含在您的部署包中，从而减小包的大小，加快部署速度。
- importlib.metadata 的限制: importlib.metadata 主要用于查询通过标准方式（如 pip）安装的包。对于某些可能不是作为独立包安装的系统级组件或特殊环境配置，它可能无法提供完整信息。但在 Lambda 的标准 Python 运行时中，它通常能满足大部分需求。
总结
通过部署一个简单的 Lambda 函数并利用 Python 的 importlib.metadata 模块，开发者可以轻松、准确地获取 AWS Lambda Python 运行时环境中预装模块的详细版本信息。这种方法极大地简化了运行时依赖管理，帮助开发者在本地开发与云端部署之间建立可靠的桥梁，有效避免了因版本不匹配导致的运行时错误，并为优化 Lambda 函数的部署和性能提供了坚实的基础。
