我最近遇到一个场景，需要从本地 mongodb atlas triggers 下载大量日志。目前从atlas下载日志的方式有3种：
- 使用 gui
- 使用 cli
- 使用应用服务管理 api
但是，gui 和 cli 选项对于可下载的日志量有限制，特别是 10,000 条日志的上限。
gui 和 cli 对日志下载的限制
使用 gui
通过 gui，用户可以按日期、类型、用户 id 或请求 id 过滤日志，但下载时的限制设置为 10,000 个日志。
使用 cli
使用 cli，我们可以运行如下命令：
appservices logs list --project 5e208aa2d5ec1375ecd5*** --app triggers_realmapp-**** --type=trigger --start="2024-10-15t00:00:00.000+0000" -o log.logs
但是，这也有相同的下载限制，即 10,000 个日志。
解决方案：带分页的应用服务管理 api
为了克服这些下载限制，应用服务管理 api 提供了一种通过分页访问日志的方法。通过实施分页，用户可以获取超出默认 10k 限制的日志。
有关通过 api 使用分页的详细说明可以在 mongodb 文档中找到：获取分页日志。
建议的解决方案：用于大型日志下载的自动化脚本
为了简化这一过程，我开发了一个使用分页自动获取日志的脚本。该脚本可在此处的公共存储库中找到：atlas app logs aggregator。
脚本的主要特点
- 自动日志获取：从 mongodb atlas 应用服务获取日志，并通过分页支持大型日志集。
- 灵活的日期范围过滤：允许使用 start_date 和 end_date 参数进行可选的日期过滤。
- iso 8601 验证：验证日期以确保它们遵循 iso 8601 格式。
- 安全身份验证：支持使用 mongodb atlas 公共和私有 api 密钥进行身份验证。
- 可选的user_id，用于用户id过滤日志。
- 可选的co_id，用于相关id过滤日志。
- 使用errors_only选项仅获取错误日志。
- 使用 --filter 选项按键值对过滤日志。
该脚本仅使用 get 端点并将日志聚合到文件中，而不修改任何数据。
如何使用
要求
- python 3.6 或更高版本。
- requirements.txt 库依赖项。
安装
创建虚拟环境
python3 -m venv venv source venv/bin/activate # on windows use `venv\scripts\activate`
安装依赖项
pip install -r requirements.txt
用法
命令行参数
- project_id (必填)：atlas 项目 id（十六进制字符串）。 app_id (必填)：应用程序 id（字符串）。
- public_api_key（必需）：atlas 公共 api 密钥（字符串）。
- private_api_key（必需）：atlas 私有 api 密钥（带连字符的字符串）。
- --start_date（可选）：iso 8601 格式的开始日期 (yyyy-mm-ddthh:mm:ss.mmmz)。
- --end_date（可选）：iso 8601 格式的结束日期 (yyyy-mm-ddthh:mm:ss.mmmz)。
- --type（可选）：支持的日志类型的逗号分隔列表。目前，可用的类型有：trigger_failure、trigger_error_handler、db_trigger、auth_trigger、scheduled_trigger、function、service_function、stream_function、service_stream_function、auth、webhook、endpoint、push、api、api_key、sync_connection_start、 sync_connection_end、sync_session_start、sync_session_end、sync_client_write、sync_error 、sync_other、schema_additive_change、schema_generation、schema_validation、log_forwarder
- --user_id（可选）：仅返回与给定 user_id 关联的日志消息。
- --co_id（可选）：仅返回与给定请求相关 id 关联的日志消息。
- --filter（可选）：按键值对过滤日志（例如，--filter event_subscription_name=<trigger_name>,function_name=<function_name>）。
- --errors_only（可选）：仅返回错误日志消息。
- --verbose （可选）：启用详细日志信息。
例子
python main.py <project_id> <app_id> <public_api_key> <private_api_key> --start_date 2024-10-05t14:30:00.000z --end_date 2024-10-06t14:30:00.000z --type trigger_failure,schema_generation
带有可选参数
python main.py <project_id> <app_id> <public_api_key> <private_api_key> --start_date 2024-10-05t14:30:00.000z --type trigger_failure,schema_generation --user_id 671d2e2010733ecbaa2bab8f --filter event_subscription_name=getunpausedclustersmetrics
如果未提供 start_date 和 end_date，脚本将默认 start_date 为距离当前时间最近 24 小时。
过滤日志
--filter 选项允许您按键值对过滤日志。此选项接受多个以空格分隔的键值对。每个键值对的格式应为 key=value。
键值对必须是端点返回的值。这样它将使用它们来过滤并仅保留那些匹配的。例如，对于“type”：“scheduled_trigger”，响应键值将类似于：
{
"_id": "671d2e2010733ecbaa2bab8f",
"co_id": "671d2e2010733ecbaa2bab8d",
"type": "scheduled_trigger",
"domain_id": "65b0fc719629ac8e4d8e8774",
"app_id": "65b0fc719629ac8e4d8e8773",
"group_id": "658d46ca7605526eb45222a4",
"request_url": "",
"request_method": "",
"started": "2024-10-26t18:00:00.041z",
"completed": "2024-10-26t18:00:04.124124z",
"function_id": "65f31f9f3bfc77348cb1e2e7",
"function_name": "getorgclustersprojects",
"error": "functionerror: cannot access member 'db' of undefined",
"event_subscription_id": "65f335c53d26a2b1ba5d7ba2",
"event_subscription_name": "getunpausedclustersmetrics",
"messages": [
"reading projects for page: 1",
"hay m\u00e1s p\u00e1ginas",
"reading projects for page: 2",
"fin"
],
"mem_time_usage": 4081000000
}
我们可以在 --filter 选项中使用其中任何一个（例如，--filter event_subscription_name=getunpausedclustersmetrics）
记录
该脚本支持记录到控制台和日志文件。默认情况下，日志文件存储在logs文件夹中。日志文件名包含时间戳，以确保每次运行的唯一性。
--verbose：使用此标志时，日志级别设置为 debug，提供详细的日志记录信息。如果没有此标志，日志级别将设置为 info。
日志文件位置
日志文件存储在logs文件夹中。每个日志文件都以时间戳命名，以确保来自不同运行的日志不会相互覆盖。
日志文件名示例
logs/app_20241005_143000.log
好处
- 自动日志检索：轻松从 mongodb atlas 应用服务获取日志，无需手动干预。
- 日期范围过滤：按日期范围过滤日志以关注特定时期。
- 分页支持：使用分页有效处理大量日志。
- 验证：确保日期输入格式正确，以避免错误。
免责声明
请注意：此存储库“按原样”发布，不提供任何形式的保证，包括但不限于其安装、使用或性能。我们不承担任何及所有明示或暗示的保证，包括但不限于对非侵权、适销性和/或特定用途适用性的任何保证。我们不保证该技术能够满足您的要求，不保证其运行不会中断或没有错误，也不保证任何错误都会得到纠正。
使用这些脚本和工具的任何风险均由您自行承担。无法保证它们已在类似环境中经过彻底测试，并且我们对其使用过程中发生的任何损坏或数据丢失不承担任何责任。
您有责任在任何非测试环境中使用之前彻底检查和测试您运行的任何脚本。
