
本文介绍如何在Debian系统中高效查看Hadoop日志。Hadoop的日志聚合功能将各个节点的日志集中存储,方便管理。以下步骤将指导您如何查看这些日志:
第一步:确保日志聚合已启用
首先,确认Hadoop集群所有节点都启用了日志聚合。这通常在yarn-site.xml配置文件中配置:
yarn.log-aggregation-enable true yarn.log-aggregation.retain-seconds 172800 yarn.nodemanager.remote-app-log-dir /tmp/logs yarn.nodemanager.remote-app-log-dir-suffix logs yarn.log.server.url http://hadoop-node0:19888/jobhistory/logs
第二步:通过Web UI访问日志
日志聚合后,您可以通过Hadoop的ResourceManager Web UI或Job History Server Web UI查看日志:
-
ResourceManager Web UI: 默认地址为
http://。:8088/cluster/apps/FINISHED -
Job History Server Web UI: 默认地址为
http://。:19888/jobhistory
第三步:使用命令行工具查看日志
如果您需要直接从HDFS读取日志,可以使用hdfs dfs命令:
hdfs dfs -cat /path/to/logs/*
第四步:使用文本编辑器查看日志
您可以使用任何文本编辑器(如nano、vim)打开并查看日志文件:
sudo nano /path/to/logs/application--container- .log
请注意,日志文件路径和URL可能因Hadoop集群配置而异。请参考您的Hadoop集群配置文件以获取准确的路径。










