在centos上进行hdfs数据迁移的步骤如下：
- 评估迁移数据量：
- 使用命令
hdfs dfs -du -h /查看各个目录的总数据量，并根据业务划分，统计每个业务的数据总量。
- 规划迁移节奏：
- 鉴于数据量大且网络带宽有限，建议在文件变化之前按业务、分目录、分批进行迁移。
- 选择迁移工具：
- 利用Hadoop自带的distcp工具，通过简单的命令即可完成数据迁移。
- 评估迁移时间：
- 为减少对线上业务的影响，尽量选择老集群低负载运行的时间段来进行数据迁移。
- 注意事项：
- 在迁移过程中，需考虑新老集群之间的最大带宽，以及在减少业务影响条件下最多可以使用多少带宽。
- 考虑迁移过程中可能发生文件删除、新增数据的情况，如何处理新数据和旧数据。
- 确保迁移后数据的一致性校验和HDFS文件权限与老集群保持一致。
- 常见问题如连接超时，应确保目标集群的HDFS端口（默认为50070）已打开，并且客户端有权限访问。
- 若遇到数据不一致的问题，可以使用distcp的
-update参数来确保数据的一致性，它会在目标集群上更新已存在的文件。 - 若遇到权限问题，可以使用
-p参数保留文件的权限信息，确保迁移后的文件权限与源集群一致。
- 执行数据迁移的具体操作：
-
使用distcp命令进行数据迁移，例如：
hadoop distcp hdfs://namenode:port/source/path hdfs://namenode:port/destination/path
如果需要复制整个目录，可以使用通配符：
hadoop distcp hdfs://namenode:port/source/directory hdfs://namenode:port/destination/directory
- 验证迁移结果：
- 迁移完成后，验证数据的完整性和一致性。
- 检查新集群的数据访问性能，确保扩容操作没有引入任何性能问题。
