在centos上配置和使用hdfs压缩格式时，可以选择多种压缩算法，每种算法都有其特定的应用场景和性能特点。以下是一些常用的压缩格式及其特点：
常用压缩格式及其特点
-
Gzip：
- 优点：压缩率高，压缩/解压速度较快，适用于文本文件，如日志文件和报表。Hadoop本身支持，大多数Linux系统自带gzip命令，使用方便。
- 缺点：不支持分片。
- 适用场景：适用于每个文件压缩后大小在130M以内的场景，如日志文件和小时级别的报表。
-
Snappy：
- 优点：高速压缩速度和合理的压缩率，适用于需要快速处理大数据的场景。
- 缺点：不支持分片，压缩率比Gzip低。
- 适用场景：适用于MapReduce作业的Map输出数据较大时，作为Map到Reduce的中间数据压缩格式。
-
LZO：
- 优点：压缩/解压速度较快，合理的压缩率，支持分片，是Hadoop中最流行的压缩格式。
- 缺点：压缩率比Gzip低，Hadoop本身不支持，需要安装。
- 适用场景：适用于大文本文件压缩后仍大于200M的情况，单个文件越大，LZO的优点越明显。
-
Bzip2：
- 优点：支持分片，具有很高的压缩率，比Gzip压缩率高。
- 缺点：压缩/解压速度慢，不支持原生。
- 适用场景：适用于对速度要求不高，但需要较高压缩率时，如MapReduce作业的输出格式，或者输出之后的数据比较大且需要压缩存档的情况。
-
Zstandard（Zstd）：
- 优点：压缩速度快，提供多种压缩级别，适应性广。
- 缺点：信息不足，需要进一步的资料来确定其优缺点和应用场景。
- 适用场景：追求速度的场景，如实时应用场景。
配置HDFS使用压缩格式
要在HDFS中配置压缩格式，需要在Hadoop的配置文件hdfs-site.xml中添加相应的配置参数。例如，要启用Snappy压缩，可以添加以下配置：
io.compression.codecs org.apache.hadoop.io.compress.SnappyCodec
在HDFS中创建表时，也可以通过STORED AS子句指定压缩格式和算法。例如，创建一个使用Snappy压缩的表：
CREATE TABLE example_table ( id INT, name STRING, content STRING ) STORED AS TEXTFILE TBLPROPERTIES ( 'compression' = 'SNAPPY' );
总之，选择合适的压缩格式需要考虑文件大小、使用场景、系统资源等因素。例如，对于大文件，优先考虑压缩比高且解压速度快的算法，如Bzip2、LZ4或Zstd。如果需要快速处理数据，Snappy和LZ4是更好的选择。对于文本文件，Gzip可能更合适。
