多次压缩文件有意义吗？

1. 概述

在本教程中，我们将探讨多次压缩文件是否实用和有益。

我们将讨论文件压缩的概念，检查多次应用压缩算法的效果，并讨论实现更好压缩的替代策略。

2. 了解文件压缩

在评估多次压缩的优点之前，了解文件压缩的工作原理至关重要。它通过更有效地编码信息来减小数据大小，通常消除冗余。让我们进一步探讨。

2.1. 压缩算法如何工作？

压缩算法分析数据以查找模式和重复。它们用更短的表示形式替换这些模式，从而有效地减小文件大小。主要有两种类型的压缩：两种主要类型

• 无损压缩：此方法在不丢失任何原始数据的情况下减小文件大小。当我们解压缩无损压缩的文件时，我们可以检索到原始文件的副本。常见格式包括 ZIP、GZIP 和 PNG。
• 有损压缩：此方法通过丢弃一些数据来实现更高的压缩比，这可能导致质量损失。它通常用于图像、音频和视频文件，其中不需要完美的复制。例子包括 JPEG 和 MP3。

3. 多次压缩文件

让我们研究使用相同或不同的压缩算法多次压缩文件时会发生什么。

3.1. 重新应用相同的压缩算法

当我们使用 GZIP 等算法压缩文件，然后使用相同的算法再次压缩结果文件时，通常会观察到大小几乎没有减少，甚至可能增加，因为有额外的压缩标头和元数据。

压缩算法旨在查找和消除数据中的冗余。 第一次压缩后，大部分冗余都已删除。重新应用相同的算法找不到新的模式进行压缩，导致尺寸减少不明显。

3.2. 使用不同的压缩算法

对已压缩文件使用不同的压缩算法似乎可以进一步减小尺寸。但是，这种方法通常提供的益处很小。虽然每种算法都有其优势并且可能更好地处理特定数据类型，但大多数冗余在数据压缩后都会被消除。

例如，如果我们先用 GZIP 压缩文件，然后再用 BZIP2 压缩，可能会获得稍微小一些的文件，但与第一次压缩的原始尺寸减少相比，差异通常微不足道。

4. 实际实验

让我们通过多次压缩文件并观察结果来巩固我们的理解，进行实际实验。

4.1. 使用文本文件进行实验

让我们创建一个包含重复内容的大的文本文件，以最大程度地提高压缩的潜力。

首先，让我们生成一个包含 100,000 个相同行的文本文件

yes "This is a sample line of text to test compression." | head -n 100000 > sample.txt

我们使用 GZIP 压缩文件

gzip sample.txt

这会生成 sample.txt.gz。

接下来，我们压缩已经压缩的文件

gzip sample.txt.gz

这将生成 sample.txt.gz.gz。 有些操作系统可能会警告我们压缩已经完成，并且文件具有 .gz 扩展名，并且不会执行任何进一步的操作。

让我们现在比较大小

最初的压缩减小了文件大小，因为文本文件存在高度冗余。第二次压缩没有显示出显著的尺寸减小，因为 GZIP 无法找到额外的模式来进行压缩。事实上，我们甚至观察到尺寸略有增加，这归因于添加的压缩头部！

4.2. 使用二进制文件进行实验

现在，让我们使用 JPEG 图像，它已经使用有损算法进行了压缩。

让我们从压缩以下 JPEG 文件开始

gzip image.jpg

然后我们再次压缩它

gzip image.jpg.gz

让我们比较输出大小

由于 JPEG 图像已经高效压缩，应用 GZIP 并不会减小其大小。压缩文件可能会略大，因为添加了头部。JPEG 内部的数据不包含 GZIP 可以利用的冗余模式。

5. 理论视角

关键概念是信息论中的熵，它为压缩的极限提供了数学框架。

5.1. 熵与数据压缩

在信息论的语境下，熵衡量数据的随机性或不可预测性。由克劳德·香农于 1948 年提出，熵 量化了基于这些符号频率对符号串进行编码所需的最小比特数。数据越不可预测，熵越高，代表它所需的比特数就越多，才能在不丢失信息的情况下表示它。

香农的源编码定理 表明，无法无损地将数据压缩到其熵极限以下。该定理将一个源的熵 H 定义为

在这个公式中，求和是对所有可能的符号进行的。 此计算确定了表示数据集中每个符号所需的平均最小比特数。

5.2. 压缩限制的意义

在第一次压缩之后，数据的冗余大部分被消除，文件对压缩算法而言看起来更随机。 随后的压缩尝试无法找到额外的模式来利用，因为数据现在类似于随机噪声。压缩后的数据通常与随机数据难以区分，因为压缩过程消除了可预测的结构。

此外，每个压缩算法都会以头部、页脚和解压缩所需元数据的形式引入其开销。当我们压缩已经压缩的文件时，会增加这些开销，这可能会增加总文件大小，而不是减小它。

在将压缩算法应用于数据时，我们的目标是通过消除冗余和更有效地表示常见模式来降低数据熵。压缩后，数据熵接近理论下限，因为许多冗余在过程中已被移除。一旦达到这个极限，进一步无损压缩就变得不可能，因为没有额外的模式或冗余可以利用。

例如，高度冗余的数据，如包含重复短语的文本文件，具有低熵并且可高度压缩。 相比之下，已经随机或缺乏模式的数据，例如加密文件，具有高熵并且无法有效压缩。

5.3. 鸽巢原理

数学中的鸽巢原理指出，如果我们拥有的项目多于容器，则至少一个容器必须容纳多个项目。

应用于压缩，该原理解释了如果我们将更大的数据表示集合映射到更小的集合（尝试将数据压缩到其熵极限以下），我们不可避免地会遇到冲突，不同的数据输入产生相同的压缩输出。 冲突会导致解压缩时信息丢失，这在无损压缩中是不可接受的。

理解这些理论极限强化了我们从实验中获得的实际观察结果。 初始压缩将数据逼近其熵极限，几乎没有剩余空间可以通过额外压缩进一步减小尺寸。 因此，多次压缩文件不会带来显著的好处，有时甚至会适得其反，因为增加了开销。

6. 更好的压缩替代方法

我们应该考虑其他策略来实现最大压缩，而不是多次压缩文件。

6.1. 选择合适的压缩算法

不同的算法针对不同的数据类型进行了优化。 通过选择最合适的算法，我们可以获得更好的结果。

像 BZIP2 和 LZMA（7-Zip 使用）这样的算法通常在压缩文本文件时表现优于 GZIP，因为它们采用了高级压缩技术。

• BZIP2 提供更好的压缩比，但速度较慢
• LZMA 提供高压缩比，并在速度和效率之间取得了平衡

对于可执行文件或归档文件，处理二进制数据效率高的算法更可取

• PAQ 提供了出色的压缩效果，但速度显著较慢
• ZPAQ 是一种增量日志归档器，提供良好的压缩效果

6.2. 压缩前的数据预处理

转换数据以增加冗余可以提高压缩效率。

例如，在处理文本数据时，我们可以删除不必要的格式和空格，或者将数据转换为更易于压缩的格式，以提高压缩比。 另一方面，在使用时间序列时，存储数据段之间的差异比存储整个数据更有效。

6.3. 归档多个文件

在压缩之前将多个文件组合成一个归档文件可以提高整体压缩比。

通过使用 TAR 归档文件然后进行压缩，我们可以让算法找到跨文件的冗余信息

tar -cf archive.tar file1.txt file2.txt
gzip archive.tar

7. 实际考虑

虽然多次压缩文件没有好处，但仍有一些实际问题需要注意。

7.1. 增加的处理时间

重复压缩会消耗额外的 CPU 资源和时间，而不会带来相应的收益。 对于大型文件或数据集，这种额外的处理可能非常显著，从而导致系统性能下降。

重要的是，我们要平衡压缩所花费的时间与实际节省的空间。

7.2. 复杂性和错误

多层压缩会使文件处理复杂化并增加出错的风险。

提取的复杂性增加，因为我们必须多次解压缩文件。

由于一层中的损坏会影响所有后续层，因此存在错误传播的风险。

7.3. 兼容性问题

并非所有系统或应用程序都能处理多次压缩的文件或使用非常规算法的文件，从而导致可访问性问题。 如果用户缺乏必要的软件或知识，他们可能会遇到错误或无法解压缩文件。

这可能会阻碍不同平台之间的协作和数据共享。

8. 结论

在本文中，我们探讨了多次压缩文件是否有意义。 我们通过理论分析和实际实验确定，重复应用相同的压缩算法不会产生显著的尺寸减小。 在某些情况下，由于额外的元数据，甚至可能导致文件尺寸略有增加。

对已经压缩的数据使用不同的压缩算法，优势微乎其微，因为压缩所需的冗余信息已经被消除。为了获得更好的结果，更有效的方法是为数据类型选择最合适的算法，预处理数据以增强冗余，或者在压缩之前将多个文件合并成单个归档文件。