Trung tâm cá nhân
sách gpt4 ăn đã đi

相同 gzip 文件的 Python md5 哈希值不一致

In lại 作者：太空狗 更新时间：2023-10-30 00:55:27 27 4
mua khóa gpt4 giày nike

我正在尝试使用 python 模块 gzip 压缩文件，然后使用 hashlib 散列 gzip 文件。我有以下代码:

import hashlib
import gzip

f_name = 'read_x.fastq'

for x in range(0,3):

    file = open(f_name, 'rb')

    myzip = gzip.open('test.gz', 'wb', compresslevel=1)

    n = 100000000
    thử:
        print 'zipping ' + str(x)
        for chunk in iter(lambda: file.read(n), ''):
            myzip.write(chunk)
    Cuối cùng:
        file.close()
        myzip.close()

    md5 = hashlib.md5()
    print 'hashing ' + str(x)
    with open('test.gz', 'r') as f:
        for chunk in iter(lambda: f.read(n), ''):
            md5.update(chunk)

    print md5.hexdigest()
    print '\n'

我认为应该简单地压缩文件、散列它并连续三次显示相同的输出散列。但是，我得到的输出是:

zipping 0
hashing 0
7bd80798bce074c65928e0cf9d66cae4


zipping 1
hashing 1
a3bd4e126e0a156c5d86df75baffc294


zipping 2
hashing 2
85812a39f388c388cb25a35c4fac87bf

如果我省略了 gzip 这一步，而只是连续三次对同一个 gzip 文件进行哈希处理，我确实得到了三次相同的输出:

hashing 0
ccfddd10c8fd1140db0b218124e7e9d3


hashing 1
ccfddd10c8fd1140db0b218124e7e9d3


hashing 2
ccfddd10c8fd1140db0b218124e7e9d3

谁能解释一下这是怎么回事？问题一定是 gzip 过程每次都不同。但据我所知，DEFLATE 算法是霍夫曼编码后跟 LZ77(游程编码的一种形式)或 LZ77 后跟霍夫曼，因此给定相同的输入应该产生相同的输出。

câu trả lời hay nhất

压缩完全相同的内容会产生不同的 gzip 输出有几个原因:

  • 压缩级别。这可以通过压缩级别参数进行控制。
  • header 中的原始文件的名称。如果您使用 gzip.GzipFile api 而不是 gzip.open api，您可以控制这一点。
  • 修改时间也包含在 header 中，也可以通过 gzip.GzipFile api 进行控制。

所以这里有一段代码演示了从 python gzip 获得可重现输出的错误和正确方法:

import hashlib
import gzip

f_name = '/etc/passwd'
output_template = '/tmp/test{}.gz'

def digest(filename: str) -> str:
    md5 = hashlib.md5()
    with open(output_filename, 'rb') as f:
        for chunk in iter(lambda: f.read(block_size), b''):
            md5.update(chunk)
    return md5.hexdigest()

print("The default way - non identical outputs")
for x in range(0,3):
    input_handle = open(f_name, 'rb')
    output_filename = output_template.format(x)
    myzip = gzip.open(output_filename, 'wb')
    block_size = 4096
    thử:
        for chunk in iter(lambda: input_handle.read(block_size), b''):
            myzip.write(chunk)
    Cuối cùng:
        input_handle.close()
        myzip.close()
    print(digest(output_filename))

print("The right way to get identical outputs")
for x in range(3,6):
    input_handle = open(f_name, 'rb')
    output_filename = output_template.format(x)
    myzip = gzip.GzipFile(
        filename='', # do not emit filename into the output gzip file
        mode='wb',
        fileobj=open(output_filename, 'wb'),
        mtime=0,
    )
    block_size = 4096
    thử:
        for chunk in iter(lambda: input_handle.read(block_size), b''):
            myzip.write(chunk)
    Cuối cùng:
        input_handle.close()
        myzip.close()
    print(digest(output_filename))

关于相同 gzip 文件的 Python md5 哈希值不一致，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/28213912/

27 4 0
Đề xuất bài viết: python - 为什么 python VM 有 co_names 而不是仅仅使用 co_consts？
Đề xuất bài viết: c# - Environment.GetFolderPath(Environment.SpecialFolder.ApplicationData) 返回 String.Empty
Đề xuất bài viết: c# - 如何在用户输入时替换文本框中的字符？ (在 C# 中)
Đề xuất bài viết: c# - 当违反测试超时时，NUnit 将在内部做什么？
太空狗
Hồ sơ

Tôi là một lập trình viên xuất sắc, rất giỏi!

Nhận phiếu giảm giá taxi Didi miễn phí
Phiếu giảm giá taxi Didi
Các bài viết phổ biến trên toàn bộ trang web
Chứng chỉ ICP Bắc Kinh số 000000
Hợp tác quảng cáo: 1813099741@qq.com 6ren.com
Xem sitemap của VNExpress