sách gpt4 ai đã đi

hadoop - reducer 数量

In lại 作者:可可西里 更新时间:2023-11-01 15:41:06 27 4
mua khóa gpt4 Nike

我正在尝试在 10 个数据节点的集群中测试 Map reduce 程序的性能。在此过程中,我使用了 5 个 Reducers,然后是 10 个等等。

我在想增加 reducer 的数量也会使工作完成得更快,但我观察到在 30 之后,即使你将数量增加到 70,工作运行时间也没有任何区别,尽管有超过 400 个独特的keys 和 reducer 的数量增加超过 30 应该会有所不同不是吗?

谁能帮助我了解这是否有任何特殊原因?

Cảm ơn trước

1 Câu trả lời

您没有观察到性能提升的原因有多种。当您进行此性能测试时,您正在运行哪些基准测试?还有你有多少映射器?你的工作有多大等等...

根据您在此处简要描述的内容,我们可以怀疑您没有足够的映射器和/或它们完成速度太慢。

请记住,reducer 只有在映射器有可用输出时才能开始工作。因此,您的 30 个 reducer 可能足以处理映射器的输出速度和大小,因此添加更多不会有任何区别,因为它们中的大多数都处于空闲状态,等待映射器完成并为 reducer 处理提供新数据.

希望对您有所帮助!

关于hadoop - reducer 数量,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/13613805/

27 4 0
Bài viết được đề xuất: hadoop - Sqoop 导出到 RDBMS .lzo .gz 文件超过 64 MB 加载重复
Bài viết được đề xuất: hadoop - 如何在cloudera上通过CLI连接到hive
Bài viết được đề xuất: c++ - 数组衰减到指针和重载解析
Bài viết được đề xuất: c# - Azure 上的 Hadoop 示例生成空白文件
可可西里
Hồ sơ cá nhân

Tôi là một lập trình viên xuất sắc, rất giỏi!

Nhận phiếu giảm giá Didi Taxi miễn phí
Mã giảm giá Didi Taxi
Giấy chứng nhận ICP Bắc Kinh số 000000
Hợp tác quảng cáo: 1813099741@qq.com 6ren.com