cuốn sách gpt4 ai đã làm

java - mapreduce.reduce.shuffle.memory.limit.percent, mapreduce.reduce.shuffle.input.buffer.percent và mapreduce.reduce.shuffle.merge.percent

In lại Tác giả: Hồ Xil Thời gian cập nhật: 2023-11-01 14:33:32 66 4
mua khóa gpt4 Nike

Tôi chỉ muốn xác minh sự hiểu biết của mình về các thông số này và mối quan hệ của chúng, vui lòng cho tôi biết nếu tôi sai.

  • mapreduce.reduce.shuffle.input.buffer.percent kể được giao cho bộ giảm tốc Tổng dung lượng bộ nhớ trong toàn bộ giai đoạn xáo trộn.

  • mapreduce.reduce.shuffle.memory.limit.percent Yêu cầu một lần xáo trộn duy nhất để bắt đầu từ Phần trăm giới hạn bộ nhớ tối đa được sử dụng bởi mapreduce.reduce.shuffle.input.buffer.percent.

  • mapreduce.reduce.shuffle.merge.percent là ngưỡng sử dụng kết hợp trong bộ nhớ khởi động được biểu thị bằng phần trăm của tổng bộ nhớ (mapreduce.reduce.shuffle.input.buffer.percent) được phân bổ để lưu trữ đầu ra được ánh xạ bộ nhớ.

  • Nhưng Hadoop-2.6 Có một hạn chế, đó là mapreduce.reduce.shuffle.merge.percent nên lớn hơn mapreduce.reduce.shuffle. bộ nhớ.limit.percent. Điều này có nghĩa là một lần xáo trộn duy nhất có tất cả các khóa cùng loại, nếu không thì mục đích của hạn chế này là gì và mối quan hệ giữa ba khóa đó là gì?

câu trả lời hay nhất

Tôi xin chia sẻ hiểu biết của mình về những đặc tính này với hy vọng nó sẽ hữu ích cho các bạn. Nếu bạn có bất kỳ câu hỏi nào xin vui lòng cho tôi biết.

mapreduce.reduce.shuffle.input.buffer.percent Chỉ định tỷ lệ phần trăm bộ nhớ heap giảm tốc để phân bổ cho bộ đệm tròn để lưu trữ đầu ra trung gian được sao chép từ nhiều trình ánh xạ.

mapreduce.reduce.shuffle.memory.limit.percent Chỉ định tỷ lệ phần trăm tối đa của bộ nhớ đệm ở trên mà một lần xáo trộn đơn lẻ (đầu ra được sao chép từ một tác vụ Bản đồ) sẽ chiếm giữ. Việc xáo trộn vượt quá kích thước này sẽ không được sao chép vào bộ nhớ đệm mà được ghi trực tiếp vào đĩa của bộ giảm tốc.

mapreduce.reduce.shuffle.merge.percent Mô tả Chuỗi hợp nhất bộ nhớ sẽ chạy để hợp nhất nội dung được xáo trộn có sẵn trên bộ nhớ đệm vào một tệp duy nhất và ngay lập tức tràn tệp đã hợp nhất vào đĩa ở một ngưỡng phần trăm.

Rõ ràng, luồng hợp nhất bộ nhớ phải yêu cầu ít nhất 2 tệp xáo trộn trong bộ nhớ đệm để bắt đầu hợp nhất. vì vậy bất cứ lúc nào mapreduce.reduce.shuffle.merge.percent phải cao hơn giá trị trong bộ nhớ mapreduce.reduce.shuffle.memory.limit.percent Kiểm soát bất kỳ thuộc tính tệp ngẫu nhiên nào >, trong đó chỉ định rằng phải có thêm ít nhất một tệp ngẫu nhiên trong bộ đệm của quá trình hợp nhất.

Về java - mapreduce.reduce.shuffle.memory.limit.percent, mapreduce.reduce.shuffle.input.buffer.percent và mapreduce.reduce.shuffle.merge.percent, chúng tôi đã tìm thấy một câu hỏi tương tự trên Stack Overflow: https://stackoverflow.com/questions/29874766/

66 4 0
Chứng chỉ ICP Bắc Kinh số 000000
Hợp tác quảng cáo: 1813099741@qq.com 6ren.com
Xem sitemap của VNExpress