cuốn sách gpt4 ai đã làm

171. Điều chỉnh hiệu suất HBase: mạng

In lại Tác giả: Đường đến ông chủ Thời gian cập nhật: 2024-01-07 13:07:10 31 4
mua khóa gpt4 Nike

mạng

Tránh các sự cố mạng Có lẽ yếu tố quan trọng nhất làm chậm hiệu suất của Hadoop và HBase là phần cứng chuyển mạch được sử dụng và các quyết định được đưa ra sớm trong phạm vi dự án có thể gây ra sự cố lớn khi kích thước cụm tăng gấp đôi hoặc gấp ba (hoặc hơn).

Những điều quan trọng cần xem xét:

  • Chuyển đổi dung lượng thiết bị
  • Số lượng hệ thống được kết nối
  • dung lượng đường lên

công tắc đơn

Yếu tố quan trọng nhất trong cấu hình này là khả năng chuyển mạch của phần cứng để xử lý lưu lượng có thể được tạo ra bởi tất cả các hệ thống được kết nối với bộ chuyển mạch. Một số phần cứng hàng hóa có giá thấp hơn có thể có khả năng chuyển mạch chậm hơn mức mà một bộ chuyển mạch hoàn chỉnh có thể sử dụng.

nhiều công tắc

Nhiều thiết bị chuyển mạch là một lỗ hổng tiềm ẩn trong kiến ​​trúc. Cấu hình phổ biến nhất của phần cứng giá rẻ là đường truyền tải lên 1Gbps đơn giản từ bộ chuyển mạch này sang bộ chuyển mạch khác. Điểm hạn chế thường bị bỏ qua này có thể dễ dàng trở thành nút thắt cổ chai đối với hoạt động liên lạc của cụm. Đặc biệt đối với các công việc MapReduce đọc và ghi lượng lớn dữ liệu, giao tiếp trên đường lên này có thể trở nên bão hòa.

Giảm thiểu vấn đề này rất đơn giản và có thể đạt được bằng một số cách:

  • Sử dụng phần cứng thích hợp để xử lý kích thước của cụm bạn đang cố gắng xây dựng.
  • Sử dụng cấu hình một switch lớn hơn, tức là một cổng 48 thay vì 2 cổng 24
  • Định cấu hình trung kế cổng cho các đường lên để tận dụng nhiều giao diện nhằm tăng băng thông chuyển mạch thanh ngang.

nhiều giá đỡ

Nhiều cấu hình giá đỡ có cùng các vấn đề tiềm ẩn như nhiều thiết bị chuyển mạch và có thể làm giảm hiệu suất theo hai cách chính:

  • Hiệu suất dung lượng trao đổi kém
  • Không đủ dung lượng đường lên tới giá khác

Nếu các switch trong rack có khả năng chuyển mạch thích hợp để xử lý tất cả các máy chủ ở tốc độ tối đa thì vấn đề tiếp theo rất có thể xảy ra là do khởi động nhiều cụm trong rack hơn. Cách dễ nhất để tránh sự cố khi mở rộng nhiều giá đỡ là sử dụng cổng trung kế để tạo liên kết đường lên tới các giá đỡ khác. Tuy nhiên, nhược điểm của phương pháp này là chi phí cổng có thể được sử dụng. Ví dụ: tạo kênh cổng 8Gbps từ Rack A đến Rack B, sử dụng 8 trong số 24 cổng để giao tiếp giữa các rack sẽ làm giảm ROI, nhưng sử dụng quá ít có thể đồng nghĩa với việc bạn không nhận được lợi ích tối đa từ cụm.

Sử dụng liên kết 10Gbe giữa các giá đỡ sẽ cải thiện hiệu suất đáng kể và giả sử switch của bạn hỗ trợ liên kết lên 10Gbe hoặc cho phép thẻ mở rộng, cho phép bạn lưu cổng cho máy tính thay vì liên kết lên.

giao diện mạng

Xác minh rằng tất cả các giao diện mạng đều hoạt động bình thường.

Tính nhất quán của mạng và dung sai phân vùng

Định lý CAP phát biểu rằng một hệ thống phân tán có thể duy trì hai trong ba thuộc tính sau: – *C*tính nhất quán – tất cả các nút đều nhìn thấy cùng một dữ liệu. – *A*availability – Mỗi yêu cầu sẽ nhận được phản hồi về việc nó thành công hay thất bại. – *P*dung sai phân vùng – Hệ thống tiếp tục hoạt động ngay cả khi các thành phần khác không có sẵn.

HBase ủng hộ tính nhất quán và dung sai phân vùng, nên phải đưa ra quyết định. Coda Hale giải thích tại sao dung sai phân vùng lại quan trọng tại http://codahale.com/you-cant-sacrifice-partition-tolerance/.

31 4 0
Chứng chỉ ICP Bắc Kinh số 000000
Hợp tác quảng cáo: 1813099741@qq.com 6ren.com
Xem sitemap của VNExpress