cuốn sách gpt4 ai đã làm

linux - Chọn hệ thống bộ nhớ dùng chung, thư viện MPI, RDMA thô hay ULP qua RDMA?

In lại Tác giả: Taklimakan Thời gian cập nhật: 2023-11-03 00:51:56 25 4
mua khóa gpt4 Nike

Tôi mới làm quen với điện toán hiệu năng cao (HPC), nhưng tôi sắp có một dự án HPC, vì vậy tôi cần trợ giúp về một số câu hỏi cơ bản.

Kịch bản ứng dụng rất đơn giản: kết nối một số máy chủ thông qua mạng InfiniBand (IB), một máy chủ đóng vai trò là Master và các máy chủ khác đóng vai trò là Slave. Chỉ master đọc/ghi dữ liệu trong bộ nhớ (kích thước dữ liệu dao động từ 1KB đến hàng trăm MB) sang Slave và Slave chỉ lưu trữ dữ liệu một cách thụ động trong bộ nhớ (và lưu dữ liệu vào bộ nhớ vào thời điểm thích hợp để disk)). Tất cả các phép tính được thực hiện trong bản gốc, trước khi ghi dữ liệu hoặc sau khi đọc dữ liệu từ máy phụ. Các yêu cầu hệ thống làđộ trễ thấp(dữ liệu diện tích nhỏ, chẳng hạn như 1KB-16KB) vàThông lượng cao(Dữ liệu diện rộng, vài trăm MB). p>

Vì vậy, câu hỏi của tôi là

1. Cách tiếp cận cụ thể nào phù hợp hơn với chúng ta? MPI, thư viện IB/RDMA gốc hoặc ULP dựa trên RDMA.

Theo như tôi biết, các thư viện giao diện truyền tin nhắn (MPI) hiện có, các thư viện IB/RDMA gốc như động từlibrdmacm Và RDMA Giao thức cấp người dùng (ULP) có thể là các tùy chọn khả thi, nhưng tôi không chắc chúng có thể áp dụng được như thế nào.

2. Tôi có nên thực hiện bất kỳ điều chỉnh nào đối với hệ điều hành hoặc mạng IB để có hiệu suất tốt hơn không?

Có một tờ giấy [ 1 ] Công bố từ Microsoft

Chúng tôi đã cải thiện hiệu suất lên tới hệ số tám bằng cách điều chỉnh và thay đổi cẩn thận đối với hệ điều hành và ổ đĩa NIC

Cá nhân tôi cố gắng tránh thực hiện các chỉnh sửa hiệu suất như thế này. Tuy nhiên, nếu không thể tránh khỏi những điều chỉnh thì tôi sẽ cố gắng hết sức. Mạng IB trong môi trường của chúng tôi là Mellanox InfiniBand QDR 40Gb/s và tôi có quyền tự do lựa chọn hệ điều hành Linux của máy chủ.

Nếu có ý kiến ​​gì hãy bình luận và giải đáp nhé Cảm ơn trước!

[1] FaRM: Bộ nhớ từ xa nhanh

câu trả lời hay nhất

Nếu bạn sử dụng MPI, bạn sẽ được hưởng lợi từ giải pháp độc lập với kết nối. Điều này nghe có vẻ không giống thứ bạn sẽ giữ trong 20 năm, nhưng vòng đời của phần mềm dài hơn bạn nghĩ.

Việc sử dụng MPI cũng cho phép bạn gỡ lỗi trên máy tính xách tay hoặc máy trạm (có khả năng bị sử dụng quá mức) trước khi triển khai nó vào máy infiniband.

Về câu hỏi thứ hai của bạn về việc điều chỉnh mạng, tôi chắc chắn rằng bạn có thể điều chỉnh nó vô tận, nhưng cho đến khi bạn có một số khối lượng công việc thực sự và dữ liệu cứng, bạn đang lãng phí thời gian của mình. Trước tiên hãy để mọi thứ hoạt động bình thường, sau đó hãy nghĩ đến việc tối ưu hóa mạng. Có thể bạn cần điều chỉnh nhiều gói tin. Có thể bạn phải lo lắng về một số khoản chuyển khoản lớn. Các điều chỉnh sẽ khác nhau rất nhiều tùy thuộc vào tình hình.

Về linux - chọn hệ thống bộ nhớ dùng chung, thư viện MPI, RDMA thô hay ULP qua RDMA? , chúng tôi đã tìm thấy một câu hỏi tương tự trên Stack Overflow: https://stackoverflow.com/questions/30387109/

25 4 0
Chứng chỉ ICP Bắc Kinh số 000000
Hợp tác quảng cáo: 1813099741@qq.com 6ren.com
Xem sitemap của VNExpress