25
4
Tôi có một danh sách các từ điển và tôi sử dụng từng từ điển để thực hiện một số thao tác trên biểu đồ. Quá trình xử lý này được thực hiện trong một hàm không trả về gì.
Không có thao tác I/O và không có kết nối mạng, về cơ bản nó chỉ là tính toán; mỗi từ điển biểu thị một đường dẫn trong biểu đồ và tôi cần cập nhật trọng số cạnh của đường dẫn đó. Hiện tại tôi không quan tâm đến tính nhất quán của dữ liệu được lưu trữ trên biểu đồ, tôi chỉ muốn cải thiện thời gian xử lý.
tôi đầu tiênnối tiếp, xử lý từng mục trong vòng lặp for:
Trung tâm cá nhân
Điều phát hành
từ bỏdef processDict(dic, đồ thị):
# Sửa đổi biểu đồ theo dữ liệu được lưu trong từ điển
# Không trả về gì
cập nhật defPheromone(listOfDicts):
# Có thể truy cập đồ thị trong phạm vi của hàm này
cho dic trong listOfDicts:
processDict(dic, đồ thị)
Sau đó tôi quyết định thử song song hóa nó vì danh sách từ điển có thể chứa tới hàng chục nghìn từ điển và tôi có thể truy cập chúng trên máy tính có nhiều CPU. Nỗ lực đầu tiên của tôi là sử dụng luồng module, nhưng kết quả còn tệ hơn nhiều so với phiên bản nối tiếp. Đọc một số câu hỏi ở đây trên SO và trên web, tôi đã tìm thấy một số đề xuất để sử dụng lớp multiprocessing.Pool thay vì các luồng do GIL. Kết quả tốt hơn so với việc chỉ sử dụng các luồng, nhưng phiên bản nối tiếp vẫn hoạt động tốt hơn (mất khoảng một nửa thời gian trên PC lõi tứ!). Đây là những gì tôi đã thử cho phiên bản song song này:
từ nhập đa xử lý Pool, cpu_count
từ functools nhập một phần
cập nhật defPheromone(listOfDicts):
# Có thể truy cập đồ thị trong phạm vi của hàm này
hồ bơi = Bể bơi()
một phần_Func = một phần (processDict, đồ thị = đồ thị)
pool.map_async(partial_Func, listOfDicts, len(listOfDicts)/cpu_count())
pool.close()
Tôi cảm thấy như mình đang gặp vấn đề với cách tiếp cận này. Hiệu suất kém có liên quan đến chức năng được truyền tới bản đồ không?"khoảng trống" Chức năng liên quan? Có thư viện hoặc lớp nào khác mà tôi nên sử dụng không?
EDIT: Tôi đang chạy cái này trên Linux.
câu trả lời hay nhất
Tôi cảm thấy mình đang hiểu sai điều gì đó trong cách tiếp cận này.
Nguyên nhân có thể là do có quá nhiều dữ liệu được truyền vào.
Các quy trình không chia sẻ bộ nhớ, do đó, mọi dữ liệu bạn truyền vào đều phải được tuần tự hóa ở một bên, được truyền qua một kênh (như ổ cắm thô) và được giải tuần tự hóa ở phía bên kia. Nếu tiêu tốn nhiều thời gian hơn thời gian tiết kiệm được bằng cách xử lý song song thì kết quả là tổn thất ròng.
Một kỹ thuật để xử lý vấn đề này là biến biểu đồ trong bộ nhớ thành biến toàn cục trước khi tạo nhóm(Điều này cho phép chia sẻ dữ liệu thông qua tính năng sao chép khi ghi). Sau đó, chỉ cần chuyển chỉ mục (số đơn) cho quy trình và để nó hoạt động trên phần riêng của biểu đồ.
Về việc nhóm đa xử lý của Python không hiệu quả như mong đợi, chúng tôi đã tìm thấy một câu hỏi tương tự trên Stack Overflow: https://stackoverflow.com/questions/43838400/
25
4
0
我对java有点陌生，所以如果我犯了一个简单的错误，请原谅我，但我不确定我哪里出错了，我收到的错误是“预期的.class，预期的标识符，而不是声明， ';'预期的。”我尝试了不同的方法，并从这些方法中
This question already has answers here: chai test array equality doesn't work as expected （3个答案） 3年前
我正在学习 Java(对不起，我的英语很差，这不是我的母语)，当我在 Eclipse (JavaSE-1.7) 中在我输入的每个“try”中执行“try-finally” block 时，会出现以下消
我收到两个错误，指出 token 上的语法错误，ConstructorHeaderName expected instead & token “(”上的语法错误，< expected 在线: mTM.
我找不到错误。 Eclipse 给我这个错误。每个 { } 都是匹配的。请帮忙。 Multiple markers at this line - Syntax error on token “)”,
代码: import java.awt.*; import javax.swing.*; import java.awt.event.*; public class DoubleIt extends
我正在用 python(Vs 代码)编写代码，但出现此错误: Expected ")" Pylance 错误发生在:def main() 我试着运行我的 main 并将它打印到我的屏幕上。我用谷歌搜
我正在尝试按照 documentation 中的建议使用异步函数。但我收到此错误 意外的 token ，预期 ( async function getMoviesFromApi() { try
Closed. This question does not meet Stack Overflow guidelines。它当前不接受答案。 想改善这个问题吗？更新问题，以便将其作为on-topic
Closed. This question does not meet Stack Overflow guidelines。它当前不接受答案。 想改善这个问题吗？更新问题，以便将其作为on-topic
第一行包含一个表示数组长度的整数p。第二行包含用空格分隔的整数，这些整数描述数组中的每个元素。第三行打印一个整数，指示负数组的数量。 package asgn3; import java.util.*
好的，我是初学者，我必须修复此 java 表达式语言代码才能在我的系统 (Windchill) 中工作，但看起来我在语法中遗漏了一些内容: LWCNormalizedObject lwc =
我无法编译我的程序! 我想我缺少一个花括号，但我怎么也看不出在哪里! import javax.swing.*; import java.awt.*;
我的 jQuery 代码有问题，我的 Firebug 向我发出警告:需要选择器。 这是代码: $("img[id$='_tick']").each(function() { $(this).c
我的新类(class) Fountainofyouth 遇到了问题。尝试构建整个项目后，调试器显示 warning: extended initializer lists only available
我已经从 Java 转向 CPP，并且正在努力围绕构造构造函数链进行思考，我认为这是我的问题的根源。 我的头文件如下: public: GuidedTour(); GuidedTour(string
鉴于以下 for(var i=0; i< data.cats.length; i++) list += buildCategories(data.cats[i]); jsLint 告诉我 Expect
我有这个 json，但 Visual Studio Code 在标题中给了我警告。 [ { "title": "Book A", "imageUrl": "https:
我正在尝试编写一个有条件地禁用四个特殊成员函数(复制构造、移动构造、复制赋值和移动赋值)的包装类，下面是我用于测试目的的快速草稿: enum class special_member : uint8_
所以我用 F# 编写了一个非常简单的程序，它应该对 1000 以下的所有 3 和 5 的倍数求和: [1..999] |> List.filter (fun x -> x % 3 = 0 || x %
Tôi là một lập trình viên xuất sắc, rất giỏi!