29
4
Tôi đang cố gắng sử dụng nhóm công nhân trong Python bằng cách sử dụng đối tượng quy trình. Mỗi công nhân (một quy trình) thực hiện một số khởi tạo (mất nhiều thời gian), được chuyển một danh sách các công việc (lý tưởng nhất là sử dụng bản đồ()), và trả về một cái gì đó. Ngoài ra, không cần phải giao tiếp gì thêm. Tuy nhiên, tôi không thể tìm ra cách sử dụng map() để sử dụng công nhân của tôi tính toán() chức năng.
Trung tâm cá nhân
Bài viết phát hành
từ bỏtừ đa xử lý nhập khẩu Pool, Quy trình
Lớp Worker(Process):
định nghĩa __init__(bản thân):
in 'Công nhân bắt đầu'
# thực hiện một số khởi tạo ở đây
super(Người làm việc, bản thân).__init__()
def compute(self, data):
in 'Tính toán mọi thứ!'
trả về dữ liệu * dữ liệu
nếu __name__ == '__main__':
# Điều này hoạt động tốt
công nhân = Công nhân()
công nhân in.tính toán(3)
# công nhân được khởi tạo tốt
pool = Pool(quy trình = 4,
người khởi tạo = Công nhân)
dữ liệu = phạm vi(10)
# Làm thế nào để sử dụng nhóm công nhân của tôi?
kết quả = pool.map(tính toán, dữ liệu)
Hàng đợi công việc có phải là sự thay thế không, hay tôi có thể sử dụng bản đồ()?
1 Câu trả lời
Tôi khuyên bạn nên sử dụng hàng đợi cho việc này.
Lớp Worker(Process):
def __init__(bản thân, hàng đợi):
super(Người làm việc, bản thân).__init__()
self.queue = hàng đợi
def run(tự):
print('Công nhân đã bắt đầu')
# thực hiện một số khởi tạo ở đây
print('Tính toán mọi thứ!')
đối với dữ liệu trong iter(self.queue.get, None):
# Sử dụng dữ liệu
Bây giờ bạn có thể bắt đầu một loạt những việc này, tất cả đều thực hiện công việc từ một hàng đợi duy nhất
request_queue = Hàng đợi()
đối với i trong phạm vi (4):
Công nhân(request_queue).start()
đối với dữ liệu trong the_real_source:
request_queue.put(dữ liệu)
# Đối tượng Sentinel cho phép tắt máy sạch: 1 đối tượng cho mỗi công nhân.
đối với i trong phạm vi (4):
request_queue.put(Không có)
Một điều gì đó như thế này sẽ cho phép bạn chia nhỏ chi phí khởi nghiệp tốn kém cho nhiều nhân công.
Liên quan đến nhóm Python với quy trình làm việc, chúng tôi đã tìm thấy một câu hỏi tương tự trên Stack Overflow: https://stackoverflow.com/questions/9038711/
29
4
0
Gần đây chúng tôi đã triển khai một nhóm SQL chuyên dụng tới không gian làm việc Synapse trong quá trình sản xuất. Trong quá trình phát triển, chúng tôi có quyền truy cập vào cả nhóm SQL không có máy chủ và nhóm SQL chuyên dụng. Tuy nhiên, trong quá trình sản xuất, chúng tôi có quyền truy cập vào nhóm SQL không có máy chủ nhưng không có quyền truy cập vào SQL chuyên dụng
Giả sử bạn đưa ra một dịch vụ WCF từ một dự án và sử dụng nó trong một dự án khác bằng cách sử dụng Add Service Reference (trong trường hợp này là ứng dụng WPF Framework 3.5). Khi bạn khởi tạo lại một proxy có nguồn gốc từ ClientBase, Client
Tôi có một hàm xử lý tất cả dữ liệu trong một tập dữ liệu song song bằng cách sử dụng multiprocessing.Pool. từ multiprocessing import Pool ... def func():
Tôi đang cố gắng sử dụng nhóm công nhân trong Python bằng cách sử dụng đối tượng quy trình. Mỗi công nhân (một quy trình) thực hiện một số khởi tạo (mất nhiều thời gian), được truyền một chuỗi công việc (lý tưởng nhất là sử dụng map()) và trả về một cái gì đó. Ngoài ra, không có
Tôi là một kỹ sư phần mềm và gần đây tôi đã xây dựng hộp Linux của mình và muốn khám phá thêm các tác vụ kiểu quản trị hệ thống. Tôi đã tìm hiểu và đọc rất nhiều về ZFS nhưng tôi ngày càng bối rối vì mỗi bài viết lại mô tả nó một cách khác nhau. Mọi thứ
Tôi có zfs pool: $ sudo zpool status lxd pool: lxd state: ONLINE scan: none requested config: NAME
Tôi có một dự án dựa trên Actor và một phần của dự án đó là tôi phải sử dụng một số Actor để nhận tin nhắn, sau đó một Actor được chỉ định cho từng yêu cầu riêng biệt và mỗi Actor chịu trách nhiệm thực hiện yêu cầu tin nhắn của mình, vì vậy tôi cần thứ gì đó giống như luồng cho
Tôi đã cài đặt thành công FreeBSD vào tệp hình ảnh thô bằng trình giả lập QEMU. Tôi đã định dạng tệp hình ảnh bằng hệ thống tệp ZFS (ZFS POOL). Sử dụng lệnh sau đây, tôi đã gắn thành công zpool
Tôi đang sử dụng multiprocessor.Pool để xử lý một số tệp song song. Mã này chờ nhận tệp rồi gửi tệp đó tới các công nhân bằng cách sử dụng Pool.apply_async. và sau đó xử lý tệp. Mã này phải luôn chạy.
Tôi đang sử dụng nguồn dữ liệu Bonecp với slick. và phát hiện ra rằng nhóm chứa các kết nối đã đóng nên tôi luôn nhận được ngoại lệ này java.sql.SQLException: Kết nối đã đóng! tại com
Tôi có một ứng dụng Rails đa thuê bao với gem căn hộ và tôi có thể chuyển đổi thành công đối tượng thuê cơ sở dữ liệu trong mỗi worker bằng apartment-sidekiq. Tuy nhiên, công nhân sidekiq là
Nhóm ZFS có thể bao gồm các tập dữ liệu (hệ thống tệp, ảnh chụp nhanh, v.v.) hoặc ổ đĩa. Các ổ đĩa ZFS giống như các thiết bị khối, nhưng tôi không hiểu sự khác biệt giữa một nhóm và một hệ thống tập tin. Khi tôi tạo zpool tạo pool1 sda sdb sdc
Tôi có luồng không khí chạy trên một container docker. Tôi đang sử dụng Airflow phiên bản 2.0.2. Tôi biết thực ra tôi có thể tạo một nhóm thông qua UI. Nhưng tôi đang tìm cách thực hiện việc này trong docker thông qua tệp pools.json
Tôi có một nhóm jdbc trong tomcat được sử dụng để thiết lập kết nối cơ sở dữ liệu. Tôi không đóng đối tượng kết nối một cách rõ ràng sau khi sử dụng. Tham số "maxActive" của tôi được đặt thành 100. Ứng dụng chạy một lúc nhưng sau đó không thực hiện được truy vấn cơ sở dữ liệu. Nó sẽ chờ trong thời gian vô hạn.
Đọc tài liệu PostgreSQL tại đây, tôi đọc được những thông tin sau: Ngoài ra, các kết nối được yêu cầu cho người dùng khác ngoài cấu hình mặc định
Tôi có luồng không khí chạy trên một container docker. Tôi đang sử dụng Airflow phiên bản 2.0.2. Tôi biết thực ra tôi có thể tạo một nhóm thông qua UI. Nhưng tôi đang tìm cách thực hiện việc này trong docker thông qua tệp pools.json
Tôi đang đọc một tệp URL lớn và đưa ra yêu cầu tới một dịch vụ. Yêu cầu được thực hiện bởi máy khách bằng cách trả về ListenableFuture. Bây giờ tôi muốn giữ một nhóm ListenableFuture, ví dụ, để thực thi tối đa N Fut
Tôi muốn sử dụng hàng đợi để lưu trữ kết quả vì tôi muốn người dùng (tuần tự thay vì song song) xử lý kết quả của các công nhân khi họ tạo ra kết quả. Bây giờ, tôi muốn biết tại sao chương trình sau lại bị treo. nhập multiprocessing như mp imp
Tôi đang làm việc trên một ứng dụng trang đơn và hiện đang xây dựng một hàm JQuery, ajax để tất cả các lệnh gọi của tôi đều được thực hiện. Đối với một trang thông thường, tôi có thể có 3 lệnh gọi ajax. Ý tưởng của tôi là nếu người dùng ra ngoài Internet, những aj này
Tôi có một lớp Đơn vị và một số lớp con của nó (Cung thủ, Kiếm sĩ, v.v.). Làm thế nào tôi có thể tạo một nhóm tái chế tất cả các lớp con của một loại tế bào? Câu trả lời hay nhất Điều này là không thể vì một nhóm chỉ có thể chứa các đối tượng thuộc một loại cụ thể. Nếu không, bạn có thể gặp phải tình huống như thế này: Pool unitP
Tôi là một lập trình viên xuất sắc, rất giỏi!