30
4
Tôi có mã này và khi cả hai con nhện kết thúc thì chương trình vẫn chạy.
Trung tâm cá nhân
Điều phát hành
từ bỏ#!C:\Python27\python.exe
từ lò phản ứng nhập khẩu Twisted.internet
từ Scrapy.crawler nhập Trình thu thập thông tin
từ nhật ký nhập khẩu vụn vặt, tín hiệu
từ carrefour.spiders.tesco nhập TescoSpider
từ carrefour.spiders.carr nhập CarrSpider
từ Scrapy.utils.project nhập get_project_settings
nhập luồng
import time
def tescofcn():
tescoSpider = TescoSpider()
cài đặt = get_project_settings()
trình thu thập thông tin = Trình thu thập thông tin(cài đặt)
trình thu thập thông tin.configure()
trình thu thập thông tin.crawl(tescoSpider)
trình thu thập thông tin.start()
def carrfcn():
carrSpider = CarrSpider()
cài đặt = get_project_settings()
trình thu thập thông tin = Trình thu thập thông tin(cài đặt)
trình thu thập thông tin.configure()
trình thu thập thông tin.crawl(carrSpider)
trình thu thập thông tin.start()
t1=threading.Thread(target=tescofcn)
t2=threading.Thread(target=carrfcn)
t1.start()
t2.start()
log.start()
lò phản ứng.run()
Khi tôi cố gắng chèn nó vào hai chức năng
crawler.signals.connect(reactor.stop, signal=signals.spider_closed)
, đối với cả nhện và nhện chậm hơn, lò phản ứng cuối nhanh hơn sẽ bị chấm dứt, mặc dù anh ta vẫn chưa kết thúc.
câu trả lời hay nhất
Những gì bạn có thể làm là tạo một hàm kiểm tra danh sách chạy của con nhện và kết nối nó vớisingals.spider_close.
từ Scrapy.utils.trackref nhập iter_all
def close_reactor_if_no_spiders():
Running_spiders = [nhện cho nhện trong iter_all('Spider')]
nếu không chạy_spiders:
lò phản ứng.stop()
crawler.signals.connect(close_reactor_if_no_spiders, signal=signals.spider_closed)
Tuy nhiên, tôi vẫn khuyên bạn nên sử dụng phế liệu để quản lý việc chạy nhiều nhện.
Về python - cách dừng trình tạo phản ứng khi cả hai con nhện kết thúc, chúng tôi đã tìm thấy một câu hỏi tương tự trên Stack Overflow: https://stackoverflow.com/questions/25480298/
30
4
0
Trước đây tôi đã làm cho trình tiêm dll trở nên dễ dàng nhưng tôi có Windows 7 và tôi đã làm nó trong C# và C++ và nó hoạt động tốt nhưng bây giờ khi tôi thử mã tương tự trong Windows 8 thì có vẻ như nó không đúng cách!
Tôi đang cố gắng tạo một phần tử có tên là bộ chia lõi không được dùng nữa trong phiên bản 1.0 vì nó đóng một vai trò quan trọng trong dự án của chúng tôi. Nếu bạn không biết bộ chia lõi làm gì, tôi có thể cung cấp một mô tả ngắn gọn.
Tôi có một số nhện khác nhau và muốn chạy tất cả chúng cùng một lúc. Dựa vào cái này và cái này, tôi có thể chạy nhiều nhện trong cùng một quy trình. Tuy nhiên, tôi không biết cách thiết kế hệ thống tín hiệu để dừng lò phản ứng sau khi tất cả các con nhện kết thúc. Tôi đã thử: cra
Có cách nào để dừng lò phản ứng xoắn khi đạt được một số điều kiện nhất định. Ví dụ: nếu một biến được đặt thành một giá trị nhất định, máy chủ phản ứng có nên dừng không? Câu trả lời hay nhất Lý tưởng nhất là bạn không đặt một biến thành một giá trị và dừng lò phản ứng mà thay vào đó hãy gọi
https://code.angularjs.org/1.0.0rc9/angular-1.0.0rc9.js Liên kết trên xác định tệp js bên ngoài, tôi không biết về việc tiêm Angular-1.0.0rc9.js (trong
Tôi đang cố chạy một chức năng và đưa dịch vụ vào đó. Tôi nghĩ rằng điều này có thể được thực hiện dễ dàng bằng cách sử dụng $injector. Vì vậy, tôi đã thử cách sau (ví dụ đơn giản): Angular.injector().invoke( [ "$q
Trong Google Guice, tôi có thể sử dụng hàm createInjector để tạo bộ phun dựa trên nhiều mô-đun. Bởi vì tôi sử dụng GWT.create để khởi tạo phần chèn trong GoogleGin (trong
Tôi đang sử dụng liên kết cấu hình trong giải pháp ASP.NET Core 1.1. Về cơ bản, tôi có một số mã đơn giản để liên kết trong phần "Khởi động dịch vụ cấu hình" như thế này: s
Tôi gặp một số vấn đề khi thiết lập initBinder trong Spring MVC. Tôi có ModelAttribution đôi khi có một trường được hiển thị. lớp công khai Mẫu { riêng tư
Tôi đang cố gắng đăng mô hình loại trực tiếp Xem qua jquery post var $form = $('#barcodeTemplate form');
Làm cách nào để viết một chất kết dính mô hình tùy chỉnh cho một mô hình phức tạp chứa tập hợp các đối tượng đa hình? Tôi có cấu trúc mô hình tiếp theo: public class CustomAttributionValueViewModel { publi
Xin chào, tôi đang cố gắng triển khai phương pháp mở rộng mà tôi đã tìm thấy trong bài viết này cho một trình tiêm đơn giản, vì nó không hỗ trợ đăng ký một hàm tạo cụ thể ngay từ đầu. Theo bài viết này, tôi cần sử dụng một đại biểu giả
Xin chào, tôi muốn tự động đăng ký các phụ thuộc của mình. Những gì tôi có bây giờ là: giao diện công cộng IRepository trong đó T: lớp giao diện công cộng IFolderReposi
Tôi đang sử dụng Jasmine để kiểm tra một số mã Angular.js. Để làm được điều này, tôi cần một bộ phun Angular: var kim phun = góc.injector(['ng'
Tôi đang sử dụng trình tạo mã Matlab. Không thể bao gồm hướng dẫn về phong cách viết mã. Đó là lý do tại sao tôi đang tìm kiếm một công cụ để "định hình lại", đổi tên và định dạng lại mã được tạo theo: Tính năng, quy ước biểu ngữ, quy ước biểu ngữ tệp, quy ước đặt tên, v.v.
Câu hỏi này đã có câu trả lời ở đây: Tôi phải đặt từ khóa "mẫu" và "tên chữ" ở đâu và tại sao (8 câu trả lời) Đóng 8
Tôi đã phát triển một công cụ có thể thay đổi giao diện của một số chương trình. Để làm được điều này tôi cần thêm một dll vào một số quy trình. Bây giờ về cơ bản tôi sử dụng phương pháp này. Vấn đề thường là mọi người không thể tiêm dll vì chúng.
Tôi muốn viết một ứng dụng java bằng cách sử dụng swing, spring và hibernate. Tôi muốn sử dụng một chất kết dính dữ liệu để điền vào gui các giá trị của Bean và tôi cũng muốn nó phản ánh gui
Tôi có mã này và khi cả hai con nhện kết thúc thì chương trình vẫn chạy. #!C:\Python27\python.exe từ lò phản ứng nhập khẩu Twisted.internet từ Scrapy.cr
Điểm chính là khung thử nghiệm Spring Batch (v2) có JobLauncherTestUtils.setJob với chú thích @Autowired. Bộ thử nghiệm của chúng tôi có nhiều nhà cung cấp lớp Công việc. Bởi vì lớp học này không
Tôi là một lập trình viên xuất sắc, rất giỏi!