cuốn sách gpt4 ai đã làm

xử lý các tệp lớn trong java

In lại Tác giả: Taklimakan Thời gian cập nhật: 2023-11-03 03:40:39 27 4
mua khóa gpt4 Nike

Tôi có một tệp lớn khoảng 10 GB. Tôi phải sắp xếp, lọc, v.v. các tệp trong Java. Mọi hoạt động có thể được thực hiện song song.

Bắt đầu 10 thread để đọc file song song có tốt không? Mỗi luồng đọc một tệp 1 GB. Có lựa chọn nào khác để giải quyết vấn đề về tệp quá khổ và xử lý chúng nhanh nhất có thể không? NIO có phù hợp với kịch bản này không?

Hiện tại mình đang làm liên tục và mất khoảng 20 phút để xử lý những file như vậy.

谢谢,

câu trả lời hay nhất

Bắt đầu 10 thread và đọc file song song có tốt không?

Gần như chắc chắn là không – mặc dù còn tùy. Nếu nó đến từ ổ SSD (thực tế không có thời gian tìm kiếm), thìkhả thi. Nếu là đĩa truyền thống chắc chắn sẽ không hoạt động được.

Nhưng điều đó không có nghĩa là bạn không thể sử dụng nhiều chủ đề - bạn có thể tạomộtLuồng đọc tệp và chỉ thực hiện các tác vụ cơ bản nhất để đưa dữ liệu vào một khối có thể xử lý được. Sau đó sử dụng hàng đợi của nhà sản xuất/người tiêu dùng để có nhiều luồng处理dữ liệu.

Chúng tôi thực sự không thể biết quá trình này song song như thế nào, ngoài việc "sắp xếp, lọc, v.v." (điều này rất mơ hồ) - nhưng việc cố gắng thực hiện IO song song trên một tệp duy nhất có thể sẽ không giúp ích gì.

Về java - Xử lý các tệp lớn trong java, chúng tôi đã tìm thấy một câu hỏi tương tự trên Stack Overflow: https://stackoverflow.com/questions/9709782/

27 4 0
Chứng chỉ ICP Bắc Kinh số 000000
Hợp tác quảng cáo: 1813099741@qq.com 6ren.com
Xem sitemap của VNExpress