cuốn sách gpt4 ai đã làm

hadoop - Làm cách nào để sao chép dữ liệu từ HDFS này sang HDFS khác?

In lại Tác giả: Hồ Xil Thời gian cập nhật: 2023-11-01 14:10:26 35 4
mua khóa gpt4 Nike

Tôi có hai thiết lập HDFS và muốn sao chép (không di chuyển hoặc di chuyển) một số bảng từ HDFS1 sang HDFS2. Làm cách nào để sao chép dữ liệu từ HDFS này sang HDFS khác? Điều này có thể thực hiện được thông qua Sqoop hoặc dòng lệnh khác không?

câu trả lời hay nhất

DistCp (Distributed Copy) là công cụ sao chép dữ liệu giữa các cụm. Nó sử dụng MapReduce để thực hiện việc phân phối, xử lý và khôi phục lỗi cũng như báo cáo. Nó mở rộng danh sách các tệp và thư mục làm đầu vào cho các tác vụ ánh xạ, mỗi tác vụ ánh xạ sẽ sao chép một phân vùng của tệp được chỉ định trong danh sách nguồn.

cách sử dụng:$ hadoop distcp

Ví dụ:$ hadoop distcp hdfs://nn1:8020/file1 hdfs://nn2:8020/file2

tập tin1từ nn1Sao chép vào nn2tên tập tin tập tin2

Distcp là công cụ tốt nhất hiện có. Sqoop được sử dụng để sao chép dữ liệu từ cơ sở dữ liệu quan hệ sang HDFS và ngược lại, nhưng không phải giữa HDFS và HDFS.

Thêm thông tin:

Có hai phiên bản có sẵn - distcp2 Hiệu suất thời gian chạy trong distcp so với hơn

Giới thiệu về hadoop - Làm cách nào để sao chép dữ liệu từ HDFS này sang HDFS khác? , chúng tôi đã tìm thấy một câu hỏi tương tự trên Stack Overflow: https://stackoverflow.com/questions/31862904/

35 4 0
Chứng chỉ ICP Bắc Kinh số 000000
Hợp tác quảng cáo: 1813099741@qq.com 6ren.com
Xem sitemap của VNExpress