cuốn sách gpt4 ai đã làm

java - Thuộc tính sao chép HDFS không được phản ánh (được phản ánh) được xác định trong hfs-site.xml

In lại Tác giả: Hồ Xil Thời gian cập nhật: 2023-11-01 15:56:02 25 4
mua khóa gpt4 Nike

Tôi đang làm việc trên HDFS và đặt hệ số sao chép thành 1 trong hfs-site.xml như thế này:






dfs.replication
1



dfs.namenode.name.dir
/Users/***/Documnent/hDir/hdfs/namenode


dfs.datanode.data.dir
/Users/***/Documnent/hDir/hdfs/datanode



dfs.permissions
sai



Nhưng khi tôi cố gắng sao chép tệp từ hệ thống cục bộ sang hệ thống tệp hdfs, tôi thấy rằng hệ số sao chép của tệp là 3. Đây là mã để sao chép tập tin trên hdfs:

    lớp công khai FileCopyWithWrite {

public static void main(String[] args) {
// TODO sơ khai phương thức được tạo tự động

Chuỗi localSrc = "/Users/***/Documents/hContent/input/docs/1400-8.txt";
Chuỗi dst = "hdfs://localhost/books/1400-8.txt";
try{

inputStream in = new BufferedInputStream(FileInputStream mới(localSrc));
Cấu hình conf = Cấu hình mới();;
Hệ thống tệp fs = FileSystem.get(URI.create(dst), conf);

OutputStream out = fs.create(new Path(dst), new Progressable() {

tiến trình void công khai () {
// TODO sơ khai phương thức được tạo tự động
System.out.println(".");
}
});

IOUtils.copyBytes(in, out, 4092, true);


}bắt(Ngoại lệ e){
e.printStackTrace();
}
}

}

Vui lòng tìm ảnh chụp màn hình này hiển thị hệ số sao chép là 3:

nhập mô tả hình ảnh ở đây

Lưu ý rằng tôi đã bắt đầu ở chế độ phân phối giả và đã cập nhật hdfs-site.xml dựa trên tài liệu trong sách Hướng dẫn dứt khoát của Hadoop. Bất kỳ đề xuất nào về lý do tại sao điều này xảy ra?

câu trả lời hay nhất

Xóa thư mục nút tên và thư mục nút dữ liệu đã giải quyết được vấn đề của tôi. Vì vậy, tôi đã làm theo quy trình sau:

  1. Dừng các dịch vụ, cụ thể là dfs, sợi và mr.

  2. Xóa các thư mục nút tên và ghi chú dữ liệu được chỉ định trong tệp hfs-site.xml.

  3. Tạo lại các thư mục nút tên và nút dữ liệu.

  4. Khởi động lại các dịch vụ, cụ thể là dfs, sợi và mr.

Về java - Thuộc tính sao chép HDFS không được phản ánh (phản ánh) được xác định trong hfs-site.xml, chúng tôi đã tìm thấy một câu hỏi tương tự trên Stack Overflow: https://stackoverflow.com/questions/43764747/

25 4 0
Chứng chỉ ICP Bắc Kinh số 000000
Hợp tác quảng cáo: 1813099741@qq.com 6ren.com
Xem sitemap của VNExpress