hadoop - cách tăng dung lượng hdfs

In lại Tác giả: Hồ Xil Thời gian cập nhật: 2023-11-01 14:22:07 25 4

   
    
         dfs.replication
         1
     
 

hadoop dfsadmin -setSpaceQuota 100g /tmp/hadoop-myUserID

 rm -rf /tmp/hadoop-myUserId  

  bắt đầu tất cả.sh
  nút tên hadoop -format

 hadoop dfsadmin -báo cáo

   
      fs.default.name
     hdfs://localhost:9000
     
   
    hadoop.tmp.dir
    /home/myUserID/hdfs
    vị trí cơ sở cho các thư mục hdfs khác.
   

mkdir ~/hdfs
df -P ~/hdfs đuôi -1 |

dừng lại tất cả.sh
bắt đầu-dfs.sh
nút tên hadoop -format
bắt đầu tất cả.sh
hadoop dfsadmin -báo cáo

25 4 0

• hdfs - Các tệp HDFS được lưu trữ trên hệ thống tệp hệ điều hành cơ bản như thế nào?

  HDFS là một hệ thống tệp logic trong Hadoop với kích thước khối là 64 MB. Các tệp trên HDFS lần lượt được lưu trên hệ thống tệp hệ điều hành cơ bản, chẳng hạn như ext4, với kích thước khối là 4KiB. Theo như tôi biết, đối với các tệp trên hệ thống tệp cục bộ, hệ điều hành

• hadoop - Sử dụng không gian HDFS: "hdfs dfs -du/" so với "hdfs dfsadmin -report"

  Công cụ nào là tốt nhất để đo mức tiêu thụ dung lượng HDFS? Khi tôi tóm tắt đầu ra của "hdfs dfs -du/", tôi luôn tiêu tốn ít dung lượng hơn so với "hdfs dfsadmin -report" (dòng ("DFS used"). Có ở đó không?

• hdfs - So sánh tổng kiểm tra HDFS với tổng kiểm tra hệ thống tệp cục bộ

  Tôi đang cố gắng viết một tập lệnh đơn giản để xác minh tổng kiểm tra HDFS và hệ thống tệp cục bộ. Trên HDFS tôi nhận được - [m@x01tbipapp3a ~]$ hadoop fs -checksum /user/m/fil

• hdfs - Cách khôi phục thư mục đã xóa từ HDFS

  Tôi đã xóa một thư mục khỏi HDFS và tìm thấy nó trong /user/hdfs/.Trash/Current/ nhưng tôi không thể khôi phục nó. Tôi đã kiểm tra diễn đàn nhưng không tìm thấy giải pháp tốt. Xin vui lòng ai đó có một giải pháp cho tôi có thể giúp tôi làm thế nào để tận dụng tối đa

• hdfs - Presto hdfs đọc và tổng hợp cục bộ

  Chạy truy vấn quét lớn Presto trên cụm 5 nút, có vẻ như chỉ có một nút là điều phối viên truy vấn và đọc dữ liệu từ 5 nút hdfs qua mạng. Tất cả các quy trình trước đều chạy trên các nút dữ liệu. Có cách nào làm 5 phần không

• hdfs - Đặt tệp trên HDFS có dấu cách trong tên

  Tôi có một tệp có tên file name(1).zip (có dấu cách và dấu ngoặc trong đó) và tôi muốn đặt tệp này trên HDFS. Nhưng mỗi lần tôi cố gắng đưa nó qua hadoop fs -put ... tôi lại gặp một ngoại lệ. Tôi làm gì

• hdfs - Presto hdfs đọc và tổng hợp cục bộ

  Chạy truy vấn quét lớn Presto trên cụm 5 nút, có vẻ như chỉ có một nút là điều phối viên truy vấn và đọc dữ liệu từ 5 nút hdfs qua mạng. Tất cả các quy trình trước đều chạy trên các nút dữ liệu. Có cách nào để có 5 nút sử dụng s

• hadoop hdfs trỏ tới file:///không phải hdfs://

  Vì vậy, tôi đã cài đặt Hadoop trên CentOS 5 thông qua Cloudera Manager cdh3u5. Khi tôi chạy cmd hadoop fs -ls/ tôi mong đợi thấy hdfs://localhos

• hadoop - Lỗi HDFS + URI HDFS không đầy đủ, không có máy chủ: hdfs://l27.0.0.1:9000

  Tôi đã chạy flume trên hadoop bằng lệnh flume-ng Agent -c conf -f conf/flume-twitter.conf -n TwitterAgent Bây giờ tôi không thể lưu dữ liệu twitter. nó cho thấy

• hadoop - Sao chép dữ liệu từ đĩa cục bộ sang HDFS trong liên kết HDFS

  Tôi đang sử dụng hai máy chủ (hadoop-coc-1 và hadoop-coc-2) để cố định cấu hình liên kết HDFS trong đó. Vì vậy, tôi đã định cấu hình $cat trong cả hai máy chủ (hadoop-coc-1 và hadoop-coc-2)

• hadoop - di chuyển số lượng lớn tệp từ hdfs sang hdfs

  Tôi cần di chuyển (không sao chép) một số lượng lớn tệp từ thư mục hdfs này sang thư mục hdfs khác trong cùng một cụm. Tôi có thể sử dụng distcp nhưng có vẻ như quá mức cần thiết vì nó đang sao chép tệp (sao chép tệp) và tôi chỉ muốn di chuyển tệp đó. Hai câu hỏi: A

• hadoop - Không thể ghi tệp vào hdfs - lỗi hdfs ở chế độ an toàn

  Khi tôi cố gắng sao chép một tệp từ thư mục cục bộ sang HDFS, tôi gặp lỗi sau: [cloudera@localhost ~]$ hadoop fs -copyFromLocal hello.txt /user/

• hadoop - HDFS sang HDFS di chuyển toàn bộ tập tin

  Theo như tôi biết, không có tùy chọn trực tiếp nào để ghi đè lên các tệp trong HDFS khi di chuyển từ vị trí HDFS này sang vị trí HDFS khác, copy cp có tùy chọn để buộc nó. Tôi đang cố gắng tìm hiểu xem có hack nào có thể làm được điều này không? Những gì chúng ta có thể làm là hdfs dfs

• hadoop - Làm cách nào để sao chép dữ liệu từ HDFS này sang HDFS khác?

  Tôi có hai thiết lập HDFS và muốn sao chép (không di chuyển hoặc di chuyển) một số bảng từ HDFS1 sang HDFS2. Làm cách nào để sao chép dữ liệu từ HDFS này sang HDFS khác? Điều này có thể thực hiện được thông qua Sqoop hoặc dòng lệnh khác không? câu trả lời hay nhất

• hdfs - Luồng dữ liệu Kafka Storm HDFS/S3

  Không rõ liệu bạn có thể thực hiện fanout (sao chép) trong Kafka giống như trong Flume hay không. Tôi muốn Kafka lưu dữ liệu vào HDFS hoặc S3 và gửi bản sao của dữ liệu đó tới Storm để xử lý theo thời gian thực. Bão

• hdfs - Chạy các lệnh HDFS dưới dạng bước EMR

  Làm cách nào để đưa ra lệnh hdfs như một bước trong cụm EMR? Việc thêm các bước dưới dạng tác vụ script_runner.jar dường như không thành công. Câu trả lời hay nhất sử dụng command-runner.jar và hiển thị bash

• hdfs - Chạy các lệnh HDFS dưới dạng bước EMR

  Làm cách nào để đưa ra lệnh hdfs như một bước trong cụm EMR? Việc thêm các bước dưới dạng tác vụ script_runner.jar dường như không thành công. Câu trả lời hay nhất sử dụng command-runner.jar và hiển thị bash

• hadoop - Đường dẫn HDFS đã thay đổi trong khi cố cập nhật tệp trong HDFS

  Tôi mới sử dụng Hadoop và HDFS, vì vậy có thể tôi đã làm sai điều gì đó khi sao chép từ cục bộ (Ubuntu 10.04) sang HDFS trên một nút duy nhất trên localhost. Bản sao ban đầu hoạt động tốt, nhưng khi tôi sửa đổi thư mục đầu vào cục bộ của mình và

• hadoop - Làm cách nào để thay đổi thư mục chính của người dùng HDFS của người dùng hdfs?

  Từ thực tiễn của tôi với Hadoop HDFS, tôi hiểu rằng khi tạo người dùng nói u1 và cố gắng đưa các tệp từ hệ thống tệp cục bộ vào HDFS, nó sẽ tìm kiếm thư mục/user/u1 (theo mặc định) đã ghi vào hệ thống tệp HDFS

• hadoop - HDFS Đặt tệp cục bộ vào hdfs nhưng nhận được UnresolvedAddressException

  Mình muốn đưa file 70G vào hdfs nên mình dùng lệnh "put" để thực hiện việc này. Tuy nhiên, tôi nhận được ngoại lệ sau đây. Tôi đã thử lệnh tương tự cho các tệp có kích thước nhỏ và nó đã hoạt động. Có ai biết vấn đề là gì không? Cảm ơn bạn CẢNH BÁO [DataStre