25
4
Tôi mới sử dụng Hadoop và HDFS, vì vậy có thể tôi đã làm sai điều gì đó khi sao chép từ cục bộ (Ubuntu 10.04) sang HDFS trên một nút duy nhất trên localhost. Bản sao ban đầu hoạt động tốt, nhưng khi tôi sửa đổi thư mục đầu vào cục bộ của mình và cố gắng sao chép lại vào HDFS, đường dẫn HDFS sẽ thay đổi.
Trung tâm cá nhân
Điều phát hành
từ bỏ~$ $HADOOP_HOME/bin/hadoop dfs -copyFromLocal /tmp/anagram /user/hduser/anagram
~$ $HADOOP_HOME/bin/hadoop dfs -ls /user/hduser/anagram
Tìm thấy 1 sản phẩm
-rw-r--r-- 1 siêu nhóm hduser 4067675 2011-08-29 05:44 /user/hduser/anagram/SINGLE.TXT
Sau khi thêm một tệp khác (COMMON.TXT) vào cùng một thư mục cục bộ, tôi đã chạy cùng một bản sao trên thư mục cục bộ sang HDFS, nhưng lần này nó đã sao chép sang một vị trí khác so với lần đầu tiên (/user/hduser/anagram sang /user /hduser/đảo chữ/đảo chữ).
~$ $HADOOP_HOME/bin/hadoop dfs -copyFromLocal /tmp/anagram /user/hduser/anagram
~$ $HADOOP_HOME/bin/hadoop dfs -ls /user/hduser/anagram
Tìm thấy 2 sản phẩm
-rw-r--r-- 1 siêu nhóm hduser 4067675 2011-08-29 05:44 /user/hduser/anagram/SINGLE.TXT
drwxr-xr-x - siêu nhóm hduser 0 2011-08-29 05:48 /user/hduser/anagram/anagram
~$ $HADOOP_HOME/bin/hadoop dfs -ls /user/hduser/anagram/anagram
Tìm thấy 2 sản phẩm
-rw-r--r-- 1 siêu nhóm hduser 805232 2011-08-29 05:48 /user/hduser/anagram/anagram/COMMON.TXT
-rw-r--r-- 1 siêu nhóm hduser 4067675 2011-08-29 05:48 /user/hduser/anagram/anagram/SINGLE.TXT
Có ai gặp phải điều này? Tôi thấy rằng để khắc phục điều này, bạn cần xóa thư mục đầu tiên rồi sao chép lại:
~$ $HADOOP_HOME/bin/hadoop dfs -rmr /user/hduser/anagram/anagram
Đã xóa hdfs://localhost:54310/user/hduser/anagram/anagram
~$ $HADOOP_HOME/bin/hadoop dfs -rmr /user/hduser/anagram
Đã xóa hdfs://localhost:54310/user/hduser/anagram
~$ $HADOOP_HOME/bin/hadoop dfs -copyFromLocal /tmp/anagram /user/hduser/anagram
~$ $HADOOP_HOME/bin/hadoop dfs -ls /user/hduser/anagram
Tìm thấy 2 sản phẩm
-rw-r--r-- 1 siêu nhóm hduser 805232 2011-08-29 05:55 /user/hduser/anagram/COMMON.TXT
-rw-r--r-- 1 siêu nhóm hduser 4067675 2011-08-29 05:55 /user/hduser/anagram/SINGLE.TXT
Có ai biết cách làm điều này mà không cần phải xóa thư mục mỗi lần không?
câu trả lời hay nhất
Theo tôi đây là một tác dụng phụ (kiểm tra FileUtil.java, phương thức tĩnh FileUtil.checkDest(String srcName, FileSystem dstFS, Path dst, boolean overwrite)) hãy thử điều này:
hadoop dfs -copyFromLocal /tmp/anagram/*.TXT /user/hduser/anagram
Được sử dụng để cập nhật thư mục.
Về hadoop - Đường dẫn HDFS thay đổi khi cố cập nhật tệp trong HDFS, chúng tôi đã tìm thấy một câu hỏi tương tự trên Stack Overflow: https://stackoverflow.com/questions/7226660/
25
4
0
HDFS là một hệ thống tệp logic trong Hadoop với kích thước khối là 64 MB. Các tệp trên HDFS lần lượt được lưu trên hệ thống tệp hệ điều hành cơ bản, chẳng hạn như ext4, với kích thước khối là 4KiB. Theo như tôi biết, đối với các tệp trên hệ thống tệp cục bộ, hệ điều hành
Công cụ nào là tốt nhất để đo mức tiêu thụ dung lượng HDFS? Khi tôi tóm tắt đầu ra của "hdfs dfs -du/", tôi luôn tiêu tốn ít dung lượng hơn so với "hdfs dfsadmin -report" (dòng ("DFS used"). Có ở đó không?
Tôi đang cố gắng viết một tập lệnh đơn giản để xác minh tổng kiểm tra HDFS và hệ thống tệp cục bộ. Trên HDFS tôi nhận được - [m@x01tbipapp3a ~]$ hadoop fs -checksum /user/m/fil
Tôi đã xóa một thư mục khỏi HDFS và tìm thấy nó trong /user/hdfs/.Trash/Current/ nhưng tôi không thể khôi phục nó. Tôi đã kiểm tra diễn đàn nhưng không tìm thấy giải pháp tốt. Xin vui lòng ai đó có một giải pháp cho tôi có thể giúp tôi làm thế nào để tận dụng tối đa
Chạy truy vấn quét lớn Presto trên cụm 5 nút, có vẻ như chỉ có một nút là điều phối viên truy vấn và đọc dữ liệu từ 5 nút hdfs qua mạng. Tất cả các quy trình trước đều chạy trên các nút dữ liệu. Có cách nào làm 5 phần không
Tôi có một tệp có tên file name(1).zip (có dấu cách và dấu ngoặc trong đó) và tôi muốn đặt tệp này trên HDFS. Nhưng mỗi lần tôi cố gắng đưa nó qua hadoop fs -put ... tôi lại gặp một ngoại lệ. Tôi làm gì
Chạy truy vấn quét lớn Presto trên cụm 5 nút, có vẻ như chỉ có một nút là điều phối viên truy vấn và đọc dữ liệu từ 5 nút hdfs qua mạng. Tất cả các quy trình trước đều chạy trên các nút dữ liệu. Có cách nào để có 5 nút sử dụng s
Vì vậy, tôi đã cài đặt Hadoop trên CentOS 5 thông qua Cloudera Manager cdh3u5. Khi tôi chạy cmd hadoop fs -ls/ tôi mong đợi thấy hdfs://localhos
Tôi đã chạy flume trên hadoop bằng lệnh flume-ng Agent -c conf -f conf/flume-twitter.conf -n TwitterAgent Bây giờ tôi không thể lưu dữ liệu twitter. nó cho thấy
Tôi đang sử dụng hai máy chủ (hadoop-coc-1 và hadoop-coc-2) để cố định cấu hình liên kết HDFS trong đó. Vì vậy, tôi đã định cấu hình $cat trong cả hai máy chủ (hadoop-coc-1 và hadoop-coc-2)
Tôi cần di chuyển (không sao chép) một số lượng lớn tệp từ thư mục hdfs này sang thư mục hdfs khác trong cùng một cụm. Tôi có thể sử dụng distcp nhưng có vẻ như quá mức cần thiết vì nó đang sao chép tệp (sao chép tệp) và tôi chỉ muốn di chuyển tệp đó. Hai câu hỏi: A
Khi tôi cố gắng sao chép một tệp từ thư mục cục bộ sang HDFS, tôi gặp lỗi sau: [cloudera@localhost ~]$ hadoop fs -copyFromLocal hello.txt /user/
Theo như tôi biết, không có tùy chọn trực tiếp nào để ghi đè lên các tệp trong HDFS khi di chuyển từ vị trí HDFS này sang vị trí HDFS khác, copy cp có tùy chọn để buộc nó. Tôi đang cố gắng tìm hiểu xem có hack nào có thể làm được điều này không? Những gì chúng ta có thể làm là hdfs dfs
Tôi có hai thiết lập HDFS và muốn sao chép (không di chuyển hoặc di chuyển) một số bảng từ HDFS1 sang HDFS2. Làm cách nào để sao chép dữ liệu từ HDFS này sang HDFS khác? Điều này có thể thực hiện được thông qua Sqoop hoặc dòng lệnh khác không? câu trả lời hay nhất
Không rõ liệu bạn có thể thực hiện fanout (sao chép) trong Kafka giống như trong Flume hay không. Tôi muốn Kafka lưu dữ liệu vào HDFS hoặc S3 và gửi bản sao của dữ liệu đó tới Storm để xử lý theo thời gian thực. Bão
Làm cách nào để đưa ra lệnh hdfs như một bước trong cụm EMR? Việc thêm các bước dưới dạng tác vụ script_runner.jar dường như không thành công. Câu trả lời hay nhất sử dụng command-runner.jar và hiển thị bash
Làm cách nào để đưa ra lệnh hdfs như một bước trong cụm EMR? Việc thêm các bước dưới dạng tác vụ script_runner.jar dường như không thành công. Câu trả lời hay nhất sử dụng command-runner.jar và hiển thị bash
Tôi mới sử dụng Hadoop và HDFS, vì vậy có thể tôi đã làm sai điều gì đó khi sao chép từ cục bộ (Ubuntu 10.04) sang HDFS trên một nút duy nhất trên localhost. Bản sao ban đầu hoạt động tốt, nhưng khi tôi sửa đổi thư mục đầu vào cục bộ của mình và
Từ thực tiễn của tôi với Hadoop HDFS, tôi hiểu rằng khi tạo người dùng nói u1 và cố gắng đưa các tệp từ hệ thống tệp cục bộ vào HDFS, nó sẽ tìm kiếm thư mục/user/u1 (theo mặc định) đã ghi vào hệ thống tệp HDFS
Mình muốn đưa file 70G vào hdfs nên mình dùng lệnh "put" để thực hiện việc này. Tuy nhiên, tôi nhận được ngoại lệ sau đây. Tôi đã thử lệnh tương tự cho các tệp có kích thước nhỏ và nó đã hoạt động. Có ai biết vấn đề là gì không? Cảm ơn bạn CẢNH BÁO [DataStre
Tôi là một lập trình viên xuất sắc, rất giỏi!