cuốn sách gpt4 ai đã làm

hadoop - Pig có thể xử lý các tệp định dạng ebcdic không?

In lại Tác giả: Hồ Xil Thời gian cập nhật: 2023-11-01 15:15:06 25 4
mua khóa gpt4 Nike

Câu hỏi của tôi rất đơn giản. Pig (Hadoop) có thể xử lý các tệp ebcdic không? Tôi có một số và tôi muốn xử lý và xử lý chúng bằng nền tảng Pig trong Hadoop.

Hiện tại tôi đã lưu tệp và đang cố tải nó như sau:

A = LOAD '/user/enrico/FilesForPigs/IRIS.txt' AS (f1,f2,f3);

Nó có vẻ hoạt động nhưng khi tôi thử nhập: DUMP A; tôi gặp lỗi.

biên tập:

Theo gợi ý của Donald, tôi đang cố gắng tạo một chương trình Java để thực hiện chuyển đổi, cụ thể là tôi đang cố gắng tạo hàm LOAD của riêng mình.

Trên thực tế mã của tôi có vấn đề sau:

@Ghi đè
công khai inputFormat getInputFormat() {


trả về TextInputFormat mới();
}

Đây là ví dụ tôi tìm thấy, nhưng TextInputFormat không phù hợp với trường hợp của tôi. Bạn có biết làm thế nào tôi có thể giải quyết điều này?

Cảm ơn

câu trả lời hay nhất

Không, cơ chế lưu trữ mặc định giả định dữ liệu là ASCII, được phân cách bằng tab. Bạn có thể sử dụng PigStorage(',') Thay đổi dấu phân cách thành dấu phẩy.

Bạn có hai lựa chọn:

  • Chuyển đổi dữ liệu từ ebcdic sang một số định dạng CSV (bạn có thể thực hiện việc này bằng cách sử dụng một chương trình luồng đơn nếu khối lượng dữ liệu không phải là vấn đề hoặc công việc MapReduce nếu khối lượng dữ liệu có vấn đề)
  • Viết hàm tải ebcdic tùy chỉnh. Bạn có thể xem cách thực hiện việc này đây .

Có thể ai đó đã triển khai tính năng này nhưng sau khi tìm kiếm nhanh trên Google, tôi không thấy gì cả.

Giới thiệu về hadoop - Pig có thể xử lý các tệp định dạng ebcdic không? , chúng tôi đã tìm thấy một câu hỏi tương tự trên Stack Overflow: https://stackoverflow.com/questions/24869989/

25 4 0
Hồ Xil
Hồ sơ

Tôi là một lập trình viên xuất sắc, rất giỏi!

Nhận phiếu giảm giá taxi Didi miễn phí
Phiếu giảm giá taxi Didi
Chứng chỉ ICP Bắc Kinh số 000000
Hợp tác quảng cáo: 1813099741@qq.com 6ren.com
Xem sitemap của VNExpress