cuốn sách gpt4 ai đã làm

java - Hadoop 2.6.x 和 Amazon AWS SDK Library 冲突 http-core 冲突

In lại Tác giả: Hồ Xil Thời gian cập nhật: 2023-11-01 16:02:58 33 4
mua khóa gpt4 Nike

Công việc của tôi là ghi từng bản ghi vào DynamoDB trong bản đồ Hadoop.

Tôi không thể chạy nó bằng Hadoop 2.6 với httpclient-4.2.5.jar và httpcore-4.2.5.jar.

AWS tôi sử dụng được xây dựng bằng httpclient-4.5.2.jar và httpcore-4.4.4.jar.

Khi tôi sử dụng đường dẫn lớp để bao gồm tệp jar mới, tôi gặp ngoại lệ sau.

java.lang.Exception: java.lang.NoSuchFieldError: INSTANCE
tại org.apache.hadoop.mapred.LocalJobRunner$Job.runTasks(LocalJobRunner.java:462)
tại org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:522)
Nguyên nhân do: java.lang.NoSuchFieldError: INSTANCE
tại org.apache.http.conn.ssl.SSLConnectionSocketFactory.(SSLConnectionSocketFactory.java:144)
tại com.amazonaws.http.apache.client.impl.ApacheConnectionManagerFactory.getPreferredSocketFactory(ApacheConnectionManagerFactory.java:87)
tại com.amazonaws.http.apache.client.impl.ApacheConnectionManagerFactory.create(ApacheConnectionManagerFactory.java:65)
tại com.amazonaws.http.apache.client.impl.ApacheConnectionManagerFactory.create(ApacheConnectionManagerFactory.java:58)
tại com.amazonaws.http.apache.client.impl.ApacheHttpClientFactory.create(ApacheHttpClientFactory.java:49)

Đối với tôi, có vẻ như Hadoop được xây dựng bằng các thư viện cũ với một số thay đổi về cú pháp.

Có giải pháp nào hợp lý hơn ngoài việc biên dịch lại mã nguồn cũ của AWS không?

câu trả lời hay nhất

Để cập nhật, tôi phải chuyển sang Maven và thử nghiệm các phiên bản này một chút.

 

org.apache.hadoop
hadoop-common
2.6.0



org.apache.hadoop
hadoop-mapreduce-client-core
2.6.0




org.apache.httpthành phần
httpclient
4.3.4
biên dịch



com.amazonaws
aws-java-sdk-dynamodb
1.9.13



org.netpreserve.commons
webarchive-commons
1.1.4

cuối cùng đã thành công

Về xung đột lõi http-core của thư viện java - Hadoop 2.6.x và Amazon AWS SDK, chúng tôi đã tìm thấy một câu hỏi tương tự trên Stack Overflow: https://stackoverflow.com/questions/37654549/

33 4 0
Hồ Xil
Hồ sơ

Tôi là một lập trình viên xuất sắc, rất giỏi!

Nhận phiếu giảm giá taxi Didi miễn phí
Phiếu giảm giá taxi Didi
Chứng chỉ ICP Bắc Kinh số 000000
Hợp tác quảng cáo: 1813099741@qq.com 6ren.com
Xem sitemap của VNExpress