hadoop - Làm cách nào để thay đổi Metastore sqoop?

In lại Tác giả: Hồ Xil Thời gian cập nhật: 2023-11-01 14:20:59 26 4

    
    sqoop.metastore.client.enable.autoconnect
    sai
    Nếu đúng, Sqoop sẽ kết nối với kho lưu trữ cục bộ
      để quản lý công việc khi không có đối số di căn nào khác
      cung cấp.
    
  
  
    sqoop.metastore.client.autoconnect.url
    jdbc:mysql://ip:3206/sqoop?createDatabaseIfNotExist=true
  
  
    sqoop.metastore.client.autoconnect.username
    tên người dùng
  
  
    sqoop.metastore.client.autoconnect.password
    mật khẩu
  

công việc sqoop --create --meta-connect {mysql_jdbc_url} định nghĩa công việc sqoop

    14/06/06 15:04:54 INFO sqoop.Sqoop: Chạy phiên bản Sqoop: 1.4.4.2.0.6.1-101
06/14/06 15:04:55 CẢNH BÁO hsqldb.HsqldbJobStorage: Không thể hiểu dưới dạng số: null
06/14/06 15:04:55 LỖI hsqldb.HsqldbJobStorage: Không thể diễn giải lược đồ siêu dữ liệu
06/14/06 15:04:55 LỖI hsqldb.HsqldbJobStorage: Phiên bản lược đồ siêu dữ liệu là rỗng
06/14/06 15:04:55 LỖI hsqldb.HsqldbJobStorage: Phiên bản cao nhất được hỗ trợ là 0
06/14/06 15:04:55 LỖI hsqldb.HsqldbJobStorage: Để sử dụng phiên bản Sqoop này, bạn phải hạ cấp lược đồ siêu dữ liệu của mình.
06/14/06 15:04:55 Công cụ LỖI.JobTool: Lỗi I/O khi thực hiện thao tác công việc: java.io.IOException: Phiên bản siêu dữ liệu không hợp lệ.
        tại org.apache.sqoop.metastore.hsqldb.HsqldbJobStorage.init(HsqldbJobStorage.java:202)
        tại org.apache.sqoop.metastore.hsqldb.HsqldbJobStorage.open(HsqldbJobStorage.java:161)
        tại org.apache.sqoop.tool.JobTool.run(JobTool.java:274)
        tại org.apache.sqoop.Sqoop.run(Sqoop.java:147)
        tại org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
        tại org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183)
        tại org.apache.sqoop.Sqoop.runTool(Sqoop.java:222)
        tại org.apache.sqoop.Sqoop.runTool(Sqoop.java:231)
        tại org.apache.sqoop.Sqoop.main(Sqoop.java:240)

26 4 0

• sqoop - Bản ghi một phần và trùng lặp khi nhập sqoop

  Nhập Sqoop dẫn đến các bản ghi trùng lặp/một phần khi chúng tôi sử dụng các cài đặt sau --query - truy vấn tùy chỉnh --split-by - cột không nguyên (ký tự) --num-mappers - hơn 2 Đã xác minh

• apache - Sqoop - Không thể tìm hoặc tải lớp chính org.apache.sqoop.Sqoop

  Tôi đã cài đặt Hadoop, Hive, HBase, Sqoop và thêm chúng vào PATH. Khi tôi cố gắng thực thi lệnh sqoop, tôi gặp lỗi này: Lỗi: Không thể tìm hoặc tải m

• sqoop - Lỗi liên kết giao tiếp Apache Sqoop

  Khi tôi kết nối với mysql trên một cụm (aaaaaa1) và sqooop trên một máy chủ khác (aaaaaa2), tôi gặp lỗi sau, mặc dù đã tạo bảng trong mySql và cấp toàn quyền cho cụm khác

• sqoop - liệt kê các cột bằng sqoop

  Tôi thấy các lệnh sau rất hữu ích để xem cơ sở dữ liệu nguồn của tôi trông như thế nào: sqoop-list-databases sqoop-list-tables Tuy nhiên, dường như không có lệnh nào để liệt kê các cột trong bảng, điều này sẽ hợp lý bước chân. Điều tôi đang hỏi bây giờ

• Java - Cái nào nên được nhập từ sqoop jar, com.cloudera.sqoop hoặc org.apache.sqoop?

  Tôi bối rối khi nhập các thư viện (com.cloudera.sqoop và org.apache.sqoop) và đưa nó vào Eclipse (chứa jar sqoop-1.4.4-hadoop200.jar) - Tôi

• sqoop - Ý nghĩa của $conditions trong Sqoop

  Ý nghĩa của mệnh đề $conditions trong lệnh nhập sqoop là gì? chọn col1, col2 từ test_table trong đó \$CONDITIONS Câu trả lời hay nhất Sqoop

• sqoop - Ý nghĩa của $conditions trong Sqoop

  Ý nghĩa của mệnh đề $conditions trong lệnh nhập sqoop là gì? chọn col1, col2 từ test_table trong đó \$CONDITIONS Câu trả lời hay nhất Sqoop

• mysql - Lỗi sqoop.Sqoop: Có ngoại lệ khi chạy Sqoop: java.lang.RuntimeException: Không thể tải lớp trình điều khiển db: mysql.jdbc.Driver.

  Tôi đang sử dụng cụm nút chia sẻ Hadoop 2.5.0-cdh5.3.2 Vui lòng chia sẻ tên của tất cả các phiên bản tương thích của tệp jar MySql sẽ được tải và tất cả các đường dẫn để nhập và xuất thành công giữa các thư mục HDFS và MySQL. TÔI

• sqoop - Tại sao tác vụ Sqoop của tôi trong Azkaban bị kẹt sau khi chọn một cột?

  Tôi đang sử dụng các lệnh shell trong Azkaban và đưa các lệnh Sqoop vào tập lệnh shell. Hôm nay tác vụ Sqoop bị kẹt không rõ lý do, sqoop_task1. Đã xảy ra vài ngày trước trong một nhiệm vụ sqoop khác, hãy gọi nó là s

• Không tìm thấy lớp ngoại lệ khi chạy sqoop: org/apache/sqoop/Sqoop

  Tôi đã cài đặt sqoop (sqoop-1.4.4.bin__hadoop-1.0.0.tar.gz từ http://www.apache.org/dist/sqoop/1.4.4/) trên máy tính của mình. khi

• sqoop - Apache Sqoop - không tìm thấy addtowar.sh

  Tôi vừa tải xuống tệp cài đặt Sqoop sqoop-1.99.3-bin-hadoop100.tar.gz. Tôi không thể tìm thấy tệp addtowar.sh trong đó. Tôi đã làm theo hướng dẫn cài đặt tại đây - https://sqo

• sqoop - Ghi lại đầu ra sqoop trong oozie

  Tôi có quy trình làm việc của Oozie được cho là chạy X phút một lần. Nó đọc một giá trị từ bảng HBase. Sau đó, thao tác Sqoop (gia tăng) được chạy dựa trên giá trị được đọc từ HBase ở bước trước. Để quy trình làm việc hoạt động, tôi cần bằng cách nào đó

• Tôi không thể nhập dữ liệu trong sqoop qua sqoop tất cả các bảng

  [cloudera@quickstart ~]$ **sqoop import-all-tables -m=4 --connect "jdbc:mysql://quickstart.cloudera:

• mysql - Lỗi Sqoop khi sử dụng bất kỳ lệnh sqoop nào

  Tôi đang sử dụng hadoop 2.6.0 và hiện tôi đang dùng thử sqoop-1.4.5.bin__hadoop-2.0.4-alpha.tar.gz. Tôi đang sử dụng phiên bản sqoop phiên bản sqoop 2

• hadoop - Ghi đè nhiều thuộc tính sqoop trong khi thực hiện công việc sqoop

  Tôi nhận thấy rằng khi ghi đè các thuộc tính công việc sqoop trong thời gian chạy, tôi chỉ có thể ghi đè một thuộc tính. Ví dụ 1: Nếu tôi gửi công việc sqoop --exec test123 -- --query "select * from test w

• Làm cách nào để tự động hóa việc nhập gia tăng sqoop bằng công việc sqoop?

  Làm cách nào để tự động hóa việc nhập gia tăng sqoop bằng công việc sqoop? Theo như tôi biết, công việc sqoop ghi nhớ giá trị cuối cùng. Nếu chúng ta tạo một công việc sqoop như sqoop job --create myjob --

• mysql - Trong xuất sqoop, Sqoop đặt cột trống cho văn bản dài

  Tôi đang cố gắng sử dụng tính năng xuất sqoop để xuất bản ghi từ S3 sang Mysql Aurora. Một trong các kiểu dữ liệu trong S3 là clob, trong đó các tệp XML và văn bản dài được lưu trữ dưới dạng chuỗi. Khi tôi chạy

• Sqoop-2 không thể thực hiện nhập hàng loạt trên một nút trong khi sử dụng shell sqoop cho truy vấn tùy chỉnh

  Tôi đang thực hiện di chuyển nguyên mẫu của một tập bản ghi lớn được tạo bởi truy vấn tùy chỉnh tốn kém về mặt tính toán. Truy vấn này mất khoảng 1-2 giờ để trả về tập kết quả trong SQL Developer. Tôi đang cố gắng chuyển truy vấn này sang một Sq đơn giản

• Mệnh đề Apache Sqoop Where không hoạt động khi sử dụng SQOOP IMPORT

  Ai có thể cho tôi biết đầu ra của lệnh này là gì không: Ở đây bảng phòng ban có 6 hàng mặc định (từ dept_id 2 đến 7), sau đó tôi thêm vào bảng 'retail_db.departments' của Mysql db (d

• hadoop - Sqoop 2 cung cấp những gì mà Sqoop 1 không có?

  Theo sqoop.apache.org, Sqoop 2 chưa hoàn chỉnh về tính năng và không nên sử dụng trong các hệ thống sản xuất. Công bằng mà nói, một số người có thể muốn thử nghiệm các tính năng mới của Sqoop 2 trong môi trường thử nghiệm của họ. Cloudera vs Sqo