cuốn sách gpt4 ai đã làm

centos7 định cấu hình Hive để tương tác với spark-sql

In lại Tác giả: Người biết Thời gian cập nhật: 2024-03-13 08:08:03 29 4
mua khóa gpt4 Nike

1. Định cấu hình tệp Hive-site.xml

giá trị ban đầu

Thay đổi giá trị của hive.metastore.schema.verification thành false
sai

2. Sao chép tệp Hive-site.xml trong Hive vào thư mục spark/conf

cp /opt/Hive/conf/Hive-site.xml /opt/spark/conf

3. Sao chép trình điều khiển mysql vào thư mục spark/jars(lib)

4. Định cấu hình tệp spark-env.sh

thêm vào cuối

xuất SPARK_CLASSPATH=/opt/spark/jars(lib)/mysql-connector-java-5.1.44-bin.jar

5. Sửa đổi tệp spark/con/log4j.properties

Thay đổi log4j.rootCategory=INFO, INFO trong bảng điều khiển thành WARN

6. Bắt đầu dịch vụ di căn của Hive

Hive --service metastore &

7. Bắt đầu tổ ong và spark-sql

8. Cơ sở dữ liệu hive và spark-sql đã được kết nối với nhau

Tổ ong:

Spark-sql:

29 4 0
Chứng chỉ ICP Bắc Kinh số 000000
Hợp tác quảng cáo: 1813099741@qq.com 6ren.com
Xem sitemap của VNExpress