- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库?
- java - OnItemClickListener 不起作用,但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
我试图从架构的角度理解 hive
,我指的是 Tom White 关于 Hadoop 的书。
我遇到了以下关于配置单元的术语:Hive Services
、hiveserver2
、metastore
等。
引用本书(Hadoop:权威指南)中的以下图表。
我无法理解以下内容:
1)Hive架构图中的Hive Services
是什么?我们说 hiveserver2
是一样的吗?
2)Hive架构图中的Driver
是什么?
3) 什么是 MetaStore
(我不是指的是 Metastore 数据库)。它是运行的某个进程吗?如果是这样,这是 hiveserver2
的一部分吗?根据图表 MetaStore
可以是远程的,所以如果这是一个 JVM 进程,它属于哪个组件?
4) 它说 Hive service JVM
, MetaStore JVM Server
。但是,这些组件在哪里安装?它们是“ hive ”的“服务器”端的一部分吗?
5) 在“Hive Architecture”图中,它说“Hive Server”?这是什么?这是我们所说的“Hive Server 1”、“Hive Server2”吗?
任何人都可以帮助理解这一点吗?
最佳答案
JDBC/ODBC 或 Thrift 接口(interface)有驱动程序。
还有解释查询并将其编译为执行引擎代码的进程。我个人称其为解释器或编译器,而不是驱动程序
不是 HiveServer2 的一部分。它实际上是一个运行在 RDBMS 之上的进程(是的,在运行 Hive 和 Hadoop 时你仍然需要这些)。
支持的远程 Metastore 服务器 = Oracle、MySQL、Postgres
嵌入式 Metastore(不推荐用于生产)= Derby
参见 Hive Wiki
Metastore JVM
橙色框表示您可以将这些服务部署为与驱动程序(解释器)相同的 JVM 的一部分或远程服务器。 wiki 描述了这些设置。
我相信这是一个将 HiveServer2 查询映射到 MetaStore 查询的辅助进程。例如,如何将 HiveQL 转换为从 MySQL 或 Postgres 读取元数据的进程?
它可以在服务器端运行,是的,但出于容错和性能原因,这不是推荐的设置。
HiveServer1 is deprecated .随意阅读它,但不要使用它。
关于hadoop - Hive 服务、HiveServer2 和 MetaStore 服务?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49799838/
我正在尝试按照文档Unity Catalog在Azure数据库中设置Unity Catalog,但在Databricks上找不到“Create Metastore”。我该怎么办?
当我尝试在具有HiveContext的Jar上运行spark-submit时,出现以下错误。 Spark-defaults.conf中的 spark.sql.hive.metastore.versio
这可能是一个非常基本的问题,所以请原谅我的无知。 我知道 hive 将在开箱即用(hive tar.bin 提取)vanilla 设置中使用两个元存储。就我而言,我有配置单元 0.14。 derby
环境:spark2.11 hive2.2 hadoop2.8.2 hive shell 运行成功!并且没有错误或警告。 但是当运行application.sh时,启动失败 /usr/local/spa
我正在使用带有两个节点的 apache Spark 版本 2.0.0 的独立集群,并且尚未安装 hive。在创建数据帧时出现以下错误。 from pyspark import SparkContext
我需要直接从 Metasore 执行一些 SQL 查询(如 here)。 PS:SHOW/DESCRIBE 命令不够。 如何启用从它作为数据库访问,或者 Metastore 的数据库名称是什么? ..
是否可以在单独的节点上设置Hive Metastore和Hive Server2服务?我知道,HDP ambari会迫使您将这两者与webhcat一起设置在同一节点上,但是其他供应商(例如Cloude
This question already has answers here: How to connect Spark SQL to remote Hive metastore (via thrif
我在Apache Hadoop分布式集群中添加了Hive。而不是在本地目录中创建metastore,我想在HDFS中创建metastore。但是,我在hive-site.xml中的设置似乎无效。我收到
序言:我是 hadoop/hive 的新手。已经安装了独立的 hadoop,现在正在尝试让 hive 工作。我不断收到有关初始化 Metastore 的错误,似乎无法弄清楚如何解决。 (hadoop
我可以使用以下程序获取本地 mysql 元存储设置中的元存储表信息以及配置单元。 import java.sql.Connection; import java.sql.DriverManager;
为了通过 Apache Drill 访问配置单元,我已经启动了 Metastore 作为服务。 为了将它用作 hive-site.xml 中的元存储,我已将 hive.metastore.uris 参
我在配置单元数据库中收到以下错误: Caused by: ERROR XSDB6: Another instance of Derby may have already booted the data
我正在尝试进入 hive shell,但出现以下错误: ubuntu@group-3-vm1:~$ cd $HIVE_HOME ubuntu@group-3-vm1:~/software/hive-1
我使用的是 sqoop 1.4.2 版本。我正在尝试将 sqoop Metastore 从默认的 hsqldb 更改为 mysql。 我在 sqoop-site.xml 文件中配置了以下属性。
使用 AWS EMR on the 5.2.1 version 作为数据处理环境,当处理一个巨大的 JSON 文件,这个文件具有复杂的 schema 和许多嵌套字段时,Hive 无法处理它并且错误如下
我正在开发Spark SQL应用程序,但有几个问题: 我读到Spark-SQL在封面下使用Hive metastore?这是真的?我说的是一个纯粹的Spark-SQL应用程序,该应用程序未显式连接到任
我已经开始在 hive 命令上失败,如下所示: Logging initialized using configuration in file:/usr/local/someuser/hive/con
如何停止我开始使用的 Hive Metastore 服务: hive --service metastore 没有kill命令? 最佳答案 如果您在伪集群中运行它。即单节点集群,您可以通过在同一终端中
这个问题在这里已经有了答案: How to connect Spark SQL to remote Hive metastore (via thrift protocol) with no hive-
我是一名优秀的程序员,十分优秀!