sách gpt4 ai đã đi

hadoop - 我无法从 Hadoop 客户端连接到 Hadoop 服务器

In lại 作者:可可西里 更新时间:2023-11-01 15:03:48 26 4
mua khóa gpt4 Nike

Hadoop 服务器在 Kubernetes 中。而Hadoop客户端位于外网。所以我尝试使用 kubernetes-service 来使用 Hadoop 服务器。但是 hadoop fs -put 不适用于 Hadoop 客户端。据我所知,名称节点将数据节点 IP 提供给 Hadoop 客户端。如果是,namenode从哪里获取IP?

1 Câu trả lời

你可以查看我的other answer . HDFS 尚未在 K8s 中投入生产(截至撰写本文时)

namenode 为客户端提供数据节点的 IP 地址,并且当它们加入集群时它知道这些地址,如下所示:

datanodes

K8s 中的问题是您必须将每个数据节点公开为服务或外部 IP,但名称节点会看到数据节点及其 pod IP 地址,这些地址对外界不可用。此外,HDFS 不提供 publish IP for each datanode config您可以在其中强制使用服务 IP,因此您必须进行花哨的自定义网络,或者您的客户端必须位于 podCidr 内(这违背了 HDFS 作为分布式文件系统的目的)。

关于hadoop - 我无法从 Hadoop 客户端连接到 Hadoop 服务器,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53156162/

26 4 0
可可西里
Hồ sơ cá nhân

Tôi là một lập trình viên xuất sắc, rất giỏi!

Nhận phiếu giảm giá Didi Taxi miễn phí
Mã giảm giá Didi Taxi
Giấy chứng nhận ICP Bắc Kinh số 000000
Hợp tác quảng cáo: 1813099741@qq.com 6ren.com