Trung tâm cá nhân
sách gpt4 ai đã đi

amazon-web-services - 使用YARN运行分布式xgboost的问题

In lại 作者：行者123 更新时间：2023-12-02 21:09:39 hai mươi bốn 4
mua khóa gpt4 Nike

我在关于YARN上的xgboost分布式模式的教程中遇到了一些问题。

我按照他们的指示进行操作，但是有一些我无法解决的问题。

我正在使用Hadoop 2.6.0(似乎已正确配置)运行2个EC2实例。

当我使用以下命令运行他们的演示时:

cd xgboost/demo/distributed-training
# Use dmlc-submit to submit the job.
../../dmlc-core/tracker/dmlc-submit --cluster=yarn --num-workers=2 --worker-cores=2\
../../xgboost mushroom.aws.conf nthread=2\
data=s3://${BUCKET}/xgb-demo/train\
eval[test]=s3://${BUCKET}/xgb-demo/test\
model_dir=s3://${BUCKET}/xgb-demo/model

我从Hadoop容器中收到以下错误: 
Theo dõi (cuộc gọi gần đây nhất là cuộc gọi cuối cùng):
 File "./launcher.py", line 82, in 
 chủ yếu()
 File "./launcher.py", line 77, in main
 ret = subprocess.call(args=sys.argv[1:], env=env)
 File "/usr/lib/python2.7/subprocess.py", line 523, in call
 return Popen(*popenargs, **kwargs).wait()
 File "/usr/lib/python2.7/subprocess.py", line 711, in __init__
  errread, errwrite)
 File "/usr/lib/python2.7/subprocess.py", line 1343, in _execute_child
raise child_exception
OSError: [Errno 2] No such file or directory

显然， subprocess函数似乎无法找到某些文件。所以我试图看看python试图调用什么。 subrpocess的两个参数是: 
['../../xgboost', './mushroom.aws.conf', 'nthread=1', 'data=s3://awstest.xgboost/xgb-demo/train', 'eval[test]=s3://awstest.xgboost/xgb-demo/test', 'model_dir=s3://awstest.xgboost/xgb-demo/model']

和环境字典。环境字典调用 ${PYTHONPATH}变量，但是它似乎是空的，或者至少当我从终端回显它时它是空的。

您有什么问题的线索吗？

Cảm ơn.

1 Câu trả lời

我在您的代码中看到的主要问题是您正在使用相对路径。 dmlc-submit命令未在它将使用的每个节点中设置当前目录。
这导致python子进程告诉您它找不到../.../xgboost二进制文件，因为路径不相同。

我使用绝对路径来克服此问题。

关于amazon-web-services - 使用YARN运行分布式xgboost的问题，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/40684808/

hai mươi bốn 4 0
Bài viết được đề xuất: android - fontFeatureSettings=smcp 在 Android 中不起作用
Bài viết được đề xuất: docker - Kubernetes:未设置图像 “XXX.dkr.ecr.eu-west-1.amazonaws.com/msg/my_image:v1.0”的ID或大小
Bài viết được đề xuất: docker - 如何在Docker Compose中为容器和图像命名？
Bài viết được đề xuất: docker - 我们可以在多个计算机(主机)上运行单个容器吗？
行者123
Hồ sơ cá nhân

Tôi là một lập trình viên xuất sắc, rất giỏi!

Nhận phiếu giảm giá Didi Taxi miễn phí
Mã giảm giá Didi Taxi
Các bài viết nóng hổi trên toàn bộ trang web
Giấy chứng nhận ICP Bắc Kinh số 000000
Hợp tác quảng cáo: 1813099741@qq.com 6ren.com