sách gpt4 ai đã đi

streaming - Hadoop 流式 grep 不起作用

In lại 作者:可可西里 更新时间:2023-11-01 14:15:45 hai mươi bốn 4
mua khóa gpt4 Nike

Grep 似乎不适用于 hadoop 流

对于:hadoop jar/usr/local/hadoop-0.20.2/contrib/streaming/hadoop-0.20.2-streaming.jar -input/user/root/tmp2/user.data -output/user/root/selected_data -mapper '/bin/grep 1938678460' -reducer 'wc' -jobconf mapred.output.compress=false

我得到:java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): 子进程失败,代码为 1 在 org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:311) 在 org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:545) 在 org.apache.hadoop.streaming.PipeMapper.close(PipeMapper.java:132) 在 org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:57) 在 org.apache.hadoop.streaming.PipeMapRunner.run(PipeMapRunner.java:36) 在 org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:358) 在 org.apache.hadoop.mapred.MapTask.run(MapTask.java:307) 在 org.apache.hadoop.mapred.Child.main(Child.java:17

Bạn có ý tưởng nào không?

我也试过:-mapper 'cat' -reducer '/bin/grep 1938678460'(cat 有效,grep 无效)

....我还在所有机器上检查了/bin/grep 是否存在

Grep 不起作用,或者我遗漏了什么?

1 Câu trả lời

我自己还没有尝试过,但是如果没有找到任何东西,grep 会以非零退出代码退出。如果 map 不包含您 grep 的字符串,您将获得非零退出代码并且 hadoop 将出错。也许像“/bin/grep || true”这样的东西有效。

关于streaming - Hadoop 流式 grep 不起作用,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/3764160/

hai mươi bốn 4 0
Bài viết được đề xuất: Lệnh Hadoop
Bài viết được đề xuất: Hadoop安装错误, "error : cannot execute hdfs-config.sh."
Bài viết được đề xuất: hadoop - Hive 命令执行 NOT IN 子句
Bài viết được đề xuất: c# - Windows 中是否有我无法处理的特殊按键事件?
可可西里
Hồ sơ cá nhân

Tôi là một lập trình viên xuất sắc, rất giỏi!

Nhận phiếu giảm giá Didi Taxi miễn phí
Mã giảm giá Didi Taxi
Giấy chứng nhận ICP Bắc Kinh số 000000
Hợp tác quảng cáo: 1813099741@qq.com 6ren.com