sách gpt4 ai đã đi

hadoop - 带有通配符或变量的distcp目录的设计模式(全局)

In lại 作者:行者123 更新时间:2023-12-02 21:32:49 26 4
mua khóa gpt4 Nike

我知道distcp无法使用通配符。
但是,我将需要在更改的目录上安排distcp。 (即,仅在星期一等“星期五”目录中复制数据),还从指定目录下的所有项目中复制数据。

是否有某种设计模式可用于编写此类脚本?

简而言之,我希望能够做到:

hadoop distcp /foo/*/bar/$year/$month/$day hdfs://namespace-foo/replication-dir/

1 Câu trả lời

我最终使用以下函数来访问所需的目录。

    function get_list_of_directories_for_input_dir {

local fvar_dirlist=`hadoop fs -ls "$1" | awk '{print $8}'`
local fvar_count=`echo "$fvar_dirlist" | wc -l`
if [ "$fvar_count" -ge "2" ]; then

local fvar_len=$(($fvar_count - 1))
local fvar_dirlist=`echo $fvar_dirlist | tail -n $fvar_len`
echo "$fvar_dirlist"

khác
exit 1;


}

关于hadoop - 带有通配符或变量的distcp目录的设计模式(全局),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33634076/

26 4 0
行者123
Hồ sơ cá nhân

Tôi là một lập trình viên xuất sắc, rất giỏi!

Nhận phiếu giảm giá Didi Taxi miễn phí
Mã giảm giá Didi Taxi
Giấy chứng nhận ICP Bắc Kinh số 000000
Hợp tác quảng cáo: 1813099741@qq.com 6ren.com