sách gpt4 ai đã đi

azure - 在复制事件中过滤 blob 数据

In lại 作者:行者123 更新时间:2023-12-05 05:11:32 27 4
mua khóa gpt4 Nike

我有一个复制事件,可将数据从 Blob 复制到 Azure Data Lake。 Blob 由带有事件中心触发器的 Azure 函数填充。 Blob 文件附加有 UNIX 时间戳,这是事件中心中的事件排队时间。 Azure 数据工厂每小时触发一次,以合并文件并将其移动到数据湖。

nhập mô tả hình ảnh ở đây

在源数据集中,我有按 UTC 时间的上次修改日期开箱即用的过滤器。我可以使用它,但它限制我使用 blob 中的上次修改日期。我想使用自己的日期过滤器并决定在哪里应用这些过滤器。这在数据工厂中可能吗?如果是,您能指出我正确的方向吗?

nhập mô tả hình ảnh ở đây

1 Câu trả lời

无论如何,对于 ADF,我想到的唯一想法是使用 Look Up Activity 的组合, ForEach ActivityFilter Activity .也许有点复杂。

1.使用Look up从blob文件中检索数据。

2.使用ForEach Activity循环结果并设置数据时间过滤器。

3.在ForEach Activity内,执行复制任务。

请引用此blog以获得一些线索。

查看您对现在所做的所有任务的描述,我建议您了解 Azure Stream Analytics Service 。无论数据源是事件中心还是Azure Blob存储,ASA都支持它们:đầu vào 。并且它支持ADL为đầu ra .

您可以创建一个作业来配置输入和输出,然后使用流行的 SQL language根据需要过滤数据。例如 Where运算符或DataTime Functions .

关于azure - 在复制事件中过滤 blob 数据,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/55345988/

27 4 0
行者123
Hồ sơ cá nhân

Tôi là một lập trình viên xuất sắc, rất giỏi!

Nhận phiếu giảm giá Didi Taxi miễn phí
Mã giảm giá Didi Taxi
Giấy chứng nhận ICP Bắc Kinh số 000000
Hợp tác quảng cáo: 1813099741@qq.com 6ren.com