38
4
我有以下问题。我有一个巨大的 csv 文件，想用多处理加载它。对于一个包含 500000 行和 130 列不同数据类型的示例文件，Pandas 需要 19 秒。我试过 dask 因为我想多处理阅读。但这需要更长的时间，我想知道为什么。我有 32 个内核。并试过这个:
Trung tâm cá nhân
Điều phát hành
từ bỏimport dask.dataframe as dd
import dask.multiprocessing
dask.config.set(scheduler='processes')
df = dd.read_csv(filepath,
sep='\t',
blocksize=1000000,
)
df = df.compute(scheduler='processes') # convert to pandas
câu trả lời hay nhất
当从磁盘读取一个巨大的文件时，瓶颈是IO。由于 Pandas 使用 C 解析引擎进行了高度优化，因此几乎没有什么好处。任何使用多处理或多线程的尝试都可能会降低性能，因为您将花费相同的时间从磁盘加载数据，并且只会增加一些用于同步不同进程或线程的开销。
关于python - Dask 读取 csv 与 pandas 读取 csv，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/54823577/
38
4
0
如果我有一个依赖于某些全局或其他常量的函数，如下所示: x = 123 def f(partition): return partition + x # note that x is def
我们可以通过哪些方式在 Dask Arrays 中执行项目分配？即使是一个非常简单的项目分配，如:a[0] = 2 不起作用。 最佳答案 正确的。这是文档中提到的第一个限制。 通常，涉及 for 循环
[mapr@impetus-i0057 latest_code_deepak]$ dask-worker 172.26.32.37:8786 distributed.nanny - INFO -
我正在构建一个 FastAPI 应用程序，它将为 Dask 数组的 block 提供服务。我想利用 FastAPI's asynchronous functionality旁边Dask-distrib
在延迟数据帧处理的几个阶段之后，我需要在保存数据帧之前对其进行重新分区。但是，.repartition() 方法要求我知道分区的数量(而不是分区的大小)，这取决于处理后数据的大小，这是未知的。 我想我
我正在努力转换 dask.bag将字典放入 dask.delayed pandas.DataFrames进入决赛 dask.dataframe 我有一个函数 (make_dict) 将文件读入一个相当
我正在尝试使用 dask_cudf/dask 读取单个大型 parquet 文件(大小 > gpu_size)，但它目前正在读取它到一个分区中，我猜这是从文档字符串推断出的预期行为: dask.dat
当启动一个 dask 分布式本地集群时，您可以为 dashboard_address 设置一个随机端口或地址。 如果稍后获取scheduler对象。有没有办法提取仪表板的地址。 我有这个: clust
我有一个 dask 数据框，由 parquet 支持。它有 1.31 亿行，当我对整个帧执行一些基本操作时，它们需要几分钟。 df = dd.read_parquet('data_*.pqt') un
我正在使用 24 个 vCPU 的谷歌云计算实例。运行代码如下 import dask.dataframe as dd from distributed import Client client =
我正在尝试在多台机器上分发一个大型 Dask 数据帧，以便(稍后)在数据帧上进行分布式计算。我为此使用了 dask-distributed。 我看到的所有 dask 分布式示例/文档都是从网络资源(h
我在 Django 服务器后面使用 Dask，这里总结了我的基本设置:https://github.com/MoonVision/django-dask-demo/可以在这里找到 Dask 客户端:h
我有以下格式的 Dask DataFrame: date hour device param value 20190701 21 dev_01 att_1 0.00
我正在尝试使用 dask 而不是 Pandas，因为我有 2.6gb csv 文件。 我加载它，我想删除一列。但似乎无论是 drop 方法 df.drop('column') 或切片 df[ : ,
我有一个比我的内存大得多的文本文件。我想按字典顺序对该文件的行进行排序。我知道如何手动完成: 分成适合内存的块 对块进行排序 合并块 我想用 dask 来做。我认为处理大量数据将是 dask 的一个用
使用 Dask 的分布式调度程序时，我有一个正在远程工作人员上运行的任务，我想停止该任务。 我该如何阻止？我知道取消方法，但如果任务已经开始执行，这似乎不起作用。 最佳答案 如果它还没有运行 如果任务
我需要将一个非常大的 dask.bag 的元素提交到一个非线程安全的存储区，即我需要类似的东西 for x in dbag: store.add(x) 我无法使用compute，因为包太大，无
如果我有一个已经索引的 Dask 数据框 >>> A.divisions (None, None) >>> A.npartitions 1 我想设置分区，到目前为止我正在做 A.reset_index
根据 this回答，如果 Dask 知道数据帧的索引已排序，则 Dask 数据帧可以执行智能索引。 如果索引已排序，我如何让 Dask 知道？ 在我的具体情况下，我正在做这样的事情: for sour
我想从具有特定数量的工作人员的 python 启动本地集群，然后将客户端连接到它。 cluster = LocalCluster(n_workers=8, ip='127.0.0.1') client
Tôi là một lập trình viên xuất sắc, rất giỏi!