- Java 双重比较
- java - 比较器与 Apache BeanComparator
- Objective-C 完成 block 导致额外的方法调用?
- database - RESTful URI 是否应该公开数据库主键?
嘿嘿。
tôi đang sử dụng Node.JS
Và tiến trình con
来生成 bash 进程。我试图了解我是否正在执行 I/O 绑定(bind)、CPU 绑定(bind)或两者兼而有之。
tôi đang sử dụng pdftotext提取 10k+ 文件的文本。为了控制并发,我使用 không đồng bộ .
Mã số:
let spawn = require('child_process').spawn;
let async = require('async');
let files = [
{
path: 'path_for_file'
...
},
...
];
let maxNumber = 5;
async.mapLimit(files, maxNumber, (file, callback) => {
let process = child_process.spawn('pdftotext', [
"-layout",
"-enc",
"UTF-8",
file.path,
"-"
]);
let result = '';
let error = '';
process.stdout.on('data', function(chunk) {
result += chunk.toString();
});
process.stderr.on('error', function(chunk) {
error += chunk.toString();
});
process.on('close', function(data) {
if (error) {
return callback(error, null);
}
callback(null, result);
});
}, function(error, files) {
if (error) {
throw new Error(error);
}
console.log(files);
});
我正在监控我的 Ubuntu 使用情况,当我运行程序时我的 CPU 和内存都非常高,而且有时我看到一次只处理一个文件,这正常吗??可能是什么问题??
我正在尝试理解 child_process 的概念。 pdftotext
Đúng Node.JS
的子进程吗?所有子进程都只在一个核心中运行?还有,我怎样才能让我的电脑更软处理这些文件?
glancer 的酷图:
Node.JS 的这种用法是因为 child_process 的吗??
Cảm ơn.
câu trả lời hay nhất
如果您的作业需要 CPU,那么要运行的最佳作业数通常是内核数(如果 CPU 具有超线程,则为内核数的两倍)。因此,如果您有一台 4 核机器,您通常会通过并行运行 4 个作业来获得最佳速度。
但是,现代 CPU 严重依赖缓存。这使得很难预测并行运行的最佳作业数量。加上磁盘的延迟,这会使它变得更加困难。
我什至见过系统上的作业,其中内核共享 CPU 缓存,并且一次运行单个作业速度更快 - 仅仅是因为它可以使用完整的 CPU 缓存。
由于那次经历,我的建议一直是:衡量。
因此,如果您要运行 10k 个作业,请尝试并行运行 100 个不同数量的随机作业,看看最适合您的作业数。随机选择很重要,这样您还可以测量磁盘 I/O。如果文件大小差异很大,请运行几次测试。
find pdfdir -type f > files
mytest() {
shuf files | head -n 100 |
parallel -j $1 pdftotext -layout -enc UTF-8 {} - > out;
}
export -f mytest
# Test with 1..10 parallel jobs. Sort by JobRuntime.
seq 10 | parallel -j1 --joblog - mytest | sort -nk 4
不要担心您的 CPU 以 100% 的速度运行。这只是意味着您在电脑商店花的所有钱都能得到返回。
只有当磁盘缓存变低时,您的 RAM 才会成为问题(在您的屏幕截图中,754M 并不低。当它小于 100M 时,它就变低了),因为这可能会导致您的计算机开始交换 - 这可能会减慢它的速度抓取。
关于node.js - I/O 绑定(bind)和 CPU 绑定(bind),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/37945596/
在使用 requests 库中的状态代码时,我遇到了一些奇怪的事情。每个 HTTP 状态代码都有一个常量,有些具有别名(例如,包括 200 的复选标记): url = 'https://httpbin
这是我得到的代码,但我不知道这两行是什么意思: o[arr[i]] = o[arr[i]] || {}; o = o[arr[i]]; 完整代码: var GLOBAL={}; GLOBAL.name
所以这个问题的答案What is the difference between Θ(n) and O(n)? 指出“基本上,当我们说算法是 O(n) 时,它也是 O(n2)、O(n1000000)、O
这是一个快速的想法;有人会说 O(∞) 实际上是 O(1) 吗? 我的意思是它不依赖于输入大小? 所以在某种程度上它是恒定的,尽管它是无限的。 或者是唯一“正确”的表达方式 O(∞)? 最佳答案 无穷
Điều này có đúng không: log(A) + log(B) = log(A * B) [0] Điều này cũng đúng phải không? O(log(A)) + O(log(B)) = O(log(A * B)) [1] Theo như tôi hiểu thì O(f
我正在解决面试练习的问题,但我似乎无法找出以下问题的时间和空间复杂度的答案: Given two sorted Linked Lists, merge them into a third list i
我了解 Big-Oh 表示法。但是我该如何解释 O(O(f(n))) 是什么意思呢?是指增长率的增长率吗? 最佳答案 x = O(n)基本上意味着 x <= kn对于一些常量 k . 因此 x = O
我正在编写一个函数,该函数需要一个对象和一个投影来了解它必须在哪个字段上工作。 我想知道是否应该使用这样的字符串: const o = { a: 'Hello There' }; funct
直觉上,我认为这三个表达式是等价的。 例如,如果一个算法在 O(nlogn) + O(n) 或 O(nlogn + n) 中运行(我很困惑),我可以假设这是一个O(nlogn) 算法? 什么是真相?
根据 O'Reilly 的 Python in a Nutshell 中的 Alex Martelli,复杂度类 O(n) + O(n) = O(n)。所以我相信。但是我很困惑。他解释说:“N 的两个
O(n^2)有什么区别和 O(n.log(n)) ? 最佳答案 n^2 的复杂性增长得更快。 关于big-o - 大 O 符号 : differences between O(n^2) and O(n
Bất cứ khi nào tôi nhận được email từ MS Outlook, tôi nhận được dấu này (không có dấu cách) xuất hiện dưới dạng? trong <>. Khi tôi thay đổi nó thành ISO-8859-1, bộ ký tự trang trình duyệt được mã hóa dưới dạng UTF-8.
我很难理解 Algorithms by S. Dasgupta, C.H. Papadimitriou, and U.V. Vazirani - page 24 中的以下陈述它们将 O(n) 的总和表
我在面试蛋糕上练习了一些问题,并在问题 2给出的解决方案使用两个单独的 for 循环(非嵌套),解决方案提供者声称他/她在 O(n) 时间内解决了它。据我了解,这将是 O(2n) 时间。是我想错了吗,
关于 Java 语法的幼稚问题。什么 T accept(ObjectVisitorEx visitor); 是什么意思? C# 的等价物是什么? 最佳答案 在 C# 中它可能是: O Accept(
假设我有一个长度为 n 的数组,我使用时间为 nlogn 的排序算法对它进行了排序。得到这个排序后的数组后,我遍历它以找到任何具有线性时间的重复元素。我的理解是,由于操作是分开发生的,所以时间是 O(
总和 O(1)+O(2)+ .... +O(n) 的计算结果是什么? 我在某处看到它的解决方案: O(n(n+1) / 2) = O(n^2) 但我对此并不满意,因为 O(1) = O(2) = co
这个问题在这里已经有了答案: 11 年前关闭。 Possible Duplicate: Plain english explanation of Big O 我想这可能是类里面教的东西,但作为一个自学
假设我有两种算法: for (int i = 0; i 2)更长的时间给定的一些n - 其中n这种情况的发生实际上取决于所涉及的算法 - 对于您的具体示例, n 2)分别时间,您可能会看到: Θ(n)
这个问题在这里已经有了答案: Example of a factorial time algorithm O( n! ) (4 个回答) 6年前关闭。 我见过表示为 O(X!) 的 big-o 示例但
Tôi là một lập trình viên xuất sắc, rất giỏi!