java - Hadoop MapReduce处理来自HDFS的不同输入文件

• mapreduce - MapReduce 适合我吗？

  我正在处理一个处理大量数据的项目，所以我最近发现了 MapReduce，在我进一步深入研究之前，我想确保我的期望是正确的。 与数据的交互将通过 Web 界面进行，因此响应时间在这里至关重要，我认为 1

• mapreduce - MapReduce 中的容错

  我正在阅读有关 Hadoop 以及它的容错性的文章。我阅读了 HDFS 并阅读了如何处理主节点和从节点的故障。但是，我找不到任何提及 mapreduce 如何执行容错的文档。特别是，当包含 Job T

• mapreduce - Hadoop MapReduce 作业挂起

  我正在尝试在我的 Ubuntu 桌面上使用最新的 Hadoop 版本 2.6.0、Java SDK 1.70 来模拟 Hadoop 环境。我用必要的环境参数配置了 hadoop，它的所有进程都已启动并

• mapreduce - 良好的 MapReduce 示例

  Hiện tại, câu hỏi này không phù hợp với định dạng Hỏi & Đáp của chúng tôi. Chúng tôi mong đợi câu trả lời được hỗ trợ bởi các sự kiện, tài liệu tham khảo hoặc chuyên môn, nhưng câu hỏi này có thể gây ra tranh luận, tranh cãi, thăm dò ý kiến ​​hoặc thảo luận mở rộng. Nếu bạn cảm thấy câu hỏi này có thể được cải thiện và có thể mở lại, hãy truy cập

• mapreduce - HBase Mapreduce 在多个扫描对象上

  我只是想针对我们正在做的一些数据分析工作来评估 HBase。 HBase 将包含我们的事件数据。键为 eventId + 时间。我们想要对日期范围内的几种事件类型 (4-5) 进行分析。事件类型总数约

• mapreduce - 使用 MapReduce 查找大整数集的中值

  是否有一种快速算法可以在 MapReduce 框架上运行以从巨大的整数集中查找中位数？ 最佳答案 我会这样做。这是顺序快速选择的一种并行版本。 (某些映射/归约工具可能不会让您轻松完成任务...) 从

• mapreduce - GridGain:带有节点本地数据处理的 MapReduce？

  我正在尝试对大型分布式数据集执行一些数值计算。该算法非常适合 MapReduce 模型，具有以下附加属性:与输入数据相比，映射步骤的输出尺寸较小。数据可以被视为只读，并且静态分布在节点上(故障转移时的

• mapreduce - RavenDb MapReduce 数据子集

  假设我在 RavenDb 中有给定的文档结构 public class Car { public string Manufacturer {get;set;} public int B

• mapreduce - pymongo mapreduce 数据库断言失败

  我刚刚开始使用 mongo 和 map/reduce，在使用 pymongo 时我遇到了以下错误，而在直接使用 mongo 命令行时我没有得到(我意识到有一个类似的问题这个，但我的似乎更基本)。 我直

• mapreduce - MongoDB MapReduce 更新到位如何

  *基本上我正在尝试按过去一小时内的得分对对象进行排序。 我正在尝试为我的数据库中的对象生成每小时投票总和。投票嵌入到每个对象中。对象架构如下所示: { _id: ObjectId sc

• mapreduce - 如何进行更快的 Riak MapReduce 查询？

  我们怎样才能使我们的 MapReduce 查询更快？ 我们使用五节点 Riak 数据库集群构建了一个应用程序。 我们的数据模型由三个部分组成:比赛、联赛和球队。 比赛包含联赛和球队的链接: 型号 va

• mapreduce - 可用于使用 Hadoop/MapReduce 框架的集群

  đóng cửa. Câu hỏi này không đáp ứng được hướng dẫn của Stack Overflow. Hiện tại câu hỏi này không chấp nhận câu trả lời. Chúng tôi không chấp nhận những câu hỏi tìm kiếm lời khuyên về sách, công cụ, thư viện phần mềm, v.v. Bạn có thể chỉnh sửa câu hỏi để có thể trả lời bằng các sự kiện và trích dẫn. Đã đóng cửa 6 năm trước.

• mapreduce - 在运行 MapReduce 作业时获取应用程序 ID

  有没有什么方法可以在运行时获取应用程序 ID - 例如 - 带有 yarn 的 wordcount 示例命令？ 我希望使用 yarn 从另一个进程启 Action 业命令，并通过 YARN REST

• mapreduce - 如何在 Hadoop Mapreduce 程序中使用机器学习算法？

  如何在Hadoop Map-reduce程序中使用机器学习算法？我想使用分类算法、决策树、聚类算法。除了 Mahout 之外，请提出一些想法。 最佳答案 您可以编写自己的MapReduce程序，并在m

• algorithm - MapReduce:哪些图像处理算法最容易使用 MapReduce 框架实现

  虽然 MapReduce 可能不是实现图像处理中使用的算法的最佳方式，但出于好奇，如果我作为初学者尝试使用它们，这将是最简单的实现方式。 最佳答案 Hadoop 非常适合处理大量 IO。因此，例如，您

• java - mapreduce.reduce.shuffle.memory.limit.percent、mapreduce.reduce.shuffle.input.buffer.percent 和 mapreduce.reduce.shuffle.merge.percent

  我只是想验证我对这些参数及其关系的理解，如果我错了请通知我。 mapreduce.reduce.shuffle.input.buffer.percent 告诉分配给 reducer 的整个洗牌阶段的内

• mapreduce - HBase 需要 mapreduce 还是 yarn？

  HBase 需要 mapreduce/yarn，还是只需要 hdfs？ 对于 HBase 的基本用法，例如创建表、插入数据、扫描/获取数据，我看不出有任何理由使用 mapreduce/yarn。 请帮

• mapreduce - 是否可以通过编写单独的 mapreduce 程序来并行执行 Hive 查询？

  我问了一些关于提高 Hive 查询性能的问题。一些答案与映射器和化简器的数量有关。我尝试了多个映射器和化简器，但在执行过程中没有发现任何差异。不知道为什么，可能是我没有以正确的方式去做，或者我错过了别

• java - 如何将一个 mapreduce 作业的输出作为另一个 mapreduce 作业的输入？

  我是 mapreduce 和 hadoop 的新手。我阅读了 mapreduce 的示例和设计模式... 好的，我们可以进入正题了。我们正在开发一种软件，可以监控系统并定期捕获它们的 CPU 使用

• c# - MapReduce.SDK : How to wait for MapReduce job?

  我正在使用 Microsoft MapReduce SDK 启动仅 Mapper 作业。 调用 hadoop.MapReduceJob.ExecuteJob 立即抛出“响应状态代码不表示成功:404(