Hadoop Map/Reduce 与内置 Map/Reduce

本文介绍了Hadoop Map/Reduce 与内置 Map/Reduce的处理方法，对大家解决问题具有一定的参考价值

问题描述

使用 Hadoop map/reduce 与 Mongo 的内置 map/reduce 在 MongoDB 上进行 map/reduce 工作的主要区别是什么?

What are the key differences to do map/reduce work on MongoDB using Hadoop map/reduce vs built-in map/reduce of Mongo?

我什么时候选择哪个 map/reduce 引擎?每个引擎处理存储在 mongodb 中的数据的优缺点是什么?

When do I pick which map/reduce engine? what are the pros and cons of each engine to work on data stored in mongodb?

推荐答案

我的回答是基于Hadoop MR的知识和经验以及Mongo DB MR的学习.让我们看看有什么主要区别，然后尝试定义选择标准:区别在于:

My answer is based on knowledge and experience of Hadoop MR and learning of Mongo DB MR. Lets see what are major differences and then try to define criteria for selection: Differences are:

Hadoop 的 MR 可以用 Java 编写，而 MongoDB 的 MR 可以用 JavaScript 编写.
Hadoop 的 MR 能够利用所有内核，而 MongoDB 的 MR 是单线程的.
Hadoop MR 不会与数据并置，而 Mongo DB 将与数据并置.
Hadoop MR 拥有数百万个引擎/小时，可以处理具有大量输出、数据倾斜等的许多极端情况
在 Hadoop MR 引擎之上构建了更高级别的框架，例如 Pig、Hive、Cascading.
Hadoop MR 是主流，并且可以获得大量社区支持.

从上面我可以建议以下选择标准:
如果您需要简单的 group by 和过滤，请选择 Mongo DB MR，不要期望在 map 和 reduce 之间进行大量的 shuffle.换句话说 - 一些简单的事情.

From the above I can suggest the following criteria for selection:
Select Mongo DB MR if you need simple group by and filtering, do not expect heavy shuffling between map and reduce. In other words - something simple.

如果您要执行复杂的、计算量大的 MR 作业(例如一些回归计算)，请选择 hadoop MR.在 map 和 reduce 之间有大量或不可预测的数据大小也建议使用 Hadoop MR.

Select hadoop MR if you're going to do complicated, computationally intense MR jobs (for example some regressions calculations). Having a lot or unpredictable size of data between map and reduce also suggests Hadoop MR.

Java 是一种更强大的语言，具有更多的库，尤其是统计库.应该考虑到这一点.

Java is a stronger language with more libraries, especially statistical. That should be taken into account.

这篇关于Hadoop Map/Reduce 与内置 Map/Reduce的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，WP2

Hadoop Map/Reduce 与内置 Map/Reduce

问题描述

推荐答案

admin_action_{$_REQUEST[‘action’]}

admin_footer-{$GLOBALS[‘hook_suffix’]}

customize_save_{$this->id_data[‘base’]}

customize_value_{$this->id_data[‘base’]}

get_comment_author_url

network_admin_edit_{$_GET[‘action’]}

network_sites_updated_message_{$_GET[‘updated’]}

pre_wp_is_site_initialized

WordPress 的SEO 教学：如何在网站中加入关键字（Meta Keywords）与Meta 描述（Meta Description）？

谷歌的SEO是什么