- 综合排序
- 最热优先
- 最新优先
- 来自专栏数据人生
MRv1到MRv2
MRv1是Hadoop1中的MapReduce，MRv2是Hadoop2中的MapReduce。 下面是MRv1和MRv2之间的一些基本变化： MRv1包括三个部分：运行时环境（jobtracker和tasktracker）、编程模型（MapReduce）、数据处理引擎（Map任务和Reduce任务 ） MRv2中，重用了MRv1中的编程模型和数据处理引擎。 而MRv2中任务是运行在container中的，map任务结束后，相应container结束，空闲出来的资源可以让reduce使用。 MRv2参数配置 MRv2上的参数可以参考官方文档进行配置，但是在mapred-site.xml中有一个参数需要注意：mapreduce.job.user.classpath.first，本文推荐将其配置成
55840编辑于 2022-09-29 - 来自专栏SmartSi
Hadoop MapReduce新一代架构MRv2
MapReduce在hadoop-0.23中经历了彻底的改变，现在我们称之为MapReduce 2.0(MRv2)或者YARN。 MRv2的基本思想是将JobTracker的两个主要功能，资源管理和作业调度/监视的功能拆分为独立的守护进程。 MRV2保持与以前稳定版本(hadoop-1.x)API的兼容性。这意味着所有的Map-Reduce作业仍然可以在MRv2上运行，只需重新编译即可。
88730发布于 2019-08-07 - 来自专栏开源部署
Apache Hadoop 2.2.0 MapReduce1.x向2.x迁移
在Hadoop的2.x中我们引入了一个资源管理器，一个分布式应用的管理框架，同时MRv2仍然是一个纯净的分布式计算框架。 总的来讲，以前的MR应用(MRv1)仍然支持不需要做任何修改。 因此MRv2仍然大部分支持MRv1的应用，不过仍然需要代码改进和重构，一些api将被不推荐使用。 余下部分将会讨论MRv2的向后兼容能力。 二进制兼容 首先基于旧mapred api的二进制程序兼容意思是说这些应用程序是基于MRv1的api编译构建的，那么他们不需要做任何修改就可以在MRv2上运行。 不支持 MRAdmin在MRv2中已经被删除。因为mradmin 命令已经不存在了。他被rmadmin替换掉了，我们不支持二进制直接使用了此类。 MRv1用户和MRv2早期用户权衡 不幸的是保持MRv1二进制兼容问题会导致MRv2早期用户(hadoop 0.23用户)二进制不兼容问题。
30410编辑于 2022-07-01 - 来自专栏ThoughtWorks
从分布式计算到分布式训练
但是这些补救框架，并不能从根本上解决MRV1的问题，于是第二代MR被研究出来，也就是MRV2，那么对于MRV2来说，它是怎么做的呢？ 大多数时候我们对MRV2这个名字并不熟悉，但是我们一定熟悉一个名字：Yarn。Yarn就是MRV2下最核心的功能。 ? ? 在MRV2里面，它产生了几个新的概念： Resource Manager：负责统一管理所有资源。 我们可以对比一下MRV1和MRV2的机构图： ? 在MRV2里面，依旧分为两个部分：运行环境和编程模型。 ---- Spark分布式计算模型 看起来似乎MRV2向前迈进了一大步，解决了不少问题，然而对于MRV2来说，依然存在它无法跨越的问题。
1.5K50发布于 2018-04-17 - 来自专栏机器学习与统计学
vLLM 硬核四连发！
异步优先设计 V1 的异步调度是"后来加上去的"，MRV2 把它作为核心设计约束——目标是 CPU 和 GPU 之间零同步。 下图展示了 MRV2 如何通过 GPU 端输入准备直接消费拒绝采样结果，消除所有同步点： MRV2 推测解码异步优化 3. + GLM-4.7-FP8 + MTP=1，TPOT 降低 6.3%： MRV2 TPOT 对比 提升来自零同步设计——推测解码启用后 CPU-GPU 同步点完全消除。 老章说：MRV2 是一次"伤筋动骨"的重构，但方向完全正确。 56% 的吞吐提升只是开始，随着更多特性迁移到 MRV2，收益还会继续释放。
45910编辑于 2026-04-13 - 来自专栏机器学习与统计学
vLLM v0.19.0 来了，适配 HuggingFace v5，多模态优化，CPU KV 缓存卸载
二、Model Runner V2：从实验品到生产级 上次 v0.18.0 里 MRV2 还打着"实验性"的标签，我也说过"LoRA、线性注意力、Eagle 之外的推测方法暂不支持" 这次大量短板被补齐了 延迟 EPLB 专家级并行负载均衡，跑 MoE 模型必备 FP32 draft logits + FP64 Gumbel 噪声 精度提升，减少推测解码时的数值漂移 对于纯推理场景（不挂 LoRA），MRV2 启用方式还是一样： export VLLM_USE_V2_MODEL_RUNNER=1 # 然后正常跑 vLLM，不用改任何代码 MRV2 的推进速度超出预期 上次还在说"暂不支持推测解码的完整流程" 异步调度 + 推测解码 + CUDA 图，这三板斧全到位之后，MRV2 的性能上限会比 V1 高一截 三、ViT 全量 CUDA 图捕获 这个更新对跑多模态模型的同学来说很实在 之前 vLLM 处理图片 多模态推测解码，延迟会有可感知的改善 如果你被显存困扰，试试 CPU KV 缓存卸载——长上下文场景下这是个救命功能 MRV2 该提上日程了，虽然 LoRA 还没支持，但纯推理场景已经生产就绪 #vLLM
1.3K30编辑于 2026-04-13 - 来自专栏开源部署
Hadoop-2.2.0中文文档——Apache Hadoop 2.2.0 概览
•MapReduce NextGen aka YARN aka MRv2（MapReduce下一代 又叫YARN 又叫MRv2） 在hadoop-0.23中引入了新的架构，把Jobtracker划分成了两个主要的功能
1.1K10编辑于 2022-06-30 - 来自专栏大数据学习笔记
Hadoop基础教程-第5章 YARN：资源调度平台（5.1 YARN介绍）
该框架在扩展性、容错性和多框架支持等方面存在不足，这也促使了MRv2的产生。 （2）MRv2 在Apache Hadoop 2.x中，我们将MapReduce(MRv1)分解为Apache Hadoop YARN，一种通用的分布式应用程序管理框架，而Apache Hadoop MapReduce（又称MRv2）仍然是一个纯粹的分布式计算框架。 MRv2是在运行于资源管理框架YARN之上的计算框架MapReduce。 简言之，MRv1仅是一个独立的离线计算框架，而MRv2则是运行于YARN之上的MapReduce。
85610编辑于 2022-05-06 - 来自专栏java架构师
Hadoop总结篇之二--yarn的概况
针对以上问题，MRv2做了以下优化： 1、拆分为资源调度和作业管理两个独立的服务。 这样，新版MRv2，的组成为：编程模型+数据处理引擎（map/reduceTask）+运行时环境组成（yarn），前两者基本实现原理不变。
806110发布于 2018-04-16 - 来自专栏Spark学习技巧
Spark设计理念和基本架构
Apache社区为了解决上述问题，对Hadoop MRv1进行改造，将集群管理和数据处理进行解耦，演进出MRv2。在MRv2中，MRv1所包含的两大功能-集群管理和数据处理被解耦。 在MRv2中，资源调度采用两级调度方案，ResourceManager负责整个集群的资源管理，并将NodeManager汇报的空闲资源封装成container提供给ApplicationMaster完成第一级调度 经过将集群资源管理和数据处理解耦后，MRv2的核心不再是MapReduce框架，而是YARN集群管理器。 因为在以YARN为核心的MRv2中，MapReduce框架是可插拔的，完全可以替换为其他MapReduce实现，比如Spark、Storm等。MRv2的示意图如下所示： ? 虽然Hadoop MRv2解决了MRv1中的一些问题，但是由于对HDFS的频繁操作（包括计算结果持久化、数据备份、资源下载及shuffle等），导致磁盘I/O成为系统性能的瓶颈，因此只适用于离线数据处理或批处理
1.4K60发布于 2018-06-22 - 来自专栏机器学习与统计学
vLLM 0.22大版本升级，DeepSeek V4 生产级优化，KV Cache 极致压缩
VLEN=256）——是的，RISC-V 也能跑 LLM 推理了 AMX CPU 上的 Fused GDN MXFP4 W4A16 MoE——CPU 上也能跑 MoE 量化模型 实验性 Triton + MRv2 量化 多种稀疏注意力内核 MoE TopK 路由 + MXFP4 回退 一句话：vLLM 正在从"NVIDIA 推理框架"变成"全硬件推理基础设施" Model Runner V2：温水煮青蛙式接管 MRv2 是 vLLM 的下一代推理运行时，v0.22 的接管策略很聪明——不搞大爆炸迁移，逐模型验证、逐步扩大默认启用范围： Oracle 机制：系统自动判断当前模型是否适合 MRv2，Qwen3 Dense 已默认走 MRv2 自动回退：检测到 KV Connector 时自动降级到 MRv1，零风险 Sleep Mode：推理空闲时释放 GPU 显存，需要时重新加载权重——对于多模型共享 GPU 的场景非常实用
37620编辑于 2026-06-01 - 来自专栏java架构师
Hadoop总结篇之五---模块间是怎么驱动执行的
在MRv2中做了改进，yarn基于事件驱动的并发模型。在详细介绍前，先看下图： ?
92850发布于 2018-04-16 - 来自专栏后台技术底层理解
MapReduce工作流程最详细解释
2.0版本，具体2.0的工作流程可参考： Yarn框架深入理解 但是并不意味着MapReduce1.0被淘汰，在Yarn中的MRYarnClild模块中基本上是是采用MapReduce1.0的解决思路，MRv2 MRv2 是在 MRv1 基础上经加工之后，运行于资源管理框架 YARN 之上的计算框架 MapReduce。 简言之，MRv1 仅是一个独立的离线计算框架， 而 MRv2 则是运行于 YARN 之上的 MapReduce。
98160发布于 2020-08-05 - 来自专栏数据科学与人工智能
【Hadoop研究】Hadoop YARN的发展史与详细解析
我们首先介绍一下 MapReduce 2.0 (MRv2) — 或 Yet Another Resource Negotiator (YARN) — 并快速回顾一下 YARN 之前的 Hadoop 架构 我们现在看看 YARN 的新架构，看看它如何支持 MRv2 和其他使用不同处理模型的应用程序。 YARN (MRv2) 简介 为了实现一个 Hadoop 集群的集群共享、可伸缩性和可靠性。
1.3K50发布于 2018-02-27 - 来自专栏Spark学习技巧
Mapreduce shuffle详解
在MRV2中使用netty进行数据传输，默认情况下netty的工作线程数是处理器数的2倍。MRV1中，默认值是40，由tracker.http.threads来在tasktracker端设定。 对于MRv2 map运行结束之后直接就通知了appmaster，对于给定的job appmaster是知道map的输出和host之间的关系。
1.6K42发布于 2018-03-20 - 来自专栏不温卜火
深入浅出学大数据（五）Hadoop再探讨High Availability(HA)集群搭建及YARN原理介绍
并且在MRv2中，将资源管理任务调度模块单独抽离出来，构建成了一个独立的通用资源管理系统 YARN，而MRv2则专注于数据的计算处理了。 3.3.3 YARN架构 为了克服以上几个缺点， Apache 开始尝试对 Hadoop 进行升级改造，进而诞生了更加先进的下一代 MapReduce 计算框架 MRv2。 编程模型与数据处理引擎 ：MRv2 重用了 MRv1 中的编程模型和数据处理引擎。 为了能够让用户应用程序平滑迁移到 Hadoop 2.0 中， MRv2 应尽可能保证编程接口的向后兼容性，但由于 MRv2 本身进行了改进和优化，它在向后兼容性方面存在少量问题。 JAR 包将程序运行在 MRv2 上；但采用 MRv1 新 API 编写的应用程序则不可以，需要使用 MRv2 编程库重新编译并修改不兼容的参数和返回值。
2K30发布于 2021-11-24 - 来自专栏Android Note
RecycleView之GridLayoutManager的ItemDecoration
int mColumn; private RecyclerView mRv; private RecyclerView mRv1; private RecyclerView mRv2 RecyclerView) findViewById(R.id.id_rv); mRv1 = (RecyclerView) findViewById(R.id.id_rv1); mRv2
3.5K70发布于 2018-07-02 - 来自专栏EdisonTalk
Hadoop学习笔记—21.Hadoop2的改进内容简介
YARN 并不是下一代MapReduce（MRv2），下一代MapReduce与第一代MapReduce（MRv1）在编程接口、数据处理引擎（MapTask和ReduceTask）是完全一样的， 可认为 MRv2重用了MRv1的这些模块，不同的是资源管理和作业管理系统，MRv1中资源管理和作业管理均是由JobTracker实现的，集两个功能于一身，而在MRv2中，将这两部分分开了。
99720发布于 2018-08-20 - 来自专栏波波烤鸭
Hadoop02【架构分析】
MRv2是在MRv1基础上经加工之后，运行于资源管理框架Yarn之上的计算框架MapReduce。
1.1K70发布于 2019-04-02 - 来自专栏java架构师
Hadoop学习19--推测式执行
1、每个task只能有一个备份任务 2、当前job已完成的task必须不小于0.05（5%） 那么，MRv2就会选择oldtime-newtime值最大的task执行推测式任务。
74590发布于 2018-04-16
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号