1被浏览268分享邀请回答0添加评论分享收藏感谢收起声明：现大部分文章为寻找问题时在网上相互转载，在此博客中做个记录，方便自己也方便有类似问题的朋友，故原出处已不好查到，如有侵权，请发邮件表明文章和原出处地址，我一定在文章中注明。谢谢。
随笔- 483&
评论- 104&
&&&&&&&&&&&
1. Hadoop 1.0中的资源管理方案Hadoop 1.0指的是版本为Apache Hadoop 0.20.x、1.x或者CDH3系列的Hadoop，内核主要由HDFS和MapReduce两个系统组成，其中，MapReduce是一个离线处理框架，由编程模型（新旧API）、运行时环境（JobTracker和TaskTracker）和数据处理引擎（MapTask和ReduceTask）三部分组成。Hadoop 1.0资源管理由两部分组成：资源表示模型和资源分配模型，其中，资源表示模型用于描述资源的组织方式，Hadoop 1.0采用&槽位&（slot）组织各节点上的资源，而资源分配模型则决定如何将资源分配给各个作业/任务，在Hadoop中，这一部分由一个插拔式的调度器完成。Hadoop引入了&slot&概念表示各个节点上的计算资源。为了简化资源管理，Hadoop将各个节点上的资源（CPU、内存和磁盘等）等量切分成若干份，每一份用一个slot表示，同时规定一个task可根据实际需要占用多个slot 。通过引入&slot&这一概念，Hadoop将多维度资源抽象简化成一种资源（即slot），从而大大简化了资源管理问题。更进一步说，slot相当于任务运行&许可证&，一个任务只有得到该&许可证&后，才能够获得运行的机会，这也意味着，每个节点上的slot数目决定了该节点上的最大允许的任务并发度。为了区分Map Task和Reduce Task所用资源量的差异，slot又被分为Map slot和Reduce slot两种，它们分别只能被Map Task和Reduce Task使用。Hadoop集群管理员可根据各个节点硬件配置和应用特点为它们分配不同的map slot数（由参数mapred.tasktracker.map.tasks.maximum指定）和reduce slot数（由参数mapred.tasktrackerreduce.tasks.maximum指定）。Hadoop 1.0中的资源管理存在以下几个缺点：（1）静态资源配置。采用了静态资源设置策略，即每个节点实现配置好可用的slot总数，这些slot数目一旦启动后无法再动态修改。（2）资源无法共享。Hadoop 1.0将slot分为Map slot和Reduce slot两种，且不允许共享。对于一个作业，刚开始运行时，Map slot资源紧缺而Reduce slot空闲，当Map Task全部运行完成后，Reduce slot紧缺而Map slot空闲。很明显，这种区分slot类别的资源管理方案在一定程度上降低了slot的利用率。（3） 资源划分粒度过大。这种基于无类别slot的资源划分方法的划分粒度仍过于粗糙，往往会造成节点资源利用率过高或者过低 ，比如，管理员事先规划好一个slot代表2GB内存和1个CPU，如果一个应用程序的任务只需要1GB内存，则会产生&资源碎片&，从而降低集群资源的利用率，同样，如果一个应用程序的任务需要3GB内存，则会隐式地抢占其他任务的资源，从而产生资源抢占现象，可能导致集群利用率过高。（4） 没引入有效的资源隔离机制。Hadoop 1.0仅采用了基于jvm的资源隔离机制，这种方式仍过于粗糙，很多资源，比如CPU，无法进行隔离，这会造成同一个节点上的任务之间干扰严重。该部分具体展开讲解可阅读我的新书《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理》 中&第6章 JobTracker内部实现剖析& 中的&6.7 Hadoop资源管理&。2. Hadoop 2.0中的资源管理方案Hadoop 2.0指的是版本为Apache Hadoop 0.23.x、2.x或者CDH4系列的Hadoop，内核主要由HDFS、MapReduce和YARN三个系统组成，其中，YARN是一个资源管理系统，负责集群资源管理和调度，MapReduce则是运行在YARN上离线处理框架，它与Hadoop 1.0中的MapReduce在编程模型（新旧API）和数据处理引擎（MapTask和ReduceTask）两个方面是相同的。让我们回归到资源分配的本质，即根据任务资源需求为其分配系统中的各类资源。在实际系统中，资源本身是多维度的，包括CPU、内存、网络I/O和磁盘I/O等，因此，如果想精确控制资源分配，不能再有slot的概念，最直接的方法是让任务直接向调度器申请自己需要的资源（比如某个任务可申请1.5GB 内存和1个CPU），而调度器则按照任务实际需求为其精细地分配对应的资源量，不再简单的将一个Slot分配给它，Hadoop 2.0正式采用了这种基于真实资源量的资源分配方案。Hadoop 2.0（YARN）允许每个节点（NodeManager）配置可用的CPU和内存资源总量，而中央调度器则会根据这些资源总量分配给应用程序。节点（NodeManager）配置参数如下：（1）yarn.nodemanager.resource.memory-mb可分配的物理内存总量，默认是8*1024，即8GB。（2）yarn.nodemanager.vmem-pmem-ratio任务使用单位物理内存量对应最多可使用的虚拟内存量，默认值是2.1，表示每使用1MB的物理内存，最多可以使用2.1MB的虚拟内存总量。（3）yarn.nodemanager.resource.cpu-vcore可分配的虚拟CPU个数，默认是8。为了更细粒度的划分CPU资源和考虑到CPU性能异构性，YARN允许管理员根据实际需要和CPU性能将每个物理CPU划分成若干个虚拟CPU，而每管理员可为每个节点单独配置可用的虚拟CPU个数，且用户提交应用程序时，也可指定每个任务需要的虚拟CPU个数。比如node1节点上有8个CPU，node2上有16个CPU，且node1 CPU性能是node2的2倍，那么可为这两个节点配置相同数目的虚拟CPU个数，比如均为32，由于用户设置虚拟CPU个数必须是整数，每个任务至少使用node2 的半个CPU（不能更少了）。此外，Hadoop 2.0还引入了基于cgroups的轻量级资源隔离方案，这大大降低了同节点上任务间的相互干扰，而Hadoop 1.0仅采用了基于JVM的资源隔离，粒度非常粗糙。
&Hadoop 1.0
从上图中可以清楚的看出原 MapReduce 程序的流程及设计思路：
首先用户程序 (JobClient) 提交了一个 job，job 的信息会发送到 Job Tracker 中，Job Tracker 是 Map-reduce 框架的中心，他需要与集群中的机器定时通信 (heartbeat), 需要管理哪些程序应该跑在哪些机器上，需要管理所有 job 失败、重启等操作。
TaskTracker 是 Map-reduce 集群中每台机器都有的一个部分，他做的事情主要是监视自己所在机器的资源情况。
TaskTracker 同时监视当前机器的 tasks 运行状况。TaskTracker 需要把这些信息通过 heartbeat 发送给 JobTracker，JobTracker 会搜集这些信息以给新提交的 job 分配运行在哪些机器上。上图虚线箭头就是表示消息的发送 - 接收的过程。
可以看得出原来的 map-reduce 架构是简单明了的，在最初推出的几年，也得到了众多的成功案例，获得业界广泛的支持和肯定，但随着分布式系统集群的规模和其工作负荷的增长，原框架的问题逐渐浮出水面，主要的问题集中如下：
JobTracker 是 Map-reduce 的集中处理点，存在单点故障。
JobTracker 完成了太多的任务，造成了过多的资源消耗，当 map-reduce job 非常多的时候，会造成很大的内存开销，潜在来说，也增加了 JobTracker fail 的风险，这也是业界普遍总结出老 Hadoop 的 Map-Reduce 只能支持 4000 节点主机的上限。
在 TaskTracker 端，以 map/reduce task 的数目作为资源的表示过于简单，没有考虑到 cpu/ 内存的占用情况，如果两个大内存消耗的 task 被调度到了一块，很容易出现 OOM。
在 TaskTracker 端，把资源强制划分为 map task slot 和 reduce task slot, 如果当系统中只有 map task 或者只有 reduce task 的时候，会造成资源的浪费，也就是前面提过的集群资源利用的问题。
源代码层面分析的时候，会发现代码非常的难读，常常因为一个 class 做了太多的事情，代码量达 3000 多行，，造成 class 的任务不清晰，增加 bug 修复和版本维护的难度。
从操作的角度来看，现在的 Hadoop MapReduce 框架在有任何重要的或者不重要的变化 ( 例如 bug 修复，性能提升和特性化 ) 时，都会强制进行系统级别的升级更新。更糟的是，它不管用户的喜好，强制让分布式集群系统的每一个用户端同时更新。这些更新会让用户为了验证他们之前的应用程序是不是适用新的 Hadoop 版本而浪费大量时间。
&hadoop2.0：
&从业界使用分布式系统的变化趋势和 hadoop 框架的长远发展来看，MapReduce 的 JobTracker/TaskTracker 机制需要大规模的调整来修复它在可扩展性，内存消耗，线程模型，可靠性和性能上的缺陷。在过去的几年中，hadoop 开发团队做了一些 bug 的修复，但是最近这些修复的成本越来越高，这表明对原框架做出改变的难度越来越大。
为从根本上解决旧 MapReduce 框架的性能瓶颈，促进 Hadoop 框架的更长远发展，从 0.23.0 版本开始，Hadoop 的 MapReduce 框架完全重构，发生了根本的变化。新的 Hadoop MapReduce 框架命名为 MapReduceV2 或者叫 Yarn，
重构根本的思想是将 JobTracker 两个主要的功能分离成单独的组件，这两个功能是资源管理和任务调度 / 监控。新的资源管理器全局管理所有应用程序计算资源的分配，每一个应用的 ApplicationMaster 负责相应的调度和协调。一个应用程序无非是一个单独的传统的 MapReduce 任务或者是一个 DAG( 有向无环图 ) 任务。ResourceManager 和每一台机器的节点管理服务器能够管理用户在那台机器上的进程并能对计算进行组织。
事实上，每一个应用的 ApplicationMaster 是一个详细的框架库，它结合从 ResourceManager 获得的资源和 NodeManager 协同工作来运行和监控任务。
上图中 ResourceManager 支持分层级的应用队列，这些队列享有集群一定比例的资源。从某种意义上讲它就是一个纯粹的调度器，它在执行过程中不对应用进行监控和状态跟踪。同样，它也不能重启因应用失败或者硬件错误而运行失败的任务。
ResourceManager 是基于应用程序对资源的需求进行调度的 ; 每一个应用程序需要不同类型的资源因此就需要不同的容器。资源包括：内存，CPU，磁盘，网络等等。可以看出，这同现 Mapreduce 固定类型的资源使用模型有显著区别，它给集群的使用带来负面的影响。资源管理器提供一个调度策略的插件，它负责将集群资源分配给多个队列和应用程序。调度插件可以基于现有的能力调度和公平调度模型。
上图中 NodeManager 是每一台机器框架的代理，是执行应用程序的容器，监控应用程序的资源使用情况 (CPU，内存，硬盘，网络 ) 并且向调度器汇报。
每一个应用的 ApplicationMaster 的职责有：向调度器索要适当的资源容器，运行任务，跟踪应用程序的状态和监控它们的进程，处理任务的失败原因。
详细配置参考：
参考百度知道参考
阅读(...) 评论()
声明：现大部分文章为寻找问题时在网上相互转载，在此博客中做个记录，方便自己也方便有类似问题的朋友，故原出处已不好查到，如有侵权，请发邮件表明文章和原出处地址，我一定在文章中注明。谢谢。理论上2.0与1.0有天壤之别
但是一些用过P45的朋友却说2.0的P45与1.0的P35两者之间的区别仅仅只有几个百分点，连10%都不到，几乎可以不考虑（显卡是8800U单卡）
虽然看了一些测评也知道一二，还是希望高手可以指点下
1.0和2.0是没有什么区别,有过测试表明差距最大也不过3%-5%~况且8800U本来就不支持2.0,根本就是没有任何区别的,有一点差距也只是芯片组不同造成的
GTX260，P35，QG这样的配置没有600W的电源随便怎么样要挂掉!一个质量再好的400W电源也不可能和额定600W的电源一样做功.
单单一个260就要200多W,9550又要140W,加上硬盘主板内存和随即突发功耗等可能要有500W以上了~
推荐电源:航嘉 多核F1￥791
其他答案（共1个回答）
，也可以用P43，价格与P35相关工不大。
可以的，1.0与2.0只是带宽不同而已，其它都一样的，所以不用担心电压不同。1.0带宽为2.0的一半，应付9600GT带宽需求已经可以了，不用担心。
如果是全速的16X的PCIE1.0，损失可忽略，8800GT的流量没超过PCIE1.0。
845的板子上有16X的PCIE么？
是不是写错了，945的主板？如果...
PCI-E 16能为图形系统提供单方向上的5G字节/秒的传输率
主要用于连接显卡
PCI-E 1或更高速标准能够为GbE（千兆比特以太网）、1394等提供单方向...
——★1、计算机电源是由整流、振荡、脉宽调制、推挽输出、过压保护、过流保护、短路保护......等基本单元电路组成，它的可靠性很高。“启动电源，风扇只转...
要是让木马知道了，它肯定很开心！
答: 手机一般也能的
以安卓为例
设置-无线和网络-wifi设置，按菜单键，高级，使用静态ip
其他手机也类似
甚至有的是在浏览器里设置
是在不能我也没招了
而且还是...
答: 3.交流机依据帧头的信息进需瞰脾，是以说交流机是工作在数据链路层的收集设备（此处所述交流机仅指传统的二层交流设备）
答: 打10060找网通维修
大家还关注
Copyright &
Corporation, All Rights Reserved
确定举报此问题
举报原因(必选)：
广告或垃圾信息
激进时政或意识形态话题
不雅词句或人身攻击
侵犯他人隐私
其它违法和不良信息
报告，这不是个问题
报告原因(必选)：
这不是个问题
这个问题分类似乎错了
这个不是我熟悉的地区
相关问答：123456789101112131415查看:28415|回复：19
我在网上查了一下，上面说在设备管理里要是2.0的就会有标实，但是我的主板就是2.0的，里面却没有什么标实，请问各位大侠，怎么在系统里分辨啊~~~~~
别看资料，看聊效！！！
点击“我的电脑”--&右键“管理”--&打开“设备管理器”--&右侧“通用串行总线控制器”下，如果显示：Standard Enhanced PCI to USB Host Controller，则是USB2 控制器；如果显示：Standard OpenHCD USB Host Controller ，则是USB1 控制器。如果都有，则说明USB接口既支持USB1.0的也支持2.0的，不过现在的只要是支持2.0的就一定支持1.0的。如下图所示：
(77.02 KB)
助理工程师
300说完了，俺是来拿分的
执子之手，与子偕老
太感谢拉！！！！
中级工程师
现在基本都是2.0
中级工程师
引用:原帖由 300second 于
21:31 发表
点击“我的电脑”--&右键“管理”--&打开“设备管理器”--&右侧“通用串行总线控制器”下，如果显示：Standard Enhanced PCI to USB Host Controller，则是USB2 控制器；如果显示：Standard OpenHCD USB Host Controller ，则是U ... 好东西。
助理工程师
现在的板基本上都是2.0的了！
使命的召唤-全能IT艺术家 ...
我向来是懒到用工具。来个更清晰的
一剑舞动惊四方，IT本是我所长 (R)丁胖胖
初级工程师
哈哈 水水:lol :lol
最有价值午饭
没有多少人用1。0的了
:(pdd_23):
还得用专用工具啊！&&9楼的
使命的召唤-全能IT艺术家 ...
没有必要，有人已经介绍清楚了。我只是让新手看的更明白
一剑舞动惊四方，IT本是我所长 (R)丁胖胖
初级工程师
还真没注意过这问题，一直认为现在一般都是2.0的了吧。
初级工程师
看主板就知道 基本2002年以后的是usb2.0
中级工程师
现在的都是usb2.0的了usb3.0 也马上将要普及了
应用决定价值，技术的作用是多么苍白
中级工程师
:lol 我那块老爷845的板应该还是1的..
助理工程师
高级工程师
不错～～学习了！！:(pdd_11):
学习了:handshake1.0和2.0音箱有什么区别_百度知道
1.0和2.0音箱有什么区别
1.0和2.0音箱有什么区别
我有更好的答案
1.0指的是只有一个扬声器，2.0有两个箱子，左右声道分离了的。2.1就是左右声道，外加一个低音单元的。多数的多媒体音响为2.1的。
采纳率：34%
1.0就是一个声道,2.0就是两个声道,立体声,还2.0以上的6.0等,都是环绕声
为您推荐：
其他类似问题
音箱的相关知识
换一换
回答问题，赢新手礼包
个人、企业类
违法有害信息,请在下方选择后提交
色情、暴力
我们会通过消息、邮箱等方式尽快将举报结果通知您。}