更多频道内容在这里查看
爱奇艺用户将能永久保存播放记录
过滤短视频
暂无长视频（电视剧、纪录片、动漫、综艺、电影）播放记录，
按住视频可进行拖动
&正在加载...
收藏成功，可进入
查看所有收藏列表
当前浏览器仅支持手动复制代码
视频地址：
flash地址：
html代码：
通用代码：
通用代码可同时支持电脑和移动设备的分享播放
用爱奇艺APP或微信扫一扫，在手机上继续观看
当前播放时间：
一键下载至手机
限爱奇艺安卓6.0以上版本
使用微信扫一扫，扫描左侧二维码，下载爱奇艺移动APP
其他安装方式：手机浏览器输入短链接http://71.am/udn
下载安装包到本机：
设备搜寻中...
请确保您要连接的设备（仅限安卓）登录了同一爱奇艺账号 且安装并开启不低于V6.0以上版本的爱奇艺客户端
连接失败！
请确保您要连接的设备（仅限安卓）登录了同一爱奇艺账号 且安装并开启不低于V6.0以上版本的爱奇艺客户端
部安卓（Android）设备，请点击进行选择
请您在手机端下载爱奇艺移动APP（仅支持安卓客户端）
使用微信扫一扫，下载爱奇艺移动APP
其他安装方式：手机浏览器输入短链接http://71.am/udn
下载安装包到本机：
爱奇艺云推送
请您在手机端登录爱奇艺移动APP（仅支持安卓客户端）
使用微信扫一扫，下载爱奇艺移动APP
180秒后更新
打开爱奇艺移动APP，点击“我的-扫一扫”，扫描左侧二维码进行登录
没有安装爱奇艺视频最新客户端？
正在检测客户端...
您尚未安装客户端，正在为您下载...安装完成后点击按钮即可下载
， 可在设置中重新打开噢！
30秒后自动关闭
虚拟机模拟集群 电脑配置">虚拟机模拟集群 电脑配置
请选择打赏金额：
播放量数据：快去看看谁在和你一起看视频吧~
更多数据：
您使用浏览器不支持直接复制的功能，建议您使用Ctrl+C或右键全选进行地址复制
安装爱奇艺视频客户端，
马上开始为您下载本片
5秒后自动消失
&li data-elem="tabtitle" data-seq="{{seq}}"& &a href="javascript:void(0);"& &span>{{start}}-{{end}}&/span& &/a& &/li&
&li data-downloadSelect-elem="item" data-downloadSelect-selected="false" data-downloadSelect-tvid="{{tvid}}"& &a href="javascript:void(0);"&{{pd}}&/a&
选择您要下载的《
色情低俗内容
血腥暴力内容
广告或欺诈内容
侵犯了我的权力
还可以输入
您使用浏览器不支持直接复制的功能，建议您使用Ctrl+C或右键全选进行地址复制
本奖品由提供
红包雨下完了，下次早点来噢~分布式集群虚拟主机_百度百科
声明：百科词条人人可编辑，词条创建和修改均免费，绝不存在官方及代理商付费代编，请勿上当受骗。
分布式集群虚拟主机
本词条缺少信息栏，补充相关内容使词条更完整，还能快速升级，赶紧来吧！
分布式集群虚拟主机，只需要将网站上传至数据中心服务器，站点内容将自动分发到全国的数十台节点服务器，终端访问者将自动访问到其所在地响应速度最快的服务器。不同地域的用户访问您的同一个域名时，将ping到不同的服务器IP地址，以此让您的网站始终位于您终端用户的身边。
分布式集群虚拟主机简介
无论您是静态网站、动态网站、博客论坛、行业网站、政府网站、电子商务网站，均可以完美实现加速！
东北网通用户将自动访问东北网通的镜像，西部电信用户将自动访问西部电信的镜像，南方电信用户将自动访问南方电信的镜像; 海外用户将自动访问海外的镜像。
节点主机与数据中心之间采用BGP高速线路传输，当最终用户输入域名时，将根据用户所在地，用户访问速度最快的一个节点主机。目前已经在华北、东北、华东、华中、华南、西南、西北等电信/网通主要节点机房以及美国、香港、铁通线路骨干机房部署了节点服务器，并且此数量还在不断增长之中。在全国的各个区域，分布式集群虚拟主机的终端访问者都将感受到网站无与伦比的速度。
分布式集群虚拟主机注意事项
1、IIS数和CPU占用率
IIS数：IIS或WEB连接数指同一时间服务器可以响应的访问请求，可以简单的理解为允许多少个浏览器窗口同时访问您的站点，比如说：100个IIS连接数就可以有100个浏览器窗口同时与服务器连接。
虚拟主机CPU占用率：CPU是指你的虚拟主机在运行过程中，所占的整台服务器的CPU资源的比例。
现在很多虚拟主机商都标榜不限制IIS数，以吸引客户。但实际情况是IIS可以不作出限制，但对你的CPU占用率作出严格的限制，这样的话，虽然你的IIS不受限制，但由于CPU占用率极少，反而降低了你的虚拟主机的可用性。其实是虚拟主机商在玩文字游戏。
2、流量与带宽限制
流量：虚拟主机的某段时间内用户数量以及用户所浏览的页面数量等指标。
带宽：虚拟主机带宽是指，虚拟主机在同一时间内传输文件的能力。
现在很多虚拟主机商写明，不限制月流量。但由于服务器的带宽不是无限的，为了能尽量降低成本，一般服务器的带宽都是百兆共享的。所以为了不影响其它客户的正常使用，虚拟主机租用商往往对每个用户的带宽作出严格的限制，即使你的网站一天24小时在运行。可能月总流量也只有那么一点。
总结：对于什么都不限制的虚拟主机大家可要擦亮眼睛，因为什么都不限制，到头来是什么都受限制。Spark学习系列——在虚拟机上搭建 Spark 集群的两种方法 - CSDN博客
Spark学习系列——在虚拟机上搭建 Spark 集群的两种方法
& & & &对于想学习 spark 集群搭建及应用的人来说，专门买多台物理主机往往成本太高，其实我们只需要利用虚拟机（我用的是 VMWare）搭建多台虚拟主机即可。在学习过程中，在网上搜了各种资料，参考了很多优秀的博客，发现在虚拟机上搭建 spark
集群主要有两种方法。第一种是充分利用 VMWare 的虚拟机克隆功能，只需要配置好一台主机，直接克隆生成其他主机并修改少量配置即可。第二种与在实际物理主机上部署类似，该方法可以直接应用到实际部署中。首先创建多台新的虚拟机，然后在每台主机上分别进行配置。当然，该方法也不是每一台机器都重新配置，下面将会具体讲到，对于
hadoop 和 spark 安装文件，只需要在一台机器上配置好然后复制到其他主机即可。为了让这篇文章更具通用性，我们以介绍第二种搭建方法为主线，毕竟实际的集群是布置在物理主机上的。对于想在虚拟机上快速搭建 spark 集群的读者，我们也会在叙述过程中提到克隆虚拟机后需要修改的地方。另外，由于 spark 需要用到 hadoop 的文件管理系统 HDFS 和任务调度系统 YARN，所以在搭建 spark 之前需要先搭建好 hadoop。
& & & & 下面的叙述将会以西面的思路展开。在介绍集群搭建之前，分别介绍 hadoop 和 spark 单机搭建方法，因为上面提到的两种方法的单机搭建与配置方法是相同的。介绍完单机搭建及配置方法，我们将会介绍如何将单机的配置应用到集群里面。
下面是本文用到的各个软件的版本：
虚拟机：VMWare
操作系统：Ubuntu-14.04.1-desktop-amd64
Hadoop 版本：hadoop-2.7.2
Spark 版本：spark-1.6.1-bin-without-hadoop
& & & & 为了避免权限问题，建议下面下载的所有文件都放在 home 目录下，比如 ~/spark。这里就是在 home 目录下新建一个 spark 目录，下面的所有文件都放在里面。实际上下面提到的所有软件都不需要安装，直接在官网上下载安装包并解压就行了。
二、单机 hadoop 搭建
1、准备工作
& & & & 在正式搭建 hadoop 之前，需要对系统及环境进行一些配置，主要有以下几点，命令详细解释参考[1]：
& & & & （1）创建 hadoop 用户。一般情况下，我们安装 Ubuntu 时都不会直接用 hadoop 作为用户名。为了方便后面搭建集群，我们需要重新创建一个叫做 hadoop 的用户。另外，在 Ubuntu 终端黏贴命令需要用 ctrl+shift+v。完成以下命令后，注销当前用户，进入
hadoop 用户后再进行之后的操作。
sudo useradd -m hadoop -s /bin/bash & &//添加 hadoop 用户
sudo passwd hadoop & &//修改 hadoop 用户密码，一般也用 hadoop 就行了
sudo adduser hadoop sudo & &//为 hadoop 用户增加管理员权限，防止之后产生权限问题&
& & & & （2）更新 apt。这一步不是必须的，做这一步的目的是更新所有的依赖软件，以防后面某些软件安装不成功。如果所有主机 Ubuntu 的软件都是最新的，就不需要这一步了。
sudo apt-get update & & &&
& & & & （3）安装 Java 环境。由于 hadoop 依赖于 Java 运行环境，所以在安装 hadoop 之前，需要先安装 Java 环境 JDK。在官网下载最新版 Java，并解压到 ~/spark 目录，解压后的 Java 文件夹可以直接更名为
sudo tar -zxvf download.gz & &//download 就是你下载的 Java 安装包名字，tar 是解压命令
sudo mv ./download ./java & &//将原来的文件夹名字修改为 java
sudo gedit /etc/profile & &//修改环境变量，需要修改的东西比较多，可以参考[5]&
2、安装 hadoop
& & & & Hadoop 的安装非常简单，只需要在网上下载相应的编译好的 hadoop 包，解压到 ~/spark 文件夹就大功告成了。当然，如果有时间可以试一试下载源码自己编译，方法参考[3]。
sudo tar -zxvf download.gz & &//download 就是你下载的 hadoop 安装包名字，tar 是解压命令
sudo mv ./download ./hadoop & &//将原来的文件夹名字修改为 hadoop
& & & & 我们发现，打开 hadoop 文件夹以后，里面有很多子文件夹，下面介绍几个重要的文件夹及其作用，因为之后的 hadoop 配置和运行都需要用到。
& & & & （1）./etc/hadoop：这个文件夹主要存放 hadoop 的配置文件。hadoop 的运行模式都是通过改变这些配置文件来实现的。Hadoop 配置文件一般以 .xml 为后缀，每一条配置都是以声明 property 的 name
和 value 来实现的。具体的配置方法需要参考 hadoop 官方手册。
& & & & （2）./bin：这个文件夹主要存放一些可执行文件。是 hadoop 功能实现的主要载体，可以看成是一个一个小的应用程序。
& & & & （3）./sbin：这个文件夹主要存放一些批处理文件。主要用于实现一些相对复杂的任务，比如开启和关闭 namenode 和 datanode 守护程序，开启和关闭 yarn 等。
3、配置 hadoop
& & & & 用以下命令进入 hadoop 配置文件夹。
sudo cd ~/spark/hadoop/etc/hadoop & &//进入 hadoop 配置文件夹
& & & & Hadoop 的配置主要有以下几个步骤（具体配置参数参考[5]）：
（1）在hadoop-env.sh中配置JAVA_HOME
（2）在yarn-env.sh中配置JAVA_HOME
（3）在slaves中配置slave节点的ip或者host
（4）修改core-site.xml
（5）修改hdfs-site.xml
（6）修改mapred-site.xml
（7）修改yarn-site.xml
（8）格式化 namenode
三、单机 spark 搭建
1、准备工作
& & & & （1）安装好 hadoop。这一步上面已经做好了。
& & & & （2）安装 Scala。Scala 是 spark 的主要编程语言，所以在搭建安装 spark 之前需要安装该语言环境。在官网下载最新 Scala 安装包然后解压。
sudo tar -zxvf download.tgz
sudo mv ./download ./scala & &//将原来的文件夹名字修改为 scala
sudo gedit /etc/profile & &//修改环境变量，需要修改的东西比较多，可以参考[5]&
2、安装 spark
& & & & 跟 hadoop 一样，spark 的安装也非常简单，也是在网上下载相应的编译好的 spark 包，解压到 ~/spark 就行了。
sudo tar -zxvf download.gz & &
sudo mv ./download ./spark & &//将原来的文件夹名字修改为 spark
3、配置 spark
用以下命令进入 spark 配置文件夹。
sudo cd ~/spark/spark/conf & &//进入 spark 配置文件夹
& & & & spark 配置文件放在 ~/spark/spark/conf 这个文件夹中，这里我们只需要配置两个文件就可以了（具体配置参数参考[5]）。
（1）配置 spark-env.sh 文件
（2）在 slaves 中配置 slave 节点的 ip 或者 host
& & & & 到此为止，单机 spark 就安装并配置完成了，接下来将会介绍集群搭建方法。
四、集群搭建
& & & & 如果想在虚拟机上快速搭建 spark 集群，先跳到本章的第三步，也就是建立 ssh 无密码登陆环境，设置好一台机器的 ssh 环境后直接克隆其他虚拟机即可。如果想按第二种方法搭建集群，只需要按步骤设置即可。
1、修改机器名。克隆完虚拟机也需要对克隆后的每一台虚拟机进行这一步操作，否则所以主机的机器名都是一样的。
sudo gedit /etc/hostname & &//对每一台电脑用 gedit 打开主机名文件，修改成不同的机器名，一般集群主机取名 master，从机取名 slave1，slave2 ... 修改完机器名必须重启！！！否则执行其他命令时会报错。
2、设置 host 映射。克隆完虚拟机也需要对克隆后的每一台虚拟机进行这一步操作。
sudo gedit /etc/hosts & &//打开 hosts 文件
& & & & Host 文件本质上是一个 IP 地址与机器名对应关系的文件，跟&windows 的 host 文件差不多，其格式一般如下所示：
192.168.86.128 master
192.168.86.132 slave1
192.168.86.133 slave1
& & & & 前面是每台机器的 IP 地址，后面是机器名。在 Linux 下查看本机 IP 地址一般用 ifconfig 命令。需要注意的是，有些博客说虚拟机需要设置桥接连接方式，但经过我的测试，用 NAT 模式也是可以的，这样就可以免去使用路由器的麻烦。所以为了方便部署，建议采用
NAT 模式。
3、建立 ssh 无密码登陆环境
& & & & 安装 ssh，并配置 SSH 为无密码登录。SSH 是一个远程登录功能，比传统的 Telnet 安全。为了之后搭建的集群相互访问时不需要反复输密码，我们需要配置 SSH 为无密码登录。第一种搭建方法和第二种搭建方法有点不太一样，下面分别介绍。
& & & & 对于第一种搭建方法，在克隆前的主机执行下面命令即可。
sudo apt-get install openssh-server & &//安装 &SSH server
cd ~/.ssh/ & &//打开 .ssh 文件
ssh-keygen -t rsa & &//生成秘钥，一路回车
cat ./id_rsa.pub && ./authorized_keys & &//将秘钥加入授权
& & & & 对于第二种搭建方法，稍微复杂一点。其基本步骤跟第一种方法差不多，只不过需要多重复几次。每一台主机都需要先安装 ssh server，然后各自生成自己的秘钥，所有 slave 把自己的秘钥全部传给 master，master 把所有秘钥都加入授权文件&authorized_keys，最后把授权文件&authorized_keys 分发给所有 slave。具体可以参考[5]。
4、把 master 上配置好的&hadoop 和 spark&分发到各个 slave 节点。注意，如果是使用克隆虚拟机的方法，可以直接忽略这一步。
scp -r ~/spark/hadoop hadoop@slave1:~/spark/ & &//这个命令都是在 master 上执行的，把 master 上配置好的 spark 安装文件分发给每一个 slave，&代表
slave1 上的 hadoop 用户。事实上，这种方法是通过网络的方式传输文件。如果在实际部署中，所有机器都在一个地方，那么用 U 盘拷贝可能速度会快一些。如果在 VMWare 上实现那就更容易了，从一台机器复制粘贴到另一台机器就行了，前提是安装了 VMTools。
scp -r ~/spark/spark hadoop@slave1:~/spark/ & & //功能同上。
5、验证安装是否成功
~/spark/hadoop/sbin/start-dfs.sh & &//启动 hadoop 文件管理系统 HDFS
~/spark/hadoop/sbin/start-yarn.sh & &//启动 hadoop 任务管理器 YARN
~/spark/spark/sbin/start-all.sh & &//启动 spark
以上命令都是在 master 上执行的，在每一台机器上通过下面命令查看启动的进程
jps & &//查看进程
如果集群安装成功，在 master 上将会有下面几个进程：
7328 SecondaryNameNode
7805 Master
7137 NameNode
7475 ResourceManager
在 slave 上将会有下面几个进程：
3132 DataNode
3759 Worker
3231 NodeManager
注意，如果集群设置成功，master 能直接启动 slave 上的进程，不需要在 slave 上进行任何操作了
5、启动集群
& & & & Sparkshell 是 spark 自带的编译环境。如果集群安装成功，以后每次想要启动 spark 编译环境&sparkshell 时，只需要依次输入以下命令。
~/spark/hadoop/sbin/start-dfs.sh & &//启动 hadoop 文件管理系统 HDFS
~/spark/hadoop/sbin/start-yarn.sh & &//启动 hadoop 任务管理器 YARN
~/spark/spark/sbin/start-all.sh & &//启动 spark
~/spark/spark/bin/spark-shell & &//启动 sparkshell
& & & & 启动完会有类似于下列的界面出现，接下来就可以进行 scala 编程了。关于 scala 编程方法将会在后续的博客中进行介绍。
[1] Hadoop 安装教程_单机/伪分布式配置:&（这篇博客的介绍非常详细，包括每一步的作用以及一些
Linux 的概念都解释得非常清楚）
[2] Spark快速入门指南 – Spark安装与基础使用:&
[3] 倾情大奉送--Spark入门实战系列:&（这篇博客用的是
CentOS 操作系统，有些操作跟 Ubuntu 不一样，仅供参考）
[4] Ubuntu 12.04下Hadoop 2.2.0 集群搭建:&
[5] Spark On YARN 集群安装部署：（这篇博客对
Ubuntu 上安装 spark 集群的方法讲解的也比较详细，可以和本文参考着一起看）
本文已收录于以下专栏：
相关文章推荐
这一两年Spark技术很火，自己也凑热闹，反复的试验、研究，有痛苦万分也有欣喜若狂，抽空把这些整理成文章共享给大家。这个系列基本上围绕了Spark生态圈进行介绍，从Spark的简介、编译、部署，再到编...
1. 准备安装包
Win10 64位系统
Centos 6.4
jdk-7u80-linux-x64.rpm
Hadoop-2.7.1.tar.gz
scala-2.11.6.tg...
1、该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送–Spark入门实战系列》获取；
2、Spark编译与部署将以CentOS 64位操作系统为基础，主要是考虑到实际应用一般使用64位操作系...
前言此篇博文记录一个小白如何用虚拟机搭建一个集群的血泪史，用来体验Spark的分布式计算。
在搭建之前，先理清一些概念。
Spark有三种集群搭建方式。分别为
独立集群模式，即standalone...
Scala 将时间字符串转为时间戳
建立同现矩阵的过程在协同过滤算法中同现矩阵的建立是极其关键的一部，而在大多数的博客文章中大多都没有详细说明矩阵的建立过程。在此详细说明一下：原始数据如下所示：1,101,5.0
最近学习Spark，因此想把相关内容记录下来，方便他人参考，也方便自己回忆吧
spark开发环境的介绍资料很多，大同小异，很多不能一次配置成功，我以自己的实际操作过程为准，详细记录下来。
1、基本...
Hadoop 和 Spark 集群搭建详细步骤
最近，在大波面试来袭的时候，我默默的在这钻研spark的安装，以前的linux的基础知识都忘得差不多了，所以安装起来比较麻烦，于是写下这篇安装博文，希望有用。
Linux安装Spark(CentOS7+Spark2.1.1+Hadoop2.8.0)-v1.0.0版本号：CentOS7
Hadoop2.8.0
Spark2.1.1
Scala2.12....
他的最新文章
您举报文章：
举报原因：
原文地址：
原因补充：
(最多只允许输入30个字)}