上篇介绍了快速上手Docker部分，下面接着介绍搭建Hadoop集群部分。
六、搭建Hadoop伪分布模式
我们先用前面创建的这个容器来搭建Hadoop伪分布模式做测试，测试成功后再搭建完全分布式集群。1.SSH这个centos容器可以看做是一个非常精简的系统，很多功能没有，需要自己安装。Hadoop需要SSH，但容器没有自带，需要我们安装。①安装SSH
# yum -y install openssh-clients openssh-server
②生成3个key文件
# ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_key一路回车
# ssh-keygen -t ecdsa -f /etc/ssh/ssh_host_ecdsa_key
# ssh-keygen -t ed25519 -f /etc/ssh/ssh_host_ed25519_key
③启动sshd
# /usr/sbin/sshd
④修改root密码因为默认的密码不知道，我们重新设置一下。
# passwd root
⑤设置ssh免密登录到本机
# ssh-keygen一路回车
# ssh-copy-id localhost
# ssh localhost
免密登录成功
退回到刚才的shell中。
2.which运行hadoop需要which命令，同样容器没有自带，需要我们安装。
# yum -y install which
3.文件复制下面我们将已经提前准备好的JDK和Hadoop从宿主机上复制到容器中。注意，复制操作要在Docker宿主机上进行。
$ docker cp /home/chengyujia/jdk1.7.0_80/ pseudo-distributed:/root/
$ docker cp /home/chengyujia/hadoop-2.7.3/ pseudo-distributed:/root/
在容器中可以看到JDK和Hadoop已复制到位。
4.配置环境变量并在容器启动时启动sshd在/etc/profile.d中新建一个run.sh文件在run.sh文件中写入下面6行内容：
export JAVA_HOME=/root/jdk1.7.0_80
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/root/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
/usr/sbin/sshd
用exit命令退出容器，重新启动并进入容器，上面配置的环境变量会生效，sshd也会启动。
5.hadoop伪分布式配置①配置hadoop-env.sh
将export JAVA_HOME=${JAVA_HOME}中的${JAVA_HOME}替换为具体路径，这里为export JAVA_HOME=/root/jdk1.7.0_80。
②配置core-site.xml
&configuration&
&property&
&name&fs.defaultFS&/name&
&value&hdfs://localhost:9000&/value&
&/property&
&/configuration&
③配置hdfs-site.xml
&configuration&
&property&
&name&dfs.replication&/name&
&value&1&/value&
&/property&
&/configuration&
④配置mapred-site.xml
&configuration&
&property&
&name&mapreduce.framework.name&/name&
&value&yarn&/value&
&/property&
&/configuration&
⑤配置yarn-site.xml
&configuration&
&property&
&name&yarn.nodemanager.aux-services&/name&
&value&mapreduce_shuffle&/value&
&/property&
&/configuration&
6.启动伪分布集群并运行wordcount示例程序①准备测试数据新建一个input文件夹，在这个文件夹中新建一个test.txt文件，里面随便写点单词，然后将该文件多复制几份，我这里复制了5份。
②格式化namenode
# hdfs namenode -format
③启动HDFS
# start-dfs.sh
④启动YARN
# start-yarn.sh
⑤查看相关进程是否都启动
如有以下5个进程，说明启动成功。
NodeManager
SecondaryNameNode
ResourceManager
⑥将测试数据复制到HDFS中
# hdfs dfs -put /root/input /
⑦运行wordcount示例程序
# hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /input /output
⑧查看输出结果
# hdfs dfs -cat /output/part-r-00000
从截图可以看出输出正确。伪分布式测试完毕。
七、搭建Hadoop完全分布式集群
1.集群规划
1个NameNode节点
1个SecondaryNameNode节点
1个ResourceManager节点
1个JobHistory节点
5个Slave节点
1个Client节点
其中Slave节点包含DataNode和NodeManager两种角色。Client节点是用来操作的节点，所有操作都尽量在这个节点上进行。以上共10个节点，7种角色。2.将上面的伪分布式容器打包成镜像理论上，我们只要将上面的伪分布式容器复制10份，然后改改配置文件就行了。但是Docker容器不能直接复制，需要先打包成镜像，然后用这个镜像生成10个新的容器。命令如下：
$ docker commit -a "成宇佳" -m "Hadoop在centos上搭建的伪分布模式。" pseudo-distributed hadoop-centos:v1
-a 表示作者。-m 表示对该镜像的说明。pseudo-distributed 被打包容器的名称hadoop-centos:v1 生成镜像的名称及版本需要知道的是，因为这个被打包的容器是通过centos镜像创建的，所以由该容器打包成的新镜像也包含了centos镜像。
3.创建网络
$ docker network create hadoop_nw
这里新建了一个叫hadoop_nw的网络，后面将10个Hadoop节点容器都加入到该网络，就能相互间通信了。而且不需要配置hosts文件，直接通过容器名称即可访问。
$ docker network ls
通过该命令可以查看所有的网络，除了我们刚创建的hadoop_nw网络，其它都是安装Docker时自动生成的，在本文中不用管它们。
4.用新生成的镜像创建10个容器
$ docker run -itd --network hadoop_nw -h namenode --name namenode -p
hadoop-centos:v1
$ docker run -itd --network hadoop_nw -h secondarynamenode --name secondarynamenode hadoop-centos:v1
$ docker run -itd --network hadoop_nw -h resourcemanager --name resourcemanager -p
hadoop-centos:v1
$ docker run -itd --network hadoop_nw -h jobhistory --name jobhistory -p
hadoop-centos:v1
$ docker run -itd --network hadoop_nw -h slave1 --name slave1 hadoop-centos:v1
$ docker run -itd --network hadoop_nw -h slave2 --name slave2 hadoop-centos:v1
$ docker run -itd --network hadoop_nw -h slave3 --name slave3 hadoop-centos:v1
$ docker run -itd --network hadoop_nw -h slave4 --name slave4 hadoop-centos:v1
$ docker run -itd --network hadoop_nw -h slave5 --name slave5 hadoop-centos:v1
$ docker run -itd --network hadoop_nw -h client --name client hadoop-centos:v1
-itd　　　　　表示打开终端但不进入--network　　表示加入到哪个网络-p　　　　　　表示端口映射从上面可以看到namenode、resourcemanager和jobhistory这3个节点做了端口映射。端口映射的作用是将Docker宿主机的某个端口映射到容器的某个端口上，这样我们通过访问Docker宿主机的这个端口就能间接访问到相应的容器端口了。就像从外网访问内网中的某台机器一样。我们在后面通过浏览器查看集群信息的时候会用到。
5.修改Hadoop配置文件我们在client节点修改，然后复制到其它节点。①配置core-site.xml
&configuration&
&property&
&name&fs.defaultFS&/name&
&value&hdfs://namenode:9000&/value&
&/property&
&property&
&name&hadoop.tmp.dir&/name&
&value&/root/hadoop-2.7.3/data&/value&
&/property&
&/configuration&
②配置hdfs-site.xml
&configuration&
&property&
&name&dfs.namenode.secondary.http-address&/name&
&value&secondarynamenode:50090&/value&
&/property&
&/configuration&
③配置mapred-site.xml
&configuration&
&property&
&name&mapreduce.framework.name&/name&
&value&yarn&/value&
&/property&
&property&
&name&mapreduce.jobhistory.address&/name&
&value&jobhistory:10020&/value&
&/property&
&property&
&name&mapreduce.jobhistory.webapp.address&/name&
&value&jobhistory:19888&/value&
&/property&
&/configuration&
④配置yarn-site.xml
&configuration&
&property&
&name&yarn.nodemanager.aux-services&/name&
&value&mapreduce_shuffle&/value&
&/property&
&property&
&name&yarn.resourcemanager.hostname&/name&
&value&resourcemanager&/value&
&/property&
&/configuration&
⑤配置slaves文件
&6.配置节点间SSH免密登录在client节点执行：
# ssh-copy-id namenode
# ssh-copy-id secondarynamenode
# ssh-copy-id resourcemanager
# ssh-copy-id jobhistory
# ssh-copy-id slave1
# ssh-copy-id slave2
# ssh-copy-id slave3
# ssh-copy-id slave4
# ssh-copy-id slave5
在resourcemanager节点执行：
# ssh-copy-id slave1
# ssh-copy-id slave2
# ssh-copy-id slave3
# ssh-copy-id slave4
# ssh-copy-id slave5
&7.复制配置文件到所有节点在client节点执行：
# scp -r $HADOOP_HOME/etc/hadoop namenode:$HADOOP_HOME/etc
# scp -r $HADOOP_HOME/etc/hadoop secondarynamenode:$HADOOP_HOME/etc
# scp -r $HADOOP_HOME/etc/hadoop resourcemanager:$HADOOP_HOME/etc
# scp -r $HADOOP_HOME/etc/hadoop jobhistory:$HADOOP_HOME/etc
# scp -r $HADOOP_HOME/etc/hadoop slave1:$HADOOP_HOME/etc
# scp -r $HADOOP_HOME/etc/hadoop slave2:$HADOOP_HOME/etc
# scp -r $HADOOP_HOME/etc/hadoop slave3:$HADOOP_HOME/etc
# scp -r $HADOOP_HOME/etc/hadoop slave4:$HADOOP_HOME/etc
# scp -r $HADOOP_HOME/etc/hadoop slave5:$HADOOP_HOME/etc
8.启动Hadoop集群在client节点执行：①格式化namenode
# ssh namenode "hdfs namenode -format"
②启动HDFS集群
# start-dfs.sh
③启动YARN集群
# ssh resourcemanager "start-yarn.sh"
④启动JobHistory
# ssh jobhistory "mr-jobhistory-daemon.sh --config $HADOOP_CONF_DIR start historyserver"
&9.在浏览器中查看集群信息由于指定过相应容器的端口映射，我在我的Windows上用浏览器访问Docker宿主机相应的端口就能访问到容器。
http://Docker宿主机IP:50070/
http://Docker宿主机IP:8088/
jobhistory
http://Docker宿主机IP:19888/
从web上可以看到集群正常：
10.运行wordcount示例程序①将测试数据复制到HDFS中
# hdfs dfs -put /root/input /
②运行wordcount示例程序
# hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /input /output
③查看输出结果
# hdfs dfs -cat /output/part-r-00000
从截图可以看到输出结果正确。完全分布式集群搭建完毕。
写本文时参考了很多网上的资料，在此一并表示感谢！本文结束，谢谢大家！
阅读(...) 评论()win10笔记本无线网络找不到怎么办？
win10系统笔记本无线网络找不到的原因与解决方法
　　最近，一位Win10系统笔记本的用户跟小编反映：手机可以连接无线网络，但是，在笔记本上无线网络却找不到、连接不了。这是怎么回事呢？小编分析，win10系统笔记本无线网络找不到的原因，有可能是Win10系统的无线服务没有启动导致的，跟网卡驱动、设置啥关系不大，产生的原因多是系统临时问题或者禁用了无线服务导致。下面，就一起来看看具体的解决方法吧！
　　笔记本无线网络找不到
　　win10系统笔记本无线网络找不到解决办法：
　　第一步、首先在Win10笔记本无线图标上右键，在弹出的右键菜单中，点击进入&打开网络和共享中心&，如图所示。
　　第二步、打开网络共享中心后，再点击左侧的&更改适配器设置&，之后会进入网络连接设置界面，然后找到&WLAN无线网络&，然后在其图标上鼠标右键，在弹出的菜单中，点击&诊断&，如下图。
　　第三步、等待Windows网络诊断完成，之后就会看到诊断结果提示&此计算机上没有运行Windows无线服务&。这里点击&尝试以管理员身份进行这些修复&操作，如图。
　　第四步、如果不出意外，成功启动Windows无线服务后，无线图标上的红叉就会消失，此时点击无线网络图标，就可以成功搜索与连接Wifi无线网络了。
　　以上就是Win10笔记本找不到无线网络的解决方法了，笔记本搜不到无线网络一般情况下是无线网卡驱动出现了问题，所以修复无线网卡驱动就能修复找不到无线网络的故障了。
　　更多教程，欢迎关注手册！
大家都在下
还没关注下载之家微信 的亲们赶紧扫一扫左侧的二维码吧！或搜账号:
还没关注下载之家微信 的亲们赶紧扫一扫左侧的二维码吧！或搜账号:
微信公众号
Copyright &
下载之家(www.xiazaizhijia.com).All Rights Reserved
备案号：闽ICP备号-1 闽公网安备 72号已解决问题
办公室分别有10多台台式机和笔记本，准备全部使用无线网络，网卡和路由器怎么配置好？
提问时间： 22:15:08
有2组分别4兆的宽带账号 电信
浏览次数：4730
台式网前点击拨号连接没 点台式网线插路由器wan口 再路由器其口接线台式网卡 再用台式登陆路由器ip进网账号密码输入 起线功能 默认起@_@把台式机的网线拔下来 买个路由器 把网线插在LAN口 然后在从旁边几个口插两根网线一个连接台式一个连接笔记本 然后在路由器里面设置连接方式 看说明书@_@1.购买一台路由器（如果笔记本需要使用无线上网的话，就购买无线路由器）并设置相应的网络参数就可以了； 2.路由器是组建局域网实现网络共享的设备，一般的连接和设置方法如下：将宽带猫出来的网线连接到路由器的WAN口，各个计算机连接到路由器的LAN口，计算机网卡的IP地址设置为自动获取，在计算机浏览器的地址栏输入192.168.1.1（有的是192.168.0.1，具体要查看你计算机网卡得到的网络参数，通过网关的IP地址来登录）登录路由器，一般用户名和密码都是admin，选择WAN口设置，将你的宽带帐号和密码设置到PPPOE方式中就可以； 3.如果笔记本使用无线上网，操作如下：右键网上邻居-属性-右键无线网络连接-查看可用的无线网络，在搜索到的无线网络中点击你的无线网络名称-连接，并输入你的无线网络密钥进行验证，通过验证之后就可以连接无线路由器正常上网了；如果是手机WIFI上网道理同上，也是搜索无线信号并输入无线网络密钥连接之后就可以使用的了； 4.一般家庭使用路由器有线的一般价格在七八十块的，无线路由器则价格稍贵一些，需要150元左右，推荐购买使用TP-LINK或D-LINK的网络产品，性能稳定性价比高。路由器便开始工作了。接下来小D在每台电脑上安装好无线网卡的驱动程序，然后像设置普通网卡一样对无线网卡的IP地址、子网掩码、DNS等进行设置。由于此时路由器和网卡均处于原始状态，各种安全性能都没有配置，因此只要选择连接即可建立起无线连接了。当然，不同品牌型号的无线路由器的IP地址不尽相同，具体可以参考说明书。比如小D所购买的TP-LINKWR541G无线路由器的IP地址为192.168.则网卡的IP也必须指定为192.168.XXX网段上的地址，否则两者的连接便无法正确建立。&br/&&br/& 图1登录窗口 图2管理界面 上网方式 要使用路由器共享上网，首先就要告诉路由器目前所使用的上网方式。&br/&&br/& 在这里，小D要提醒各位的是，许多无线路由器或AP在出厂时，数据传输加密功能是关闭了的，如果你拿来就用而不作设置的话，那么你的无线网络就成为了一个&不设防&的摆设，其他人只要使用一些简单的无线嗅探软件（如&networkstumbler&），便可以搜索到你的网络然后大摇大摆的进入。妹妹们为了表彰小D的辛勤劳动，还特意给他做了一顿好吃的呢！
答案创立者
以企业身份回答&
快速解决你的电商难题
店铺优化排查提升2倍流量
擅长&nbsp 店铺优化
您可能有同感的问题请问如何把台式电脑与笔记本电脑连接起来，因为我想把台式电脑里的文件直接复制到笔记本电脑里去。_百度知道
请问如何把台式电脑与笔记本电脑连接起来，因为我想把台式电脑里的文件直接复制到笔记本电脑里去。
答题抽奖
首次认真答题后
即可获得3次抽奖机会，100%中奖。
来自电脑网络类芝麻团
采纳数：4845
获赞数：6426
参与团队：
方法很多，但有些步骤较复杂：1、买条“USB联机线(USB直连线)”，网上看可分为两类，一种是只起复制文件用的对拷线，还有一种是可以组建网络的联网线2、用u盘或移动硬盘搬运，usb2.0较慢，usb3.0较快3、台式电脑硬盘拆下装入移动硬盘盒连笔记本，与上同4、台式电脑硬盘拆下直连笔记本(须转换设备)或反之(速度快)5、用直连网线双机网络直连，但须进行网络设置及共享设置搜“双机直连共享文件”之类字句6、用普通网线将两台电脑接在同一路由器上，这两台电脑便在一个局域网中，可进行网络设置及共享设置共享文件(无线连也一样)搜“局域网共享文件”之类字句
获赞数：20
您好，可以将2台电脑都连接到一个路由器上，然后在台式机上把装有文件的盘设置成共享（对着需要共享的盘，点击右键即可设置），这样的话，在笔记本上就可以看得到您台式机上已经共享了的硬盘了，打开这个已经共享的盘，直接通过鼠标右键的复制粘贴功能，将里面的资料直接复制到笔记本电脑硬盘即可。【手打】
本回答被提问者采纳
开两个qq传送文件……
直接建立个局域网共享不就行了
采纳数：206
获赞数：630
这个是不能做到的，必须经过第三方，才能完成。第三方比如说：硬盘或优盘
同一局域网内文件共享
采纳数：208
获赞数：486
这个最好用U盘吧
其他10条回答
为你推荐：
其他类似问题
个人、企业类
违法有害信息,请在下方选择后提交
色情、暴力
我们会通过消息、邮箱等方式尽快将举报结果通知您。}