大讲台选，程序员务必掌握的24个软技能
我的图书馆
大讲台选，程序员务必掌握的24个软技能
按Esc退出全屏模式0 贡献值193.1K 大小&
发表评论：
喜欢该文的人也喜欢博客访问： 302
博文数量： 0
注册时间：
&&&& 该分类下暂时没有公开的博文，给他留言提醒一下吧。
给主人留下些什么吧！~~
请登录后留言。Sina Visitor System>>>>大讲台谈Hadoop培训中可能遇到的问题
地区：北京市海淀区车公庄西路甲19号华通大厦A座733
电话：400-882-
大讲台谈Hadoop培训中可能遇到的问题
来源：发布时间： 15:10:17
首先使用jps命令查看节点的启动是否正常，然后在去查看相关的日志文件，但是在查看相关日志之前，你可以先检查一下面几点： 1、防火墙原因：检查各个节点的防火墙是否关闭成功。（重点是检查NameNode） [root@hadoop11~]#serviceiptablesstatus iptables:Firewallisnotrunning. 2、检查IP地址与主机名的映射关系是否绑定成功 3、检查NameNode是否处于安全模式 4、检查NameNode是否已经进行了格式化处理 5、检查配置文件的配置是否成功 6、检查NameNode节点和DataNode节点中存放的namespaceID的版本号是否相同 好的，当我们查看完上述6点之后如果还没有解决问题，那我们再去查看相关的日志文件即可。OK，到现在为止我在给大家介绍一下在开发过程中经常遇到的几个异常问题： 1、启动hadoop时没有NameNode的可能原因 这个问题对于Hadoop的初学者是经常遇到的，之所以出现这个问题，可能有3点原因：NameNode没有进行格式化处理（6个检查以包括）先删除hadoop.tmp.dir所对应的目录（即logs和tmp），然后对NameNode进行格式化处理检查IP地址与主机名的映射关系是否绑定成功（6个检查以包括）检查配置文件的配置是否成功（6个检查以包括），重点是hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml和slaves。 2、Namenodeisinsafemode 例如：原因：NameNode在刚开始启动的时候会进入到安全模式，倒计时30s后退出，在安全模式下会不能进行增、删、改操作，只能进行查看操作。但是如果数据节点DataNode丢失的block块达到一定比例的话则系统一直处于安全模式，即只读状态。 解决方法：先在HDFS的配置文件hdfs-site.xml中，修改dfs.safemode.threshold.pct所对应的数值，将其数值改成一个较小的数值，默认的数值是0.999f。然后再执行命令hadoopdfsadmin-safemodeleave强制NameNode离开安全模式。（6个检查以包括） 3、couldonlybereplicatiedto0nodes,insteadof1 例如：这个异常可能出现的现象：执行命令jps显示的进程都很正常，但是用web界面查看的话，显示的livenodes为0，这说明数据节点DataNode没有正常启动，但是数据节点DataNode又正常启动了。这个问题可能出现的原因：防火墙原因，检查所有节点的防火墙是否关闭成功。（6个检查以包括）磁盘空间原因：执行命令df-al查看磁盘空间的使用情况，如果是磁盘空间不足的话，则调整磁盘空间。 如果是磁盘空间不足的话，具体进行下面的步骤在进行查看：如果上述方法都不行的话，可用以下方法进行处理（但是该方法会造成数据的丢失，所以慎用！）先删除hadoop.tmp.dir所对应的目录，然后对NameNode重新进行格式化处理。（6个检查以包括） 4、启动时报错java.net.UnknownHostException 原因：集群中的主机名没有映射到相应的IP地址（6个检查以包括） 解决方法：在/etc/hosts文件中添加所有节点的主机名与IP地址的映射关系。 5、TaskTracker进程启动了，但是DataNode进程没有启动 解决方法：先删除hadoop.tmp.dir所对应的文件夹，然后对NameNode重新进行格式化处理。 6、java.lang.OutOfMemoryError 原因分析：出现这个异常，明显是JVM内存不足的原因，要修改所有数据节点DataNode所对应的JVM内存大小。 方法：在MapReduce的配置文件mapred-site.xml中，修改mapred.child.Java.opts所对应的数值。 注意：一般JVM的最大内存使用应该为总内存大小的一半，例如我们的服务器的内存大小为4G，则设置为2048m，但是这个值可能依旧不是最优的数值。
copyright (C) souxuexiao.com.All Rights Reserved. 京ICP备号-1 &京公网安备40号大讲台分享linux系统常用命令大全_大讲台吧_百度贴吧
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&签到排名：今日本吧第个签到，本吧因你更精彩，明天继续来努力！
本吧签到人数：0成为超级会员，使用一键签到本月漏签0次！成为超级会员，赠送8张补签卡连续签到：天&&累计签到：天超级会员单次开通12个月以上，赠送连续签到卡3张
关注：48贴子：
大讲台分享linux系统常用命令大全收藏
日志文件说明/var/log/message系统启动后的信息和错误日志，是RedHatLinux中最常用的日志之一/var/log/secure与安全相关的日志信息/var/log/maillog与邮件相关的日志信息/var/log/cron与定时任务相关的日志信息/var/log/spooler与UUCP和news设备相关的日志信息/var/log/boot.log守护进程启动和停止相关的日志消息系统：#uname-a#查看内核/操作系统/CPU信息#cat/etc/issue#cat/etc/redhat-release#查看操作系统版本#cat/proc/cpuinfo#查看CPU信息#hostname#查看计算机名#lspci-tv#列出所有PCI设备#lsusb-tv#列出所有USB设备#lsmod#列出加载的内核模块#env#查看环境变量资源：#free-m#查看内存使用量和交换区使用量#df-h#查看各分区使用情况#du-sh&目录名&#查看指定目录的大小#grepMemTotal/proc/meminfo#查看内存总量#grepMemFree/proc/meminfo#查看空闲内存量#uptime#查看系统运行时间、用户数、负载#cat/proc/loadavg#查看系统负载磁盘和分区：#mount|column-t#查看挂接的分区状态#fdisk-l#查看所有分区#swapon-s#查看所有交换分区#hdparm-i/dev/hda#查看磁盘参数(仅适用于IDE设备)#dmesg|grepIDE#查看启动时IDE设备检测状况网络：#ifconfig#查看所有网络接口的属性#iptables-L#查看防火墙设置#route-n#查看路由表#netstat-lntp#查看所有监听端口#netstat-antp#查看所有已经建立的连接#netstat-s#查看网络统计信息进程：#ps-ef#查看所有进程#top#实时显示进程状态（另一篇文章里面有详细的介绍）用户：#w#查看活动用户#id&用户名&#查看指定用户信息#last#查看用户登录日志#cut-d:-f1/etc/passwd#查看系统所有用户#cut-d:-f1/etc/group#查看系统所有组#crontab-l#查看当前用户的计划任务服务：#chkconfig–list#列出所有系统服务#chkconfig–list|grepon#列出所有启动的系统服务程序：#rpm-qa#查看所有安装的软件包
登录百度帐号}