&>&Zookeeper单机及集群安装配置
Zookeeper单机及集群安装配置
上传大小：160KB
Zookeeper单机及集群安装配置
综合评分：0（0位用户评分）
所需积分：
下载个数：18
{%username%}回复{%com_username%}{%time%}\
/*点击出现回复框*/
$(".respond_btn").on("click", function (e) {
$(this).parents(".rightLi").children(".respond_box").show();
e.stopPropagation();
$(".cancel_res").on("click", function (e) {
$(this).parents(".res_b").siblings(".res_area").val("");
$(this).parents(".respond_box").hide();
e.stopPropagation();
/*删除评论*/
$(".del_comment_c").on("click", function (e) {
var id = $(e.target).attr("id");
$.getJSON('/index.php/comment/do_invalid/' + id,
function (data) {
if (data.succ == 1) {
$(e.target).parents(".conLi").remove();
alert(data.msg);
$(".res_btn").click(function (e) {
var q = $("#form1").serializeArray();
console.log(q);
var res_area_r = $.trim($(".res_area_r").val());
if (res_area_r == '') {
$(".res_text").css({color: "red"});
$.post("/index.php/comment/do_comment_reply/", q,
function (data) {
if (data.succ == 1) {
var $target,
evt = e || window.
$target = $(evt.target || evt.srcElement);
var $dd = $target.parents('dd');
var $wrapReply = $dd.find('.respond_box');
console.log($wrapReply);
var mess = $(".res_area_r").val();
var str = str.replace(/{%header%}/g, data.header)
.replace(/{%href%}/g, 'http://' + window.location.host + '/user/' + data.username)
.replace(/{%username%}/g, data.username)
.replace(/{%com_username%}/g, _username)
.replace(/{%time%}/g, data.time)
.replace(/{%id%}/g, data.id)
.replace(/{%mess%}/g, mess);
$dd.after(str);
$(".respond_box").hide();
$(".res_area_r").val("");
$(".res_area").val("");
$wrapReply.hide();
alert(data.msg);
}, "json");
/*删除回复*/
$(".rightLi").on("click",'.del_comment_r', function (e) {
var id = $(e.target).attr("id");
$.getJSON('/index.php/comment/do_comment_del/' + id,
function (data) {
if (data.succ == 1) {
$(e.target).parent().parent().parent().parent().parent().remove();
$(e.target).parents('.res_list').remove()
alert(data.msg);
//填充回复
function KeyP(v) {
$(".res_area_r").val($.trim($(".res_area").val()));
评论共有0条
审核通过送C币
大型网站开发技术书籍汇总
创建者：guo_ang
2015 Spark技术峰会资料分享
创建者：happytofly
6个Hadoop与云计算书籍文档
创建者：su_xiaoyan
上传者其他资源上传者专辑
git中文基础教程廖雪峰
服务器应用热门标签
VIP会员动态
找不到资源？发布悬赏任务百万程序猿帮你提供！
下载频道部分积分规则调整公告
开通VIP，海量IT资源任性下载
二十大技术领域优质资源
spring mvc+mybatis+mysql+maven+bootstrap 整合实现增删查改简单实例.zip
CSDN&VIP年卡&4000万程序员的必选
Zookeeper单机及集群安装配置
会员到期时间：
剩余下载个数：
剩余C币：0
剩余积分：6726
积分不足！
资源所需积分
当前拥有积分
您可以选择
程序员的必选
绿色安全资源
资源所需积分
当前拥有积分
当前拥有C币
(仅够下载10个资源)
全站1200个资源免积分下载
资源所需积分
当前拥有积分
当前拥有C币
全站1200个资源免积分下载
资源所需积分
当前拥有积分
当前拥有C币
您的积分不足，将扣除 10 C币
全站1200个资源免积分下载
你当前的下载分为234。
你还不是VIP会员
开通VIP会员权限，免积分下载
你下载资源过于频繁，请输入验证码
你下载资源过于频繁，请输入验证码
您因违反CSDN下载频道规则而被锁定帐户，如有疑问，请联络:!
若举报审核通过，可奖励20下载分
被举报人：
举报的资源分：
请选择类型
资源无法下载
资源无法使用
标题与实际内容不符
含有危害国家安全内容
含有反动色情等内容
含广告内容
版权问题，侵犯个人或公司的版权
*详细原因：
Zookeeper单机及集群安装配置Hbase单机安装出现的错误 - Hadoop - ITeye群组
执行“bin/hbase shell”时无问题，继续执行“create 'test', 'cf'”时，出现如下错误： 21:39:41,261 INFO org.apache.zookeeper.server.NIOServerCnxnFactory: binding to port 0.0.0.0/0.0.0.0:2181
21:39:41,279 INFO org.apache.zookeeper.server.persistence.FileTxnSnapLog: Snapshotting: 0x0 to /tmp/hbase-hadoopor/zookeeper/zookeeper_0/version-2/snapshot.0
21:39:41,407 INFO org.apache.zookeeper.server.NIOServerCnxnFactory: Accepted socket connection from /127.0.0.1:34223
21:39:41,412 INFO org.apache.zookeeper.server.NIOServerCnxn: Processing stat command from /127.0.0.1:34223
21:39:41,427 INFO org.apache.zookeeper.server.NIOServerCnxn: Stat command output
21:39:41,428 INFO org.apache.zookeeper.server.NIOServerCnxn: Closed socket connection for client /127.0.0.1:34223 (no session established for client)
21:39:41,429 INFO org.apache.hadoop.hbase.zookeeper.MiniZooKeeperCluster: Started MiniZK Cluster and connect 1 ZK server on client port: 2181
21:39:41,548 DEBUG org.apache.hadoop.hbase.master.HMaster: Set serverside HConnection retries=100
21:39:42,422 ERROR org.apache.hadoop.hbase.master.HMasterCommandLine: Failed to start master
java.lang.RuntimeException: Failed construction of Master: class org.apache.hadoop.hbase.master.HMasterCommandLine$LocalHMasterCannot assign requested address
at org.apache.hadoop.hbase.util.JVMClusterUtil.createMasterThread(JVMClusterUtil.java:134)
at org.apache.hadoop.hbase.LocalHBaseCluster.addMaster(LocalHBaseCluster.java:198)
at org.apache.hadoop.hbase.LocalHBaseCluster.&init&(LocalHBaseCluster.java:148)
at org.apache.hadoop.hbase.master.HMasterCommandLine.startMaster(HMasterCommandLine.java:140)
at org.apache.hadoop.hbase.master.HMasterCommandLine.run(HMasterCommandLine.java:103)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
at org.apache.hadoop.hbase.util.ServerCommandLine.doMain(ServerCommandLine.java:76)
at org.apache.hadoop.hbase.master.HMaster.main(HMaster.java:1754)
Caused by: java.net.BindException: Problem binding to /221.238.203.46:0 : Cannot assign requested address
at org.apache.hadoop.hbase.ipc.HBaseServer.bind(HBaseServer.java:242)
at org.apache.hadoop.hbase.ipc.HBaseServer$Listener.&init&(HBaseServer.java:456)
at org.apache.hadoop.hbase.ipc.HBaseServer.&init&(HBaseServer.java:1505)
at org.apache.hadoop.hbase.ipc.WritableRpcEngine$Server.&init&(WritableRpcEngine.java:296)
at org.apache.hadoop.hbase.ipc.WritableRpcEngine.getServer(WritableRpcEngine.java:245)
at org.apache.hadoop.hbase.ipc.WritableRpcEngine.getServer(WritableRpcEngine.java:55)
at org.apache.hadoop.hbase.ipc.HBaseRPC.getServer(HBaseRPC.java:401)
at org.apache.hadoop.hbase.ipc.HBaseRPC.getServer(HBaseRPC.java:390)
at org.apache.hadoop.hbase.master.HMaster.&init&(HMaster.java:251)
at org.apache.hadoop.hbase.master.HMasterCommandLine$LocalHMaster.&init&(HMasterCommandLine.java:215)
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:39)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:27)
at java.lang.reflect.Constructor.newInstance(Constructor.java:513)
at org.apache.hadoop.hbase.util.JVMClusterUtil.createMasterThread(JVMClusterUtil.java:131)
... 7 more
Caused by: java.net.BindException: Cannot assign requested address
at sun.nio.ch.Net.bind(Native Method)
at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:119)
at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:59)
at org.apache.hadoop.hbase.ipc.HBaseServer.bind(HBaseServer.java:240)
... 21 more
Hbase的standalone模式需要运行在127.0.0.1上，你可以去/etc/hosts里检查一下，看看你的用户名所对应的IP是不是127.0.0.1，像ubuntu这种linux一般来说是会把你的IP设置成127.0.1.1的
试一下这个，修改hbase-site.xml 配置文件中的“hbase.zookeeper.quorum”属性的值为“127.0.0.1”。
HMasterCommandLine这个类是启动时加载配置调用，看看你的配置文件
你好，这个问题你解决了吗，解决方法是怎样的？
可能是什么原因也不去分析了，直接说答案：
把ubuntu的host文件里面的内容统统删除，然后手动加上一行
192.168.10.48 ubuntu
重启ubuntu和hbase，问题解决。
相关资源推荐后使用快捷导航没有帐号？
查看: 54671|回复: 6
Hadoop+HBase+ZooKeeper三者关系与安装配置
金牌会员, 积分 2947, 距离下一级还需 53 积分
论坛徽章:26
本帖最后由 qqjue 于
23:16 编辑
这里有几个主要关系：1.经过Map、Reduce运算后产生的结果看上去是被写入到了，但是其实HBase中HLog和StoreFile中的文件在进行flush to disk操作时，这两个文件存储到了HDFS的DataNode中，HDFS才是永久存储。2.ZooKeeper跟 Core、HBase有什么关系呢？ZooKeeper都提供了哪些服务呢？主要有：管理Hadoop集群中的NameNode，HBase中HBaseMaster的选举，Servers之间状态同步等。具体一点，细一点说，单只HBase中ZooKeeper实例负责的工作就有：存储HBase的Schema，实时监控HRegionServer,存储所有Region的寻址入口，当然还有最常见的功能就是保证HBase集群中只有一个Master。
2、搭建完全分布式集群在做hadoop，hbase这方面的工作有一段时间了，经常有刚接触这些东西的身边朋友，向我询问基本环境的搭建问题，于是就想以回忆录的形式把基本配置的步骤整理出来，以便刚接触的朋友做个参考.
& && &HBase集群建立在hadoop集群基础之上，所以在搭建HBase集群之前需要把Hadoop集群搭建起来，并且要考虑二者的兼容性.现在就以四台机器为例，搭建一个简单的集群.
& &使用的软件版本：hadoop-1.0.3,hbase-0.94.2,zookeeper-3.4.4.
& &四台机器IP：10.2.11.1,10.2.11.2,10.2.11.3,10.2.11.4.
一.搭建Hadoop集群
& &1. 安装JDK.在每台机器下建立相同的目录/usr/.把下载的jdk（1.6及以上版本）复制到/usr/java目录下面，使用命令tar –zxvf&&jdk-7u9--i586.tar.gz&&sudo chmod 777 jdk-1.7.0_09&&
把jdk的路径加到环境变量中：& && && && && && & vim.tiny&&/etc/profile&&
&&在该文件最后一行添加：JAVA_HOME=/usr/java/jdk1.7.0_09&&& && && && &PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:PATH&&& && && && && &CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib&&
使修改的操作生效：& && && && && && && && &&&source& &/etc/profile& && && && &
可以使用& && && && && && && && && && && && && && && && & java&&-version&&
进行验证是否已配置成功.
2.在每台机器上建立相同的用户名& && && && && && && && && &&&sudo adduser&&cloud&&password& &cloud&&
输入你要设置的密码.然后在每台机器作配置：& && && && && && && && &&&sudo gedit&&/etc/hosts&&
& &打开文件后加入如下内容：& && && && && && &&&10.2.11.1 namenode&& 10.2.11.2 datanode1&& 10.2.11.3 datanode2&& 10.2.11.4 datanode3&&
3.在/home/cloud/目录下建立一个文件夹project，命令如下：& && && && && && & mkdir&&project& &
& && &&&把hadoop-1.0.3.tar.gz，zookeeper-3.4.4.tar.gz，hbase-0.94.2.tar.gz，这些下载的软件包放在此目录下面，以待下一步操作。
4.使用命令tar&&–zxvf& &hadoop-1.0.3.tar.gz&&
进行解压文件.进入配置目录，开始配置.& & cd&&hadoop-1.0.3/conf&&
5. 使用命令 ： vim.tiny& &hadoop-env.sh 把java的安装路径加进去: JAVA_HOME=/usr/java/jdk1.7.0_09/&&
6. vim.tiny& &core-site.xml ,加入如下配置：&property&&&& && && && && &&name&hadoop.tmp.dir&/name&&&& && && && && && && && &&&&value&/home/cloud/project/tmp&/value&&&&/property &&&& property &&&& && && && && &&&&name& fs.default.name&/name&&&& && && && && && && &&&&value&hdfs://namenode:9000&/value&&&&/property &&&
7.&&vim.tiny& &hdfs-site.xml,加入如下配置：&property &&&&name&dfs.repplication&/name&&&&value&3&/value&&&&/property &&&&property&&&&name&dfs.data.dir&/name&&&&value&/home/cloud/project/tmp/data&/value&&&&/ property &&&
8. gedit& &mapred-site.xml,添加如下内容：&property&&&&name&mapred.job.tracker&/name&&&&value&namenode:9001&/value&&&&/property &&&
9. gedit& &master，加入如下配置内容：namenode&&
&&10. gedit& &slaves，加入如下配置内容：datanode1&&datanode2&& datanode3& &
11. 配置机器之间无密码登陆.在每台机器下建立相同目录 .ssh ,如mkdir& &&&/home/cloud/.ssh&&
在namenode节点下，使用命令ssh-keygen –t rsa，然后一直回车（中间不用输入任何其他信息），直到结束，然后使用命令cd .ssh,cp id_rsa.pub authorized.keys& && &
使用远程传输，把authorized.keys分别复制到其他机器的.ssh目录下面,命令如下：scp authorized_keys&&datanode1:/home/cloud/.ssh&&scp authorized_keys&&datanode2:/home/cloud/.ssh&&& && & scp authorized_keys&&datanode3:/home/cloud/.ssh& && && &
&&进入每台机器的.ssh目录下修改authorized_keys的权限，命令如下：chmod 644 authorized_keys& &&&
12.把配置好的hadoop分别拷贝到集群中其他机器上，命令如下： scp –r hadoop-1.0.3&&datanode1:/home/cloud/project&&scp –r hadoop-1.0.3&&datanode2:/home/cloud/project&&& &&&scp –r hadoop-1.0.3&&datanode3:/home/cloud/project& && &
13.在namenode机器下，进入hadoop的安装目录，对文件系统进行格式化：bin/hadoop namenode& &–format& &
14. 启动集群: bin/start-all.sh.& && &可以使用bin/hadoop&&dfsadmin&&–report& && && && && && &
查看文件系统的使用情况。& && &使用命令 jps&&
查看节点服务启动情况，正常情况有：jobtracker、namenode、jps、secondnamenode.否则启动异常，重新检查安装步骤。&&二．安装zookeeper& && &
1．在namenode机器下，配置zookeeper，先解压安装包，使用命令：tar -zxvf zookeeper-3.4.4.tar.gz& && &
2.进入zookeeper的配置目录，首先把zoo_sample.cfg重命名一下，可以重新复制一遍，使用命令：cp zoo_sample.cfg zoo.cfg& && &
3.gedit& & zoo.cfg ,添加如下内容：& && && && && &dataDir=/home/cloud/project/tmp/zookeeper/data&&server.1 = datanode1:&&server.2 =datanode2:&&server.3 =datanode3:&&
4.把zookeeper分别远程拷贝datanode1，datanode2，datenode3,使用如下命令：scp –r zookeeper-3.4.4&&datanode1:/home/cloud/project&&scp –r zookeeper-3.4.4&&datanode2:/home/cloud/project&&scp –r zookeeper-3.4.4&&datanode3:/home/cloud/project&&
5.分别在刚才的datanode节点/home/cloud/project/tmp/zookeeper/data目录下，新建文件myid，然后使用命令vim.tiny&&myid&&
& &分别在datanode1,datanode2,datanode3的myid中写入对应的server.n中的n,即分别是1,2,3.6.开启zookeeper服务,在三台datanode机器的zookeeper安装目录下使用命令：bin/zkServer.sh start&&
三．部署hbase1．解压缩hbase的软件包，使用命令：tar -zxvf hbase-0.94.2.tar.gz&&
2．进入hbase的配置目录，在hbase-env.sh文件里面加入java环境变量.即：JAVA_HOME=/usr/java/jdk1.7.0_09/& &
加入变量：export&&HBASE_MANAGES_ZK=false&&
3. 编辑hbase-site.xml ，添加配置文件：&property&&&&name&hbase.rootdir&/name&&&&value&hdfs://namenode:9000/hbase&/value&&&&/property&&&&property&&&&name&hbase.cluster.distributed&/name&&&&value&true&/value&&&&/property&&&&property&&&&name&hbase.zookeeper.quorum&/name&&&&value&datanode1,datanode2,datanode3&/value&&&&/property&&&&property&&&&name&hbase.zookeeper.property.dataDir&/name&&&&value&/home/cloud/project/tmp/zookeeper/data&/value&&&&/property&&&
4. 编辑配置目录下面的文件regionservers. 命令：vim.tiny& & regionservers& &
加入如下内容：datanode1&&datanode2&&datandoe3&&
5. 把Hbase复制到其他机器，命令如下：scp -r hbase-0.94.2& &datanode1:/home/cloud/project&&scp -r hbase-0.94.2& &datanode2:/home/cloud/project&&scp -r hbase-0.94.2& &datanode3:/home/cloud/project&&
6. 开启hbase服务。命令如下：bin/start-hbase.sh& &&&
可以使用bin/hbaseshell 进入hbase自带的shell环境，然后使用命令version等，进行查看hbase信息及建立表等操作。& &
金牌会员, 积分 2085, 距离下一级还需 915 积分
论坛徽章:8
不错学习了！谢谢！！！
论坛徽章:4
很好的帖子。
高级会员, 积分 789, 距离下一级还需 211 积分
论坛徽章:8
谢谢分享，继续学习
金牌会员, 积分 1932, 距离下一级还需 1068 积分
论坛徽章:11
很好，学习了
中级会员, 积分 282, 距离下一级还需 218 积分
论坛徽章:1
很详细，不错
扫一扫加入本版微信群Zookeeper C API 错误码介绍
chencheng09
绑定的课程：
ZOK&正常返回ZSYSTEMERROR&系统或服务器端错误(System and server-side errors)，服务器不会抛出该错误，该错误也只是用来标识错误范围的，即大于该错误值，且小于 ZAPIERROR 都是系统错误。ZRUNTIMEINCONSISTENCY&运行时非一致性错误。ZDATAINCONSISTENCY&数据非一致性错误。ZCONNECTIONLOSS&Zookeeper 客户端与服务器端失去连接ZMARSHALLINGERROR&在&marshalling&和&unmarshalling&数据时出现错误(Error while marshalling or unmarshalling data)ZUNIMPLEMENTED&该操作未实现(Operation is unimplemented)ZOPERATIONTIMEOUT&该操作超时(Operation timeout)ZBADARGUMENTS&非法参数错误(Invalid arguments)ZINVALIDSTATE&非法句柄状态(Invliad zhandle state)ZAPIERROR&API 错误(API errors)，服务器不会抛出该错误，该错误也只是用来标识错误范围的，错误值大于该值的标识 API 错误，而小于该值的标识 ZSYSTEMERROR。ZNONODE&节点不存在(Node does not exist)ZNOAUTH&没有经过授权(Not authenticated)ZBADVERSION&版本冲突(Version conflict)ZNOCHILDRENFOREPHEMERALS&临时节点不能拥有子节点(Ephemeral nodes may not have children)ZNODEEXISTS&节点已经存在(The node already exists)ZNOTEMPTY&该节点具有自身的子节点(The node has children)ZSESSIONEXPIRED&会话过期(The session has been expired by the server)ZINVALIDCALLBACK&非法的回调函数(Invalid callback specified)ZINVALIDACL&非法的ACL(Invalid ACL specified)ZAUTHFAILED&客户端授权失败(Client authentication failed)ZCLOSING&Zookeeper 连接关闭(ZooKeeper is closing)ZNOTHING&并非错误，客户端不需要处理服务器的响应(not error, no server responses to process)ZSESSIONMOVED&会话转移至其他服务器，所以操作被忽略(session moved to another server, so operation is ignored)
已学习课程数：4
已发表笔记数：92
1. 安装rrdtool1.1. 安装依赖包? 拷贝CentOS软件包将CentOS安装光盘中的rpm包拷贝到/root/下，以备使用。? 安装zlib开发包rpm -ivh /root/CentOS/zlib-devel-1.2.3-3.x86_64.rpm? 安装freetype开发包：rpm -ivh /root/CentOS/freetype-devel-2.2.1-21.el5_3.x86_64.rpm? 安装libart开发包：rpm -ivh /root/CentOS/libart_lgpl
首先是页面：报错任务的页面（报错的任务就称为任务1，运行成功的任务就称为任务2）：图1 任务2的页面：图2 图1中点击2（History）连接，发现还是在原始连接；而图3的History链接点击后就会出现2的页面。如果在图3中直接点击log，那么会出现log找不到的错误（在图2中点击则没有问题）。图3 通过上面的对比，可以发现图1和图3的url链接是对应的，但是图1点击History还是链接会图1页面，图3却可以连接到图2界面。在图1和图3中直接点击log，会出现log找不到的错误，一般如下：图4 在图2
package org.conan.myhadoop.
import java.io.IOE
import java.util.HashM
import java.util.I
import java.util.M
import org.apache.hadoop.fs.P
import org.apache.hadoop.io.IntW
import org.apache.hadoop.io.Lon
在运行Spark应用程序的时候，driver会提供一个webUI给出应用程序的运行信息，但是该webUI随着应用程序的完成而关闭端口，也就是说，Spark应用程序运行完后，将无法查看应用程序的历史记录。Spark history server就是为了应对这种情况而产生的，通过配置，Spark应用程序在运行完应用程序之后，将应用程序的运行信息写入指定目录，而Spark history server可以将这些运行信息装载并以web的方式供用户浏览。& & & 要使用history
本实验平台是在一台物理机上搭建的，物理机的配置是16G内存，4核8线程CPU。平台的环境配置如下：&机器名&配置&角色&软件安装&hadoop1&2G内存，双核&hadoop：NN/DN Spark：Master/worker&/app/hadoop/hadoop220/app/hadoop/spark100/app/scala2104/usr/java/jdk1.7.0_21&hadoop2&2G内存，双
Spark生态圈，也就是BDAS（伯克利数据分析栈），是伯克利APMLab实验室精心打造的，力图在算法（Algorithms）、机器（Machines）、人（People）之间通过大规模集成，来展现大数据应用的一个平台，其核心引擎就是Spark，其计算基础是弹性分布式数据集，也就是RDD。通过Spark生态圈，AMPLab运用大数据、云计算、通信等各种资源，以及各种灵活的技术方案，对海量不透明的数据进行甄别并转化为有用的信息，以供人们更好的理解世界。Spark生态圈已经涉及到机器学习、数据挖掘、数据库、信
本实验环境搭建指导：HDFS HA系列实验之二：HA+JournalNode+zookeeper 本实验相关的hadoop配置文件下载（HA+JN+ZK+proxy）：根据上面相关资料重新配置HA+JournalNode+zookeeper环境，并格式化后启动，然后使用物理机192.168.100.111(机器名wyy)作为客户端来访问集群。$ /app/hadoop/zookeeper345/bin/zkServer.sh start$ /app/hadoop/hadoop220/sbin/hadoop
NN是HDFS的核心，一旦破坏，hadoop整个系统将瘫痪。hadoop2.2.0提供了NN HA，提高了NN的可用性。但如果发生了NN故障转移，那么需要处理故障点。本实验主要是针对NN故障转移的几种情况的处理：实验一：原Active NN意外挂机或JVM溢出等原因造成，但原Active NN文件系统完好实验二：原Active NN元数据损坏或重新部署新的NN 本实验环境搭建指导：HDFS HA系列实验之二：HA+JournalNode+zookeeper本实验相关的hadoop配置文件下载（HA+JN+
1：实验目的 A：client如何访问HA HDFSB：client如何访问HA HDFS + Federation 2：client如何访问HA HDFS本实验环境搭建指导：HDFS HA系列实验之二：HA+JournalNode+zookeeper本实验相关的hadoop配置文件下载（HA+JN+ZK）根据上面相关资料重新配置HA+JournalNode+zookeeper环境，并格式化后启动，然后使用物理机192.168.100.111(机器名wyy)作为客户端来访问集群。 A：启动集群$ /app
o什么是Zookeeper& ZK是一个高效的分布式协调服务，它暴露了一些公用服务，比如命名/配置管理/同步控制/群组服务等。我们可以使用ZK来实现比如达成共识/集团管理/leader选举等。oZookeeper server组成& ZK server根据其身份特性分为三种：leader，Follower，Observer，其中Follower和Observer又统称Learner（学习者）。&&& Leader：负责客户端的writer类型请求
zookeeper介绍 zookeeper是一个为分布式应用提供一致性服务的软件，它是开源的Hadoop项目中的一个子项目，并且根据google发表的&The Chubby lock service for loosely-coupled distributed systems&论文来实现的，接下来我们首先来安装使用下这个软件，然后再来探索下其中比较重要一致性算法。&
zookeeper安装和使用 zookeeper的安装基本上可以按照 http://hadoop.apache.
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeeper是hadoop的一个子项目，其发展历程无需赘述。在分布式应用中，由于工程师不能很好地使用锁机制，以及基于消息的协调机制不适合在某些应用中使用，因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。Zookeeper的目的就在于此。本文简单分析zookeeper的工作原理，对于如何使用zookeeper不是本文讨论的重
分布式环境中大多数服务是允许部分失败，也允许数据不一致，但有些最基础的服务是需要高可靠性，高一致性的，这些服务是其他分布式服务运转的基础，比如naming service、分布式lock等，这些分布式的基础服务有以下要求：高可用性高一致性高性能对于这种有些挑战CAP原则的服务该如何设计，是一个挑战，也是一个不错的研究课题，Apache的ZooKeeper也许给了我们一个不错的答案。ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它暴露了一个简单的原语集，分布式应用程序可以基于它实现同步
1 概述 & --------------------------------------------------------------------------------Zookeeper分布式服务框架是 Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。ZooKeeper本身可以以Standalone模式安装运行，不过它的长处在于通过分布式ZooKeeper集群（一个Lead
Zookeeper的核心是原子广播，这个机制保证了各个Server之间的同步。实现这个机制的协议叫做Zab协议。Zab协议有两种模式，它们分别是恢复模式（选主）和广播模式（同步）。当服务启动或者在领导者崩溃后，Zab就进入了恢复模式，当领导者被选举出来，且大多数Server完成了和leader的状态同步以后，恢复模式就结束了。状态同步保证了leader和Server具有相同的系统状态。为了保证事务的顺序一致性，zookeeper采用了递增的事务id号（zxid）来标识事务。所有的提议（proposal）都
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeeper是hadoop的一个子项目，其发展历程无需赘述。在分布式应用中，由于工程师不能很好地使用锁机制，以及基于消息的协调机制不适合在某些应用中使用，因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。
1.最终一致性：client不论连接到哪个Server，展示给它都是同一个视图，这是zookeeper最重要的性能。2 .可靠性：具有简单、健壮、良好的性能，如果消息m被到一台服务器接受，那么它将被所有的服务器接受。3 .实时性：Zookeeper保证客户端将在一个时间间隔范围内获得服务器的更新信息，或者服务器失效的信息。但由于网络延时等原因，Zookeeper不能保证两个客户端能同时得到刚更新的数据，如果需要最新数据，应该在读数据之前调用sync()接口。4 .等待无关（wait-free）：慢的或者失
当leader崩溃或者leader失去大多数的follower，这时候zk进入恢复模式，恢复模式需要重新选举出一个新的leader，让所有的Server都恢复到一个正确的状态。Zk的选举算法有两种：一种是基于basic paxos实现的，另外一种是基于fast paxos算法实现的。系统默认的选举算法为fast paxos。先介绍basic paxos流程：1 .选举线程由当前Server发起选举的线程担任，其主要功能是对投票结果进行统计，并选出推荐的Server；2 .选举线程首先向所有Server发起
备份:mysqldump -uroot-p'root' jpstudy & /opt/mysql_jpstudy_bak.sql恢复：mysql -uroot-p'root' jpstudy & /opt/mysql_jpstudy_bak.sql参数说明：1、备份sql文件名以 -B ，即：mysqldump -uroot-p'root' -B jpstudy &/opt/mysql_jpstudy_bak_B.sql表示：备份的sql语句中有创建数据库和字符集的语句2、参数--com
1.全值匹配2.最佳左前缀法则：如果索引了多列，要遵守最佳左前缀法则。指的是查询从索引的最左前列开始并且不跳过索引中的列。3.不在索引列上做任何操作（计算、函数、类型转换），会导致索引失效而转向全表扫描4.存储引擎不能使用索引中范围条件右边的列5.尽量使用覆盖索引（只访问索引的查询（索引列和查询列一致）），减少select*6.mysql在使用不等于（!=或者&&）的时候无法使用索引会导致全表扫描7.is null ,is not null也无法使用索引8.like以通配符开头（‘%abc’）
7&脚本权限回收去除其他用户对bin目录下可执行权限，防止其他用户起停tomcat# chmod -R 744bin/*8&访问日志格式规范开启Referer和User-Agetn是为了一旦出现安全问题能够更好的根据日志进行排查&&&&&& &Hostname=&23.83.xx.xx&&appBase=&webapps& &&&&
3&禁用管理端对于tomcat的web管理端属于高危安全隐患，一旦被攻破，黑客通过上传web shell方式取得服务器的控制权，那是非常可怕的。我们需要删除tomcat安装目录下conf/tomcat-
user.xml或者删除webapps下默认的目录和文件。
# mv webapps/*/tmp
4&降权启动tomcattomcat&启动用户权限必须为非root，避免一旦tomcat服务被入侵，获取root权限，普通用户只能使用大于1024端口，如果要想使用80端
1、telnet管理端口保护使用telnet连接进来可以输入SHUTDOWN可以直接关闭tomcat，极不安全，必须关闭。可以修改默认的管理端口8005改为其他端口，修改SHUTDOWN指令为其他字符串。# viconf/server.xml &Server port=&8365& shutdown=&IN0IT&&2 AJP连接端口保护Tomcat&服务器通过Connector连接器组件与客户程序建立连接，Connector组件负责接收客户的
发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试
发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试发个测试
发个测试发个测试发个测
1、index 创建的时候一定要计算好shard，因为主分片一经确认是不能修改的，每一个分片上面独立运行着一个lucene程序；因此设置主分片的时候尽量考虑未来发展需求，如果当前有1G数据，使用默认分片5个，每一个主分片数据相当于200M数据（hash(ID)%max_shards进行数据分片存储的），但是随着时间推移如果3个月后数据变成100G了，但是主分片还是5个，每一个上面就是20G的数据，会大大降低处理性能；（2.3.1版本增加了对index的动态迁移能力，也许可以快速的处理这一问题）。2、字段的
&&&&动力节点Java培训　　下面给出的Java开发中ClassLoader中的描述，哪些描述是正确的（C）&AClassLoader没有层次关系&B所有类中的ClassLoader都是AppClassLoader&C通过classforname(StringclassName)能够动态加载一个类&D不同的ClassLoader加载同一个Class文件，所得的类是相同的&　　拓展知识ClassLoader知识
Storm单机+zookeeper集群安装
1、安装zookeeper集群
2、准备机器
10.10.3.44 flumemaster1
10.10.3.129 flumemaster2
10.10.3.132 flumecollector1
10.10.3.115 flumeNg1
3、配置hosts文件(4台服务器上面都需要配置)
vi /etc/hosts
需求：将mysql中的表b05_age的数据导入hive中
yum install sqoop（sqoop必须安装在有hive client的服务器上面，如果没有执行yum install hive）
复制mysql的驱动jar到/usr/lib/sqoop/lib下面
2、异常处理
正确命令:（将关系型数据的表结构复制到hive中）
sudo -u hive sqoop create-hive-table --connect jdbc:my
准备机器：
192.168.1.241
192.168.1.242
192.168.1.243
1、查看ip地址是否为静态ip，如果不是进行配置
vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=none
IPADDR=192.168.1.241
1. 我用的Oracle 客户端最好的工具是PL/SQL Developer, 当然，如果用免费的Toad也不错，感觉现在用Toad的人还是挺多的。
2. Oracle SQL如果想提高速度有几个方式
1）创建索引，尽量建立唯一索引
2）当要创建的索引列的值取值比较小，建议创建Bitmap的索引而不是默认的Btree的。（比如性别，学历等）
3）在where条件后尽量采用数字类型的字段，比varchar的速度快
4）尽量不用用IN,Not In,union这样的条件查
1. 通过freemarker静态化
2. 通过jsp filter静态化
主要思路：请求servlet-&判断静态文件是否存在并且静态文件创建时间是否在阀值之内--&如果不是，则访问数据库生成静态文件-&否则直接跳转静态文件
然后通过urlReWrite直接将访问servlet的请求改为html,完成seo
最后通过SQUID缓存前台数据
一、从数据库中取相应数据并替换掉模板中的对应标签，下面是一个简单的示例
java.io.IOE
java.io.InputS
java.io.OutputS
java.io.OutputStreamW
java.io.PrintW
java.net.InetSocketA
java.util.L
java.util.M
服务器优化说明
WEB服务器优化
更换tomcat5为tomcat6
版本copy测试服务版本即可
加大tomcat内存
修改bin下的catalina.sh文件,增加青绿色部分
JAVA_OPTS='-Xms768m -Xmx1648m -XX:MaxPermSize=512m'
加大tomcat连接数
修改conf下的server.xml文件，修改青绿色部分参数值
s.username,
decode(l.type,'tm','table lock','tx','row lock',null) lock_level,
o.object_name,
o.object_type,
s.serial#,
s.terminal,
s.machine,
s.program,
from v$session s,v$lock l,dba_objects o
where l.sid = s.s
一直以来都想接触Storm实时计算这块的东西，最近在群里看到上海一哥们罗宝写的Flume+Kafka+Storm的实时日志流系统的搭建文档，自己也跟着整了一遍，之前罗宝的文章中有一些要注意点没提到的，以后一些写错的点，在这边我会做修正；内容应该说绝大部分引用罗宝的文章的，这里要谢谢罗宝兄弟，还有写这篇文章@晨色星空J2EE也给了我很大帮助，这里也谢谢@晨色星空J2EE之前在弄这个的时候，跟群里的一些人讨论过，有的人说，直接用storm不就可以做实时处理了，用不着那么麻烦；其实不然，做软件开发的都知道模块化
1. Storm介绍2. Storm环境配置3. Storm程序流程4. Storm总结及问题1. Storm介绍 1.1&实时流计算背景 随着互联网的更进一步发展，信息浏览、搜索、关系交互传递型，以及电子商务、互联网旅游生活产品等将生活中的流通环节在线化。对于实时性的要求进一步提升，而信息的交互和沟通正在从点对点往信息链甚至信息网的方向发展，这样必然带来数据在各个维度的交叉关联，数据爆炸已不可避免。因此流式处理和NoSQL产品应运而生，分别解决实时框架和数据大 规模存储计算的问题。 流式处理可}