mongodb详解为什么使用分片技术详解

点击联系发帖人 时间：2016-05-07 10:22

mongodb oplog 详解

<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"
您的访问请求被拒绝 403 Forbidden - ITeye技术社区
您的访问请求被拒绝
亲爱的会员，您的IP地址所在网段被ITeye拒绝服务，这可能是以下两种情况导致：
一、您所在的网段内有网络爬虫大量抓取ITeye网页，为保证其他人流畅的访问ITeye，该网段被ITeye拒绝
二、您通过某个代理服务器访问ITeye网站，该代理服务器被网络爬虫利用，大量抓取ITeye网页
请您点击按钮解除封锁&当前位置：&>&&>&
Mongodb数据库的分片配置方法
时间： 15:44:01    来源：服务器之家    投稿：root
这里介绍的是Mongodb的分片配置，如果想配置主主或主从对，以实现数据备份，可见mongodb分布式之数据复制。
1、启动相关进程
在shard server上启动mongod，使用--shardsvr
命令行参数。对于主从对，使用--pairwith命令行选项。建议一个shard server只运行一个mongod进程。
在config server上启动mongod，使用--configsvr命令行参数。如果config
server不是一台独立的服务器，为其分配一个独立的dbpath，--dbpath命令行参数。
启动mongos，使用--configdb参数指明配置的数据库地址。
2、shell配置分片
在启动好的mongos服务器上运行这些命令，然后通过它运行所有的配置命令。注：应该使用特定的admin数据库来存储这些命令，尽管通过mongos运行时，数据会存储在config
server上，所以在集群的生命周期内这些命令只需运行一次即可。
./mongo &mongos-hostname&:&mongos-port&/admin
3、增加一个分片，每个分片包括两台服务器（一对主从）或单机（Alpha
2只支持单机）。
& db.runCommand( { addshard :
"&serverhostname&[:&port&]" } );
{"ok" : 1 , "added" : ...}
多台配置用逗号分隔（alpha3及以上版本）。
可选参数maxSize可用户设置该分片可使用的磁盘空间，默认为整个磁盘。该参数目前1.4及1.4以前的版本是无效的，1.5版本及以后才会有效。
& db.runCommand( { listshards : 1 } );
查看已存在的分片。
4、enable一个数据库，必须为分片enable一个数据库，否则数据将全被存在分片上。
& db.runCommand( { enablesharding : "&dbname&" } );
一旦enable了个数据库，mongos将会把数据库里的不同数据集放在不同的分片上。除非数据集被分片，否则一个数据集的所有数据将放在一个分片上。
5、数据集分片，使用shardcollection 命令分隔数据集，key自动生成。
& db.runCommand( { shardcollection : "&namespace&",
key : &shardkeypatternobject&
比如，分片测试数据库中的GridFS块集。
& db.runCommand( { shardcollection : "test.fs.chunks", key :
{ _id : 1 } } )
{"ok" : 1}
配置shard key唯一：
db.runCommand( { shardcollection : "test.users" , key : { email
: 1 } , unique : true } );
6、相关操作命令，官方操作命令
1)、db.createCollection(name, { size : ..., capped : ..., max :
)创建非分布式数据集，相当于关系型数据库中的表，别看后面一堆参数，其实通常用的就db.createCollection(name)这个命令，比如
db.createCollection(“coll_1”)。
2)、db.coll_1.drop()，删数据集。
3)、db.coll_1.ensureIndex({"id":1})，第一个参数为字段名，第二参数值为1则索引为升序；-1则为降序。
db.coll_1.dropIndex(name)
删除指定的索引；db.coll_1.dropIndexes()删除所有索引；db.coll_1.getIndexes()查看索引信息。
4)、db.coll_1.count(query)；db.coll_1.find(query
)；db.coll_1.insert(obj)；db.coll_1.update(query, object[,
upsert_bool])；db.coll_1.save(obj)；db.coll_1.remove(query)。query 表达式的文档
两组分片（一组两台，一组一台）、三个config db、一个mongos，一台测试服务器。
首先建立数据库存放位置，这里只为测试，所以就在当前目录了，mkdir data
分别到mongodb的安装目录的bin/目录下启动mongodb
$ ./mongod --pairwith 10.13.127.212:18020 --dbpath data
--port 18020&&&
//启动第一组分片（10.13.127.211:18020）
$ ./mongod --pairwith 10.13.127.211:18020 --dbpath data
--port 18020&&&
//启动第一组分片（10.13.127.212:18020）
$ ./mongod --dbpath data --port
18020 && //启动第二组分片（10.13.127.210:18020）
$ ./mongod --configsvr --dbpath /var/mongodb/sky/18022
--port 18022 //启动config
server（10.13.127.210:1.127.211:1.127.212:18022）
$ ./mongos --configdb
10.13.127.210:.127.211:.127.212:18022 //启动mongos，指定config server
ps：config server可以配置多台，mongos启动时指定config
server，多个config server之间用英文逗号隔开，中间注意不要有空格，而且你会发现config
server的台数只能为单数不能是双数。在这里需要提的是，v1.4有个bug，如果一开始就mongos配置多台config，是有问题的。这时你执行./mongo命令，在执行show
dbs时就会报错：
JS Error: uncaught exception: error { "$err" : "mongos:
SyncClusterConnection::call can't handle $cmd" }.
解决方案有两个：
1）启动mongos时先只连一台config，貌似是可以初始化一下config，然后kill掉mongos再启动连多台config，就OK了。
2）这个bug已经在nightly修正了，下载版本时下载v1.4的nightly版本就行了。
言归正传，服务启动好了之后，可使用 ps -ef|grep
mongo查看运行情况，开始使用mongodb了。
$ ./mongo --host 10.13.127.211 &&&& // 连接到mongos上，可使用--port指定端口
& show dbs
& use admin & db.runCommand( { addshard :
"10.13.127.211:.127.212:18020",
allowLocal : true } ) //增加第一组分片&&
& db.runCommand( { addshard : "10.13.127.210:18020",
allowLocal : true } ) && //增加第二个分片
& db.runCommand({listshards:1}) //查看分片情况，会看到分片的信息，共两块
"_id" : ObjectId("4bd27bb39e2b00a5f7d5f0dd"),
"host" : "10.13.127.210:18020"
"_id" : ObjectId("4bd27bd39e2b00a5f7d5f0de"),
"10.13.127.211:.127.212:18020"
& config = connect("10.13.127.210:18022") &&&&&&& //连接config
server，需要在mongos服务器上操作
& config = config.getSisterDB("config") && //获取配置信息
db.getSisterDB("test")&&&&&&
//新增数据库test
& db.runCommand( { enablesharding : "test" }
& db.runCommand( { shardcollection : "test.people", key
: {name : 1} } ) && //建立分片数据集people
& db.printShardingStatus(); //查看分片状态信息，会看到shards和databases的详细信息，包括刚建立的test的主分片信息和test.people的分片信息。
{ "name" : "test", "partitioned" : true, "primary" :
"10.13.127.211:.127.212:18020",
"sharded" : { "test.people" : { "key" : { "name" : 1 }, "unique" :
false } }, "_id" : ObjectId("4bd2813fbaaab33a") }
test.people { "name" : { $minKey : 1 } } --&& { "name" : {
$maxKey : 1 } } on : 10.13.127.211:.127.212:18020 { "t" :
0, "i" : 1 }10.13.126.173:18020 { "t" : 0,
& use test&&&&
//进入test数据库
switched to db test
& db.createCollection("user_001") &&& //建立数据集user_001，该数据集与people数据集不一样，它不分片
{ "ok" : 1 }
& show collections &&&
//查看数据集情况
system.indexes
& db.people.insert({name:"sky_people",sex:"male",age:25});&& && //插入一条记录了
& db.people.find()
{ "_id" : ObjectId("4bbc38a39e8b5e76dcf4c5a3"), "name" :
"sky_people", "sex" : "male", "age" : 25 }
& db.user_001.insert({name:"Falcon.C",sex:"male",age:25});&&&
& db.user_001.find(); &&&&&&&& //查看记录
{ "_id" : ObjectId("4bbc371c9e8b5e76dcf4c5a2"), "name" : "sky",
"sex" : "female", "age" : 25 }
&db.people.stats() &&&&& //查看people数据集信息，刚才插入的数据放在
10.13.127.210:18020分片上&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&
"sharded" : true,
"ns" : "test.people",
"count" : 1,
"size" : 72,
"storageSize" : 8192,
"nindexes" : 2,
"nchunks" : 1,
"shards" : {
"10.13.127.211:.127.212:18020" : {
"ns" : "test.people",
"count" : 1,
& db.user_001.stats()&&&
&& //查看user_001数据集信息
"sharded" : false,
"ns" : "test.user_001",
"count" : 1,
"size" : 68,
当数据量增大到一定程度的时候（貌似是64M，即一个数据块的大小），数据块chunks开始分块，由一开始的一块变成多块时，数据块chunks就会开始迁移到其他分片了。
& db.printShardingStatus();&& //查看分片状态信息
{ "name" : "test", "partitioned" : true, "primary" :
"10.13.127.211:.127.212:18020",
"sharded" : { "test.people" : { "key" : { "name" : 1 }, "unique" :
false } }, "_id" : ObjectId("4bbcedcaebd990f") }
test.people { "name" : { $minKey : 1 } } --&& { "name" : 1103
} on : 10.13.127.211:.127.212:18020 { "t" :
0, "i" : 1 }
test.people { "name" : 1103 } --&& { "name" : 1259408 } on :
10.13.127.211:.127.212:18020 { "t" : 0, "i"
test.people { "name" : "sky_people" } --&& { "name" : {
$maxKey : 1 } } on : 10.13.127.210:18020 { "t" : 0, "i"
test.people { "name" :
} --&& { "name" :
on : 10.13.127.210:18020 { "t" : 0, "i" : 2 }
&db.people.stats()
"sharded" : true,
"ns" : "test.people",
"count" : 3384868,
"size" : ,
"storageSize" : ,
"nindexes" : 2,
"nchunks" : 33,
"shards" : {
"10.13.127.211:.127.212:18020" : {
"ns" : "test.people",
"count" : 3265179,
"size" : ,
"storageSize" : ,
"numExtents" : 32,
"nindexes" : 2,
"lastExtentSize" : ,
"paddingFactor" : 1,
"flags" : 1,
"totalIndexSize" : ,
"indexSizes" : {
"_id_" : ,
"name_1" :
"10.13.127.210:18020" : {
"ns" : "test.people",
"count" : 119689,
"size" : ,
"storageSize" : ,
"numExtents" : 15,
"nindexes" : 2,
"lastExtentSize" : ,
"paddingFactor" : 1,
"flags" : 1,
"totalIndexSize" : ,
"indexSizes" : {
"_id_" : 7159808,
"name_1" : 4866048
在单个服务器上，安装2个shards（shard:通常的datanode,这里也可以是一个目录），1个config db 和
一个mongos处理器。
步骤一：创建Shard
首先要启动两个mongod服务
$ mkdir /data/db/a /data/db/b
$ ./mongod --shardsvr --dbpath /data/db/a --port 27020 &
/tmp/sharda.log &
$ cat /tmp/sharda.log
$ ./mongod --shardsvr --dbpath /data/db/b --port 27021 &
/tmp/shardb.log &
$ cat /tmp/shardb.log
其次要启动配置服务器(configuration server)和mongos
$ mkdir /data/db/config
$ ./mongod --configsvr --dbpath /data/db/config --port 27022 &
/tmp/configdb.log &
$ cat /tmp/configdb.log
$ ./mongos --configdb localhost:27022 & /tmp/mongos.log
$ cat /tmp/mongos.log
mongos不需要一个数据存放的文件夹，但是需要将config server的port传递给它。
在一个真实的应用场景里，mongod
、mongos和configs应该在不同的服务器上。这里面的“localhost”,最好用
ip地址或者hostname代替。这里只是单机举个例子。
mongos 通过追加 --chunkSize (单位是M 例如 --chunkSize 1 代表每个chunk大小为1M)
$ ./mongos --configdb localhost:27022 --chunkSize 1 &
/tmp/mongos.log &
步骤二：建立集群喽
启动shell,需要连接到mongos上（这个默认的连接是 localhost:27017）
现在我们把两个shard加入到集群中：
$ ./mongo --port 27017
MongoDB shell version: 1.6.3
connecting to: test
& use admin
switched to db admin
& db.runCommand( { addshard : "localhost:10000" } )
{ "shardadded" : "shard0000", "ok" : 1 }
& db.runCommand( { addshard : "localhost:10001" } )
{ "shardadded" : "shard0001", "ok" : 1 }
下面你需要告诉数据库你想在数据库和数据集的级别来分散存放你的数据。
这个时候，你需要分配一个key(或分配多个keys)来划分partition.
这个和对一个collection建立一个索引是类似的。
& db.runCommand( { enablesharding : "test" } )
{"ok" : 1}
& db.runCommand( { shardcollection : "test.people", key : {name
{"ok" : 1}
步骤三：管理
通过config数据库，来查看集群状况
& use config
switched to db config
& show collections
system.indexes
这些collects包含了所有额sharding配置信息
转载请注明原文地址：MongoDB 分片
MongoDB 分片
Windows10用户联盟QQ群：
分片存储在多台机器上的数据记录的过程，它是MongoDB的方法来满足数据增长的需求。一台机器上的大小的数据的增加，可能并不足够来存储数据，也不能提供可接受的读取和写入通过。分片解决问题的水平缩放。通过分片，你添加更多的机器支持数据增长的读取和写入操作需求。
为什么要分片？
复制所有写转到掌握节点
延时敏感的查询还是到主节点
单副本集有12个节点的限制
内存不能足够大，当活动数据集很大
本地磁盘不够大
垂直缩放太贵
MongoDB分片
下面给出的图显示了在MongoDB中使用分片分片集群。
在上面给出的图中，有三个主要组成部分，这说明如下：
碎片:&碎片被用来存储数据。它们提供了高可用性和数据的一致性。在生产环境中，每个碎片是一个单独的副本集。
配置服务器:&配置服务器集群的元数据存储。该数据包含集群的数据碎片的映射。查询路由器使用这个元数据，操作具体的碎片。在生产环境中，有整整3分片集群配置服务器。
查询路由:&查询路由基本上是Mongos实例，客户端应用程序界面和直接操作相应的碎片。查询路由过程目标操作的碎片，然后将结果返回到客户端。分片集群可以包含多个查询路由来划分客户端请求负载。客户端发送请求到一个查询路由。一般分片集群有许多查询路由。
标签：&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&}

久游无息网