MongoDB 基本语法–知识框架-概念详解

这篇文章主要介绍一下MongoDB的基本语法，以及在Windows系统下该如何使用，特别是一些简单的增删改查操作，这些使我们在爬虫的时候需要使用的知识，但是整体的框架还是需要了解一下

MongoDB 基本语法

MongoDB 数据库操作

一个mongodb中可以建立多个数据库。MongoDB的默认数据库为”db”，该数据库存储在data目录中。 MongoDB的单个实例可以容纳多个独立的数据库，每一个都有自己的集合和权限，不同的数据库也放置在不同的文件中。show dbs命令可以显示所有数据名称，“use”命令可以连接到一个指定的数据库，“db”命令可以显示当前数据库对象或集合的名字.

数据库也通过名字来标识。数据库名可以是满足以下条件的任意UTF-8字符串。

• 不能是空字符串（””)。
• 不得含有’ ‘（空格)、.、$、/、\和\0 (空字符)。
• 应全部小写。
• 最多64字节。

• admin： 从权限的角度来看，这是”root”数据库。要是将一个用户添加到这个数据库，这个用户自动继承所有数据库的权限。一些特定的服务器端命令也只能从这个数据库运行，比如列出所有的数据库或者关闭服务器。
• local: 这个数据永远不会被复制，可以用来存储限于本地单台服务器的任意集合
• config: 当Mongo用于分片设置时，config数据库在内部使用，用于保存分片的相关信息。

创建用户

mongodb中的key加不加引号是都可以的，在mac下创建A用户之后是不能在继续创建别的用户的，必选要登录，但是在Windows上是可以的。还有一种情况就是，你创建了用户A权限root，用户B权限只读，你直接把A用户干死了，那么B用户就删不掉了，这就玩死了，所以不要这样玩。

use admin   切换到admin数据库中,创建用户必须在这个数据库中
db.createUser({user:'A',pwd:'12345',roles:['root']})   #创建A用户，权限为root
#不能再添加新的用户，必须要登录当前创建的用户
db.auth('A','12345')    #登录创建的A用户
db.createUser({user:'B',pwd:'12345',roles:[{db:'stu',role:'read'}]})  #创建用户B，db为集合名，权限为只读
show users    #显示当前用户
db.dropUser('A')    #删除A用户
 

那么如果你的电脑上装有robot3T的话可以很直观的看到结果，我们在cmd窗口运行命令，你打开robot3T就可以看到相关的数据已经修改了

集合操作

集合存在于数据库中，集合没有固定的结构，这意味着你在对集合可以插入不同格式和类型的数据，但通常情况下我们插入集合的数据都会有一定的关联性。

合法的集合名

• 集合名不能是空字符串””。
• 集合名不能含有\0字符（空字符)，这个字符表示集合名的结尾。
• 集合名不能以”system.”开头，这是为系统集合保留的前缀。
• 用户创建的集合名字不能含有保留字符。有些驱动程序的确支持在集合名里面包含，这是因为某些系统生成的集合中包含该字符。除非你要访问这种系统创建的集合，否则千万不要在名字里出现$。　

use admin
db.stu.insert({name:'zjj'})    #会自动创建集合stu
db.stu.find()  #显示集合中的所有内容
db.createCollection('abc')  #创建集合
show collections   #查看所有的集合(表)
db.abc.drop()   #删除集合
#所有的操作都是在admin数据库中，可以切换其它数据库操作
 

文档(Document)内容操作

文档是一组键值(key-value)对(即 BSON)。MongoDB 的文档不需要设置相同的字段，并且相同的字段不需要相同的数据类型，这与关系型数据库有很大的区别，也是 MongoDB 非常突出的特点。

1. 文档中的键/值对是有序的。
2. 文档中的值不仅可以是在双引号里面的字符串，还可以是其他几种数据类型（甚至可以是整个嵌入的文档)。
3. MongoDB区分类型和大小写。
4. MongoDB的文档不能有重复的键。
5. 文档的键是字符串。除了少数例外情况，键可以使用任意UTF-8字符。

文档键命名规范：

• 键不能含有\0 (空字符)。这个字符用来表示键的结尾。
• .和$有特别的意义，只有在特定环境下才能使用。
• 以下划线”_”开头的键是保留的(不是严格要求的)。

增删改查操作

废话不多说，代码练习:

增
db.stu.insert({name:'wff',age:19,gender:'schoolboy'})  #插入一条数据
删
db.stu.remove({name:'zjj'})   #符合条件的都会删除
db.stu.remove({name:'zjj'},{justOne:true})  #删除符合条件的一个
db.stu.remove({})  #删除所有
改
db.stu.update({name:'zjj'},{$set:{age:18}}) #修改name为zjj，然后设置age为18，可以新增属性，也可以修改
db.stu.update({name:'zjj'},{$set:{gender:'schoolboy'}}) #添加zjj gender为schoolboy男生
db.stu.update({name:'wff'},{$set:{gender:'girlstudent'}}) #修改wff为girlstudent女生
db.stu.update({gender:'schoolboy'},{$set:{age:20}},{multi:true})  #修改所有的男生的age为20
db.stu.update({name:'zjj'},{$unset:{gender:''}})  #删除zjj的gender属性
查-基本查询
db.stu.find({gender:'schoolboy'}) 
db.stu.findOne({gender:'schoolboy'}) 
--比较运算
db.stu.find({age:{$gt:18}}) #年龄大于18
db.stu.find({age:{$lt:18}}) #年龄小于18
db.stu.find({age:{$gte:18}}) #年龄大于等于18
db.stu.find({age:{$lte:18}}) #年龄小于等于18
db.stu.find({age:{$ne:18}})  #年龄不等于18
db.stu.find({age:{$gt:18},gender:'schoolboy'}) #查找age大于18并且是男生
--逻辑查询
db.stu.find({$and:[{age:{$gt:18}},{gender:'schoolboy'}]}) #查找age大于18并且是男生  
db.stu.find({$or:[{age:{$gt:18}},{gender:'schoolboy'}]})  #查找age大于18或者是男生
db.stu.find({$and: [{$or:[{age:{$gt:18}},{like:'apple'}]},{gender:'schoolboy'} ] } )  #查找男生的age大于18或者喜欢apple 
--范围运算
db.stu.find({age:{$in:[18,28,22]}})  #查看age为list里面的值，不是区间
db.stu.find({age:{$nin:[18]}}) #查询age不是18的值
--正则表达式
db.stu.find({name:{$regex:'^x'}})  #根据正则查找，name以z开头
db.stu.find({name:/x/})
db.stu.find({name:/X/i}) #忽略大小写查找name以x开头的值
db.stu.find({name:{$regex:'X',$options:'i'}}) #忽略大小写查找name以x开头的
--定义函数
db.stu.find({
$where:function(){
    return this.age>18
}
})    #可以使用函数的方式查找age大于18的值，this相当于zhizhen
 

查询结果显示

db.stu.find.limit(2) #显示前2个
db.stu.find.skip(2) #跳过2个显示
db.stu.find.skip(2).limit(2) #没有先后顺序，都是skip优先
db.stu.find({},{name:1,age:1}) #投影，只显示name和age属性
db.stu.find({name:'zjj'}).count()  #统计name为zjj的数量
db.stu.count({name:'zjj'})
db.stu.find().sort({age:1}) #按照age升序排列
db.stu.find().sort({age:-1}) #按照age降序排列
db.stu.distinct('age')  #去重age
#由于我们刚才插入的没有like属性，内容太少，这里自己在编辑器里面写好复制过去也是可以的
#毕竟那么多括号，稍不注意就少东西了
 

复合查询

符合查询使用管道标准语法aggregate，不知道是什么没关系，我们先清空stu集合，然后插入10条数据，这里由于_id属性太长，所以我们可以修改一下

db.stu.insert({_id:1,name:'wff',age:44,gender:'girlstudent',like:'apple'})
db.stu.insert({_id:2,name:'qyl',age:11,gender:'schoolboy',like:'cat'})
db.stu.insert({_id:3,name:'xm',age:33,gender:'schoolboy',like:'dog'})
db.stu.insert({_id:4,name:'zs',age:22,gender:'girlstudent',like:'apple'})
db.stu.insert({_id:5,name:'wu',age:17,gender:'schoolboy',like:'cat'})
db.stu.insert({_id:6,name:'wb',age:12,gender:'schoolboy',like:'pig'})
db.stu.insert({_id:7,name:'xh',age:10,gender:'girlstudent',like:'cat'})
db.stu.insert({_id:8,name:'xl',age:33,gender:'girlstudent',like:'chicken'})
db.stu.insert({_id:9,name:'zjj',age:18,gender:'schoolboy',like:'chicken'})
db.stu.insert({_id:10,name:'wbd',age:21,gender:'girlstudent',like:'pig'}) 

管道的固定书写方法:

db.stu.aggregate([
    {管道1},
    {管道2},
    ...
])
 

就是跟自来水管一样，加上管道控制显示的内容。

$group分组
男女分组
db.stu.aggregate([{$group:{_id:"$gender"}}]) #通过_id显示分组，必须是_id
男女分组求年龄之和-男的年龄之和-女的年龄之和-$sum
db.stu.aggregate([
{$group:{_id:"$gender",sumage:{$sum:"$age"}}}
])
根据爱好分组，求最大年龄$max
db.stu.aggregate([
{$group:{_id:"$like",maxage:{$max:"$age"}}}
])
根据性别分组-并统计like  -$push
db.stu.aggregate([
{$group:{_id:"$gender",all_like:{$push:"$like"}}}
])
多个管道-按照男女分组，年龄age大于18，求男女各自的平均值 -$avg平均值
db.stu.aggregate([
{$match:{age:{"$gt":18}}},
{$group:{_id:"$gender",avgage:{$avg:"$age"}}}  
])
$proiect 投影 男女分组年龄大于19，显示各自之和和平均值，最后只显示和
db.stu.aggregate([
{$match:{age:{$lt:19}}},
{$group:{_id:"$gender",sumage:{$sum:"$age"},avgage:{$avg:"$age"}}},
{$project:{sumage:true}}
])
 

$sort排序  1升 -1降
db.stu.aggregate([
{$sort:{age:-1}}
])
$skip 跳过
$limit限制  在管道里面两者不能颠倒
db.stu.aggregate([
{$skip:1},
{$limit:2}
])
$unwind拆分list 
$push返回的是个list，可以用$unwind全部拆分
db.stu.aggregate([
{$group:{_id:"$gender",all_name:{$push:"$name"}}},
{$unwind:"$all_name"}
])
按照性别分组，年龄大于18，取出喜欢的宠物，并拆分
db.stu.aggregate([
{$match:{age:{"$gt":18}}},
{$group:{_id:"$gender",all_like:{$push:"$like"}}},
{$unwind:"$all_like"}
])
 

$match==find都是查找，区别在于find不能使用管道

备份数据库

mongodump -h 127.0.0.1:2701(位置) -d admin(数据库名) -o E:\beifen 

恢复数据库

mongorestore -h 127.0.0.1:27017 -d admin --dir E:\beifen\stu 

导出数据库文件

stu是在admin数据库中
mongoexport -h 127.0.0.1:27017 -d admin -c stu(表名) -o E:\beifen\data.json  
mongoexport -h 127.0.0.1:27017 -d admin -c stu(表名) -o E:\beifen\data.csv --type csv -f name,like 

导入数据库文件

mongoimport -h 127.0.0.1:27017 -d admin -c stu --file E:\beifen\data.json  

备份、恢复、导出、导入操作退出mongodb执行，我因为这个搞了半天，左看右看代码没错啊

大数据存储

假设现在我们生成50万个数据存储到mongodb中去，可以使用js，简单了解:

数据很多需要一段时间，现在我们来分别看一下各自插入的时间

db.stu.count() 查看一下数据数量多少
db.stu.find()  #一页20页数据
_id
db.stu.find({_id:444444}).explain('executionStats')
user_
db.stu.find({user:"user_444444"}).explain('executionStats')
age
db.stu.find({age:444444}).explain('executionStats')
 

查看executionStats中的executionTimeMillis就是时间，单位毫秒，具体时间就不在显示了，自己测试，我电脑跑一个小时还没查进去。总之时间太慢，一般来说我们不会修改_id，都是自动生成的，所以我们将来可以设置内容的key为id,提高查询时间

db.stu.ensureIndex({user:1})
db.stu.ensureIndex({age:1})
查看索引 第一个是主键，第二个是user_1，第三个age_1
db.stu.getIndexes()
删除索引 名字不再是user，age了
db.stu.dropIndex('user_1')
db.stu.dropIndex('age_1') 

设置完索引就可以删掉了，主键是不能删的，也删不掉。整体就先总结这么多，够我们练习爬虫使用了，特别是写的时候注意不要少方括号，不用死记，用的时候查查也行。