这篇文章主要介绍一下MongoDB的基本语法,以及在Windows系统下该如何使用,特别是一些简单的增删改查操作,这些使我们在爬虫的时候需要使用的知识,但是整体的框架还是需要了解一下

MongoDB 基本语法
SQL术语/概念 | MongoDB术语/概念 | 解释/说明 |
---|---|---|
database | database | 数据库 |
table | collection | 数据库表/集合 |
row | document | 数据记录行/文档 |
column | field | 数据字段/域 |
index | index | 索引 |
MongoDB 数据库操作
一个mongodb中可以建立多个数据库。MongoDB的默认数据库为”db”,该数据库存储在data目录中。 MongoDB的单个实例可以容纳多个独立的数据库,每一个都有自己的集合和权限,不同的数据库也放置在不同的文件中。show dbs命令可以显示所有数据名称,“use”命令可以连接到一个指定的数据库,“db”命令可以显示当前数据库对象或集合的名字.

数据库也通过名字来标识。数据库名可以是满足以下条件的任意UTF-8字符串。
- 不能是空字符串(””)。
- 不得含有’ ‘(空格)、.、$、/、\和\0 (空字符)。
- 应全部小写。
- 最多64字节。
- admin: 从权限的角度来看,这是”root”数据库。要是将一个用户添加到这个数据库,这个用户自动继承所有数据库的权限。一些特定的服务器端命令也只能从这个数据库运行,比如列出所有的数据库或者关闭服务器。
- local: 这个数据永远不会被复制,可以用来存储限于本地单台服务器的任意集合
- config: 当Mongo用于分片设置时,config数据库在内部使用,用于保存分片的相关信息。
创建用户
mongodb中的key加不加引号是都可以的,在mac下创建A用户之后是不能在继续创建别的用户的,必选要登录,但是在Windows上是可以的。还有一种情况就是,你创建了用户A权限root,用户B权限只读,你直接把A用户干死了,那么B用户就删不掉了,这就玩死了,所以不要这样玩。
use admin 切换到admin数据库中,创建用户必须在这个数据库中
db.createUser({user:'A',pwd:'12345',roles:['root']}) #创建A用户,权限为root
#不能再添加新的用户,必须要登录当前创建的用户
db.auth('A','12345') #登录创建的A用户
db.createUser({user:'B',pwd:'12345',roles:[{db:'stu',role:'read'}]}) #创建用户B,db为集合名,权限为只读
show users #显示当前用户
db.dropUser('A') #删除A用户

那么如果你的电脑上装有robot3T的话可以很直观的看到结果,我们在cmd窗口运行命令,你打开robot3T就可以看到相关的数据已经修改了
集合操作
集合存在于数据库中,集合没有固定的结构,这意味着你在对集合可以插入不同格式和类型的数据,但通常情况下我们插入集合的数据都会有一定的关联性。
合法的集合名
- 集合名不能是空字符串””。
- 集合名不能含有\0字符(空字符),这个字符表示集合名的结尾。
- 集合名不能以”system.”开头,这是为系统集合保留的前缀。
- 用户创建的集合名字不能含有保留字符。有些驱动程序的确支持在集合名里面包含,这是因为某些系统生成的集合中包含该字符。除非你要访问这种系统创建的集合,否则千万不要在名字里出现$。
use admin
db.stu.insert({name:'zjj'}) #会自动创建集合stu
db.stu.find() #显示集合中的所有内容
db.createCollection('abc') #创建集合
show collections #查看所有的集合(表)
db.abc.drop() #删除集合
#所有的操作都是在admin数据库中,可以切换其它数据库操作
文档(Document)内容操作
文档是一组键值(key-value)对(即 BSON)。MongoDB 的文档不需要设置相同的字段,并且相同的字段不需要相同的数据类型,这与关系型数据库有很大的区别,也是 MongoDB 非常突出的特点。
- 文档中的键/值对是有序的。
- 文档中的值不仅可以是在双引号里面的字符串,还可以是其他几种数据类型(甚至可以是整个嵌入的文档)。
- MongoDB区分类型和大小写。
- MongoDB的文档不能有重复的键。
- 文档的键是字符串。除了少数例外情况,键可以使用任意UTF-8字符。
文档键命名规范:
- 键不能含有\0 (空字符)。这个字符用来表示键的结尾。
- .和$有特别的意义,只有在特定环境下才能使用。
- 以下划线”_”开头的键是保留的(不是严格要求的)。
增删改查操作
废话不多说,代码练习:
增
db.stu.insert({name:'wff',age:19,gender:'schoolboy'}) #插入一条数据
删
db.stu.remove({name:'zjj'}) #符合条件的都会删除
db.stu.remove({name:'zjj'},{justOne:true}) #删除符合条件的一个
db.stu.remove({}) #删除所有
改
db.stu.update({name:'zjj'},{$set:{age:18}}) #修改name为zjj,然后设置age为18,可以新增属性,也可以修改
db.stu.update({name:'zjj'},{$set:{gender:'schoolboy'}}) #添加zjj gender为schoolboy男生
db.stu.update({name:'wff'},{$set:{gender:'girlstudent'}}) #修改wff为girlstudent女生
db.stu.update({gender:'schoolboy'},{$set:{age:20}},{multi:true}) #修改所有的男生的age为20
db.stu.update({name:'zjj'},{$unset:{gender:''}}) #删除zjj的gender属性
查-基本查询
db.stu.find({gender:'schoolboy'})
db.stu.findOne({gender:'schoolboy'})
--比较运算
db.stu.find({age:{$gt:18}}) #年龄大于18
db.stu.find({age:{$lt:18}}) #年龄小于18
db.stu.find({age:{$gte:18}}) #年龄大于等于18
db.stu.find({age:{$lte:18}}) #年龄小于等于18
db.stu.find({age:{$ne:18}}) #年龄不等于18
db.stu.find({age:{$gt:18},gender:'schoolboy'}) #查找age大于18并且是男生
--逻辑查询
db.stu.find({$and:[{age:{$gt:18}},{gender:'schoolboy'}]}) #查找age大于18并且是男生
db.stu.find({$or:[{age:{$gt:18}},{gender:'schoolboy'}]}) #查找age大于18或者是男生
db.stu.find({$and: [{$or:[{age:{$gt:18}},{like:'apple'}]},{gender:'schoolboy'} ] } ) #查找男生的age大于18或者喜欢apple
--范围运算
db.stu.find({age:{$in:[18,28,22]}}) #查看age为list里面的值,不是区间
db.stu.find({age:{$nin:[18]}}) #查询age不是18的值
--正则表达式
db.stu.find({name:{$regex:'^x'}}) #根据正则查找,name以z开头
db.stu.find({name:/x/})
db.stu.find({name:/X/i}) #忽略大小写查找name以x开头的值
db.stu.find({name:{$regex:'X',$options:'i'}}) #忽略大小写查找name以x开头的
--定义函数
db.stu.find({
$where:function(){
return this.age>18
}
}) #可以使用函数的方式查找age大于18的值,this相当于zhizhen
查询结果显示
db.stu.find.limit(2) #显示前2个
db.stu.find.skip(2) #跳过2个显示
db.stu.find.skip(2).limit(2) #没有先后顺序,都是skip优先
db.stu.find({},{name:1,age:1}) #投影,只显示name和age属性
db.stu.find({name:'zjj'}).count() #统计name为zjj的数量
db.stu.count({name:'zjj'})
db.stu.find().sort({age:1}) #按照age升序排列
db.stu.find().sort({age:-1}) #按照age降序排列
db.stu.distinct('age') #去重age
#由于我们刚才插入的没有like属性,内容太少,这里自己在编辑器里面写好复制过去也是可以的
#毕竟那么多括号,稍不注意就少东西了
复合查询
符合查询使用管道标准语法aggregate,不知道是什么没关系,我们先清空stu集合,然后插入10条数据,这里由于_id属性太长,所以我们可以修改一下
db.stu.insert({_id:1,name:'wff',age:44,gender:'girlstudent',like:'apple'})
db.stu.insert({_id:2,name:'qyl',age:11,gender:'schoolboy',like:'cat'})
db.stu.insert({_id:3,name:'xm',age:33,gender:'schoolboy',like:'dog'})
db.stu.insert({_id:4,name:'zs',age:22,gender:'girlstudent',like:'apple'})
db.stu.insert({_id:5,name:'wu',age:17,gender:'schoolboy',like:'cat'})
db.stu.insert({_id:6,name:'wb',age:12,gender:'schoolboy',like:'pig'})
db.stu.insert({_id:7,name:'xh',age:10,gender:'girlstudent',like:'cat'})
db.stu.insert({_id:8,name:'xl',age:33,gender:'girlstudent',like:'chicken'})
db.stu.insert({_id:9,name:'zjj',age:18,gender:'schoolboy',like:'chicken'})
db.stu.insert({_id:10,name:'wbd',age:21,gender:'girlstudent',like:'pig'})
管道的固定书写方法:
db.stu.aggregate([
{管道1},
{管道2},
...
])
就是跟自来水管一样,加上管道控制显示的内容。
$group分组
男女分组
db.stu.aggregate([{$group:{_id:"$gender"}}]) #通过_id显示分组,必须是_id
男女分组求年龄之和-男的年龄之和-女的年龄之和-$sum
db.stu.aggregate([
{$group:{_id:"$gender",sumage:{$sum:"$age"}}}
])
根据爱好分组,求最大年龄$max
db.stu.aggregate([
{$group:{_id:"$like",maxage:{$max:"$age"}}}
])
根据性别分组-并统计like -$push
db.stu.aggregate([
{$group:{_id:"$gender",all_like:{$push:"$like"}}}
])
多个管道-按照男女分组,年龄age大于18,求男女各自的平均值 -$avg平均值
db.stu.aggregate([
{$match:{age:{"$gt":18}}},
{$group:{_id:"$gender",avgage:{$avg:"$age"}}}
])
$proiect 投影 男女分组年龄大于19,显示各自之和和平均值,最后只显示和
db.stu.aggregate([
{$match:{age:{$lt:19}}},
{$group:{_id:"$gender",sumage:{$sum:"$age"},avgage:{$avg:"$age"}}},
{$project:{sumage:true}}
])
$sort排序 1升 -1降
db.stu.aggregate([
{$sort:{age:-1}}
])
$skip 跳过
$limit限制 在管道里面两者不能颠倒
db.stu.aggregate([
{$skip:1},
{$limit:2}
])
$unwind拆分list
$push返回的是个list,可以用$unwind全部拆分
db.stu.aggregate([
{$group:{_id:"$gender",all_name:{$push:"$name"}}},
{$unwind:"$all_name"}
])
按照性别分组,年龄大于18,取出喜欢的宠物,并拆分
db.stu.aggregate([
{$match:{age:{"$gt":18}}},
{$group:{_id:"$gender",all_like:{$push:"$like"}}},
{$unwind:"$all_like"}
])
$match==find都是查找,区别在于find不能使用管道
备份数据库
位置就在本地mongodump -h 127.0.0.1:2701(位置) -d admin(数据库名) -o E:\beifen
恢复数据库
mongorestore -h 127.0.0.1:27017 -d admin --dir E:\beifen\stu
导出数据库文件
stu是在admin数据库中
mongoexport -h 127.0.0.1:27017 -d admin -c stu(表名) -o E:\beifen\data.json
mongoexport -h 127.0.0.1:27017 -d admin -c stu(表名) -o E:\beifen\data.csv --type csv -f name,like
导入数据库文件
mongoimport -h 127.0.0.1:27017 -d admin -c stu --file E:\beifen\data.json
备份、恢复、导出、导入操作退出mongodb执行,我因为这个搞了半天,左看右看代码没错啊
大数据存储
假设现在我们生成50万个数据存储到mongodb中去,可以使用js,简单了解:
[js] for (var a=0;a<500000;a++){ db.stu.insert({_id:a,user:"user_"+a,age:a}) }[/js]数据很多需要一段时间,现在我们来分别看一下各自插入的时间
db.stu.count() 查看一下数据数量多少
db.stu.find() #一页20页数据
_id
db.stu.find({_id:444444}).explain('executionStats')
user_
db.stu.find({user:"user_444444"}).explain('executionStats')
age
db.stu.find({age:444444}).explain('executionStats')
查看executionStats中的executionTimeMillis就是时间,单位毫秒,具体时间就不在显示了,自己测试,我电脑跑一个小时还没查进去。总之时间太慢,一般来说我们不会修改_id,都是自动生成的,所以我们将来可以设置内容的key为id,提高查询时间
设置user的id,age的iddb.stu.ensureIndex({user:1})
db.stu.ensureIndex({age:1})
查看索引 第一个是主键,第二个是user_1,第三个age_1
db.stu.getIndexes()
删除索引 名字不再是user,age了
db.stu.dropIndex('user_1')
db.stu.dropIndex('age_1')
设置完索引就可以删掉了,主键是不能删的,也删不掉。整体就先总结这么多,够我们练习爬虫使用了,特别是写的时候注意不要少方括号,不用死记,用的时候查查也行。
2. 本站不保证所提供下载的资源的准确性、安全性和完整性,资源仅供下载学习之用!如有链接无法下载、失效或广告,请联系客服处理!
3. 您必须在下载后的24个小时之内,从您的电脑中彻底删除上述内容资源!如用于商业或者非法用途,与本站无关,一切后果请用户自负!