数据库

一个mongodb中可以建立多个数据库。

MongoDB的默认数据库为"db",该数据库存储在data目录中。

MongoDB的单个实例可以容纳多个独立的数据库,每一个都有自己的集合和权限,不同的数据库也放置在不同的文件中。

"show dbs" 命令可以显示所有数据的列表。

$ ./mongo
MongoDB shell version: 3.0.6
connecting to: test
> show dbs
local  0.078GB
test   0.078GB
> 

执行 "db" 命令可以显示当前数据库对象或集合。

$ ./mongo
MongoDB shell version: 3.0.6
connecting to: test
> db
test
> 

运行"use"命令,可以连接到一个指定的数据库。

> use local
switched to db local
> db
local
> 

以上实例命令中,"local" 是你要链接的数据库。

在下一个章节我们将详细讲解MongoDB中命令的使用。

数据库也通过名字来标识。数据库名可以是满足以下条件的任意UTF-8字符串。

有一些数据库名是保留的,可以直接访问这些有特殊作用的数据库。

文档(Document)

文档是一组键值(key-value)对(即 BSON)。MongoDB 的文档不需要设置相同的字段,并且相同的字段不需要相同的数据类型,这与关系型数据库有很大的区别,也是 MongoDB 非常突出的特点。

一个简单的文档例子如下:

{"site":"www.runoob.com", "name":"菜鸟教程"}

下表列出了 RDBMS 与 MongoDB 对应的术语:

RDBMS MongoDB
数据库 数据库
表格 集合
文档
字段
表联合 嵌入文档
主键 主键 (MongoDB 提供了 key 为 _id )
数据库服务和客户端
Mysqld/Oracle mongod
mysql/sqlplus mongo

需要注意的是:

  1. 文档中的键/值对是有序的。
  2. 文档中的值不仅可以是在双引号里面的字符串,还可以是其他几种数据类型(甚至可以是整个嵌入的文档)。
  3. MongoDB区分类型和大小写。
  4. MongoDB的文档不能有重复的键。
  5. 文档的键是字符串。除了少数例外情况,键可以使用任意UTF-8字符。

文档键命名规范:

集合

集合就是 MongoDB 文档组,类似于 RDBMS (关系数据库管理系统:Relational Database Management System)中的表格。

集合存在于数据库中,集合没有固定的结构,这意味着你在对集合可以插入不同格式和类型的数据,但通常情况下我们插入集合的数据都会有一定的关联性。

比如,我们可以将以下不同数据结构的文档插入到集合中:

{"site":"www.baidu.com"}
{"site":"www.google.com","name":"Google"}
{"site":"www.runoob.com","name":"菜鸟教程","num":5}

当第一个文档插入时,集合就会被创建。

合法的集合名

如下实例:

db.col.findOne()

capped collections

Capped collections 就是固定大小的collection。

它有很高的性能以及队列过期的特性(过期按照插入的顺序). 有点和 "RRD" 概念类似。

Capped collections 是高性能自动的维护对象的插入顺序。它非常适合类似记录日志的功能和标准的 collection 不同,你必须要显式的创建一个capped collection,指定一个 collection 的大小,单位是字节。collection 的数据存储空间值提前分配的。

Capped collections 可以按照文档的插入顺序保存到集合中,而且这些文档在磁盘上存放位置也是按照插入顺序来保存的,所以当我们更新Capped collections 中文档的时候,更新后的文档不可以超过之前文档的大小,这样话就可以确保所有文档在磁盘上的位置一直保持不变。

由于 Capped collection 是按照文档的插入顺序而不是使用索引确定插入位置,这样的话可以提高增添数据的效率。MongoDB 的操作日志文件 oplog.rs 就是利用 Capped Collection 来实现的。

要注意的是指定的存储大小包含了数据库的头信息。

db.createCollection("mycoll", {capped:true, size:100000})

元数据

数据库的信息是存储在集合中。它们使用了系统的命名空间:

dbname.system.*

在MongoDB数据库中名字空间 .system.* 是包含多种系统信息的特殊集合(Collection),如下:

集合命名空间 描述
dbname.system.namespaces 列出所有名字空间。
dbname.system.indexes 列出所有索引。
dbname.system.profile 包含数据库概要(profile)信息。
dbname.system.users 列出所有可访问数据库的用户。
dbname.local.sources 包含复制对端(slave)的服务器信息和状态。

对于修改系统集合中的对象有如下限制。

在{{system.indexes}}插入数据,可以创建索引。但除此之外该表信息是不可变的(特殊的drop index命令将自动更新相关信息)。

{{system.users}}是可修改的。 {{system.profile}}是可删除的。

MongoDB 数据类型

下表为MongoDB中常用的几种数据类型。

数据类型 描述
String 字符串。存储数据常用的数据类型。在 MongoDB 中,UTF-8 编码的字符串才是合法的。
Integer 整型数值。用于存储数值。根据你所采用的服务器,可分为 32 位或 64 位。
Boolean 布尔值。用于存储布尔值(真/假)。
Double 双精度浮点值。用于存储浮点值。
Min/Max keys 将一个值与 BSON(二进制的 JSON)元素的最低值和最高值相对比。
Array 用于将数组或列表或多个值存储为一个键。
Timestamp 时间戳。记录文档修改或添加的具体时间。
Object 用于内嵌文档。
Null 用于创建空值。
Symbol 符号。该数据类型基本上等同于字符串类型,但不同的是,它一般用于采用特殊符号类型的语言。
Date 日期时间。用 UNIX 时间格式来存储当前日期或时间。你可以指定自己的日期时间:创建 Date 对象,传入年月日信息。
Object ID 对象 ID。用于创建文档的 ID。
Binary Data 二进制数据。用于存储二进制数据。
Code 代码类型。用于在文档中存储 JavaScript 代码。
Regular expression 正则表达式类型。用于存储正则表达式。

下面说明下几种重要的数据类型。

ObjectId

ObjectId 类似唯一主键,可以很快的去生成和排序,包含 12 bytes,含义是:

MongoDB 中存储的文档必须有一个 _id 键。这个键的值可以是任何类型的,默认是个 ObjectId 对象

由于 ObjectId 中保存了创建的时间戳,所以你不需要为你的文档保存时间戳字段,你可以通过 getTimestamp 函数来获取文档的创建时间:

> var newObject = ObjectId()
> newObject.getTimestamp()
ISODate("2017-11-25T07:21:10Z")

ObjectId 转为字符串

> newObject.str
5a1919e63df83ce79df8b38f

字符串

BSON 字符串都是 UTF-8 编码。

时间戳

BSON 有一个特殊的时间戳类型用于 MongoDB 内部使用,与普通的 日期 类型不相关。 时间戳值是一个 64 位的值。其中:

在单个 mongod 实例中,时间戳值通常是唯一的。

在复制集中, oplog 有一个 ts 字段。这个字段中的值使用BSON时间戳表示了操作时间。

BSON 时间戳类型主要用于 MongoDB 内部使用。在大多数情况下的应用开发中,你可以使用 BSON 日期类型。

日期

表示当前距离 Unix新纪元(1970年1月1日)的毫秒数。日期类型是有符号的, 负数表示 1970 年之前的日期。

> var mydate1 = new Date()     //格林尼治时间
> mydate1
ISODate("2018-03-04T14:58:51.233Z")
> typeof mydate1
object
> var mydate2 = ISODate() //格林尼治时间
> mydate2
ISODate("2018-03-04T15:00:45.479Z")
> typeof mydate2
object

这样创建的时间是日期类型,可以使用 JS 中的 Date 类型的方法。

返回一个时间类型的字符串:

> var mydate1str = mydate1.toString()
> mydate1str
Sun Mar 04 2018 14:58:51 GMT+0000 (UTC) 
> typeof mydate1str
string

或者

> Date()
Sun Mar 04 2018 15:02:59 GMT+0000 (UTC)   
" />

MongoDB 基本语法–知识框架-概念详解

这篇文章主要介绍一下MongoDB的基本语法,以及在Windows系统下该如何使用,特别是一些简单的增删改查操作,这些使我们在爬虫的时候需要使用的知识,但是整体的框架还是需要了解一下

mongo框架图

MongoDB 基本语法

SQL术语/概念MongoDB术语/概念解释/说明
databasedatabase数据库
tablecollection数据库表/集合
rowdocument数据记录行/文档
columnfield数据字段/域
indexindex索引

MongoDB 数据库操作

一个mongodb中可以建立多个数据库。MongoDB的默认数据库为”db”,该数据库存储在data目录中。 MongoDB的单个实例可以容纳多个独立的数据库,每一个都有自己的集合和权限,不同的数据库也放置在不同的文件中。show dbs命令可以显示所有数据名称,“use”命令可以连接到一个指定的数据库,“db”命令可以显示当前数据库对象或集合的名字.

数据库也通过名字来标识。数据库名可以是满足以下条件的任意UTF-8字符串。

  • 不能是空字符串(””)。
  • 不得含有’ ‘(空格)、.、$、/、\和\0 (空字符)。
  • 应全部小写。
  • 最多64字节。
  • admin: 从权限的角度来看,这是”root”数据库。要是将一个用户添加到这个数据库,这个用户自动继承所有数据库的权限。一些特定的服务器端命令也只能从这个数据库运行,比如列出所有的数据库或者关闭服务器。
  • local: 这个数据永远不会被复制,可以用来存储限于本地单台服务器的任意集合
  • config: 当Mongo用于分片设置时,config数据库在内部使用,用于保存分片的相关信息。

创建用户

mongodb中的key加不加引号是都可以的,在mac下创建A用户之后是不能在继续创建别的用户的,必选要登录,但是在Windows上是可以的。还有一种情况就是,你创建了用户A权限root,用户B权限只读,你直接把A用户干死了,那么B用户就删不掉了,这就玩死了,所以不要这样玩。

use admin   切换到admin数据库中,创建用户必须在这个数据库中
db.createUser({user:'A',pwd:'12345',roles:['root']})   #创建A用户,权限为root
#不能再添加新的用户,必须要登录当前创建的用户
db.auth('A','12345')    #登录创建的A用户
db.createUser({user:'B',pwd:'12345',roles:[{db:'stu',role:'read'}]})  #创建用户B,db为集合名,权限为只读
show users    #显示当前用户
db.dropUser('A')    #删除A用户
 

那么如果你的电脑上装有robot3T的话可以很直观的看到结果,我们在cmd窗口运行命令,你打开robot3T就可以看到相关的数据已经修改了

集合操作

集合存在于数据库中,集合没有固定的结构,这意味着你在对集合可以插入不同格式和类型的数据,但通常情况下我们插入集合的数据都会有一定的关联性。

合法的集合名

  • 集合名不能是空字符串””。
  • 集合名不能含有\0字符(空字符),这个字符表示集合名的结尾。
  • 集合名不能以”system.”开头,这是为系统集合保留的前缀。
  • 用户创建的集合名字不能含有保留字符。有些驱动程序的确支持在集合名里面包含,这是因为某些系统生成的集合中包含该字符。除非你要访问这种系统创建的集合,否则千万不要在名字里出现$。 
use admin
db.stu.insert({name:'zjj'})    #会自动创建集合stu
db.stu.find()  #显示集合中的所有内容
db.createCollection('abc')  #创建集合
show collections   #查看所有的集合(表)
db.abc.drop()   #删除集合
#所有的操作都是在admin数据库中,可以切换其它数据库操作
 

文档(Document)内容操作

文档是一组键值(key-value)对(即 BSON)。MongoDB 的文档不需要设置相同的字段,并且相同的字段不需要相同的数据类型,这与关系型数据库有很大的区别,也是 MongoDB 非常突出的特点。

  1. 文档中的键/值对是有序的。
  2. 文档中的值不仅可以是在双引号里面的字符串,还可以是其他几种数据类型(甚至可以是整个嵌入的文档)。
  3. MongoDB区分类型和大小写。
  4. MongoDB的文档不能有重复的键。
  5. 文档的键是字符串。除了少数例外情况,键可以使用任意UTF-8字符。

文档键命名规范:

  • 键不能含有\0 (空字符)。这个字符用来表示键的结尾。
  • .和$有特别的意义,只有在特定环境下才能使用。
  • 以下划线”_”开头的键是保留的(不是严格要求的)。

增删改查操作

废话不多说,代码练习:

增
db.stu.insert({name:'wff',age:19,gender:'schoolboy'})  #插入一条数据
删
db.stu.remove({name:'zjj'})   #符合条件的都会删除
db.stu.remove({name:'zjj'},{justOne:true})  #删除符合条件的一个
db.stu.remove({})  #删除所有
改
db.stu.update({name:'zjj'},{$set:{age:18}}) #修改name为zjj,然后设置age为18,可以新增属性,也可以修改
db.stu.update({name:'zjj'},{$set:{gender:'schoolboy'}}) #添加zjj gender为schoolboy男生
db.stu.update({name:'wff'},{$set:{gender:'girlstudent'}}) #修改wff为girlstudent女生
db.stu.update({gender:'schoolboy'},{$set:{age:20}},{multi:true})  #修改所有的男生的age为20
db.stu.update({name:'zjj'},{$unset:{gender:''}})  #删除zjj的gender属性
查-基本查询
db.stu.find({gender:'schoolboy'}) 
db.stu.findOne({gender:'schoolboy'}) 
--比较运算
db.stu.find({age:{$gt:18}}) #年龄大于18
db.stu.find({age:{$lt:18}}) #年龄小于18
db.stu.find({age:{$gte:18}}) #年龄大于等于18
db.stu.find({age:{$lte:18}}) #年龄小于等于18
db.stu.find({age:{$ne:18}})  #年龄不等于18
db.stu.find({age:{$gt:18},gender:'schoolboy'}) #查找age大于18并且是男生
--逻辑查询
db.stu.find({$and:[{age:{$gt:18}},{gender:'schoolboy'}]}) #查找age大于18并且是男生  
db.stu.find({$or:[{age:{$gt:18}},{gender:'schoolboy'}]})  #查找age大于18或者是男生
db.stu.find({$and: [{$or:[{age:{$gt:18}},{like:'apple'}]},{gender:'schoolboy'} ] } )  #查找男生的age大于18或者喜欢apple 
--范围运算
db.stu.find({age:{$in:[18,28,22]}})  #查看age为list里面的值,不是区间
db.stu.find({age:{$nin:[18]}}) #查询age不是18的值
--正则表达式
db.stu.find({name:{$regex:'^x'}})  #根据正则查找,name以z开头
db.stu.find({name:/x/})
db.stu.find({name:/X/i}) #忽略大小写查找name以x开头的值
db.stu.find({name:{$regex:'X',$options:'i'}}) #忽略大小写查找name以x开头的
--定义函数
db.stu.find({
$where:function(){
    return this.age>18
}
})    #可以使用函数的方式查找age大于18的值,this相当于zhizhen
 

查询结果显示


db.stu.find.limit(2) #显示前2个
db.stu.find.skip(2) #跳过2个显示
db.stu.find.skip(2).limit(2) #没有先后顺序,都是skip优先
db.stu.find({},{name:1,age:1}) #投影,只显示name和age属性
db.stu.find({name:'zjj'}).count()  #统计name为zjj的数量
db.stu.count({name:'zjj'})
db.stu.find().sort({age:1}) #按照age升序排列
db.stu.find().sort({age:-1}) #按照age降序排列
db.stu.distinct('age')  #去重age
#由于我们刚才插入的没有like属性,内容太少,这里自己在编辑器里面写好复制过去也是可以的
#毕竟那么多括号,稍不注意就少东西了
 

复合查询

符合查询使用管道标准语法aggregate,不知道是什么没关系,我们先清空stu集合,然后插入10条数据,这里由于_id属性太长,所以我们可以修改一下


db.stu.insert({_id:1,name:'wff',age:44,gender:'girlstudent',like:'apple'})
db.stu.insert({_id:2,name:'qyl',age:11,gender:'schoolboy',like:'cat'})
db.stu.insert({_id:3,name:'xm',age:33,gender:'schoolboy',like:'dog'})
db.stu.insert({_id:4,name:'zs',age:22,gender:'girlstudent',like:'apple'})
db.stu.insert({_id:5,name:'wu',age:17,gender:'schoolboy',like:'cat'})
db.stu.insert({_id:6,name:'wb',age:12,gender:'schoolboy',like:'pig'})
db.stu.insert({_id:7,name:'xh',age:10,gender:'girlstudent',like:'cat'})
db.stu.insert({_id:8,name:'xl',age:33,gender:'girlstudent',like:'chicken'})
db.stu.insert({_id:9,name:'zjj',age:18,gender:'schoolboy',like:'chicken'})
db.stu.insert({_id:10,name:'wbd',age:21,gender:'girlstudent',like:'pig'}) 

管道的固定书写方法:

db.stu.aggregate([
    {管道1},
    {管道2},
    ...
])
 

就是跟自来水管一样,加上管道控制显示的内容。

$group分组
男女分组
db.stu.aggregate([{$group:{_id:"$gender"}}]) #通过_id显示分组,必须是_id
男女分组求年龄之和-男的年龄之和-女的年龄之和-$sum
db.stu.aggregate([
{$group:{_id:"$gender",sumage:{$sum:"$age"}}}
])
根据爱好分组,求最大年龄$max
db.stu.aggregate([
{$group:{_id:"$like",maxage:{$max:"$age"}}}
])
根据性别分组-并统计like  -$push
db.stu.aggregate([
{$group:{_id:"$gender",all_like:{$push:"$like"}}}
])
多个管道-按照男女分组,年龄age大于18,求男女各自的平均值 -$avg平均值
db.stu.aggregate([
{$match:{age:{"$gt":18}}},
{$group:{_id:"$gender",avgage:{$avg:"$age"}}}  
])
$proiect 投影 男女分组年龄大于19,显示各自之和和平均值,最后只显示和
db.stu.aggregate([
{$match:{age:{$lt:19}}},
{$group:{_id:"$gender",sumage:{$sum:"$age"},avgage:{$avg:"$age"}}},
{$project:{sumage:true}}
])
 
$sort排序  1升 -1降
db.stu.aggregate([
{$sort:{age:-1}}
])
$skip 跳过
$limit限制  在管道里面两者不能颠倒
db.stu.aggregate([
{$skip:1},
{$limit:2}
])
$unwind拆分list 
$push返回的是个list,可以用$unwind全部拆分
db.stu.aggregate([
{$group:{_id:"$gender",all_name:{$push:"$name"}}},
{$unwind:"$all_name"}
])
按照性别分组,年龄大于18,取出喜欢的宠物,并拆分
db.stu.aggregate([
{$match:{age:{"$gt":18}}},
{$group:{_id:"$gender",all_like:{$push:"$like"}}},
{$unwind:"$all_like"}
])
 
$match==find都是查找,区别在于find不能使用管道

备份数据库

位置就在本地
mongodump -h 127.0.0.1:2701(位置) -d admin(数据库名) -o E:\beifen 

恢复数据库

mongorestore -h 127.0.0.1:27017 -d admin --dir E:\beifen\stu 

导出数据库文件

stu是在admin数据库中
mongoexport -h 127.0.0.1:27017 -d admin -c stu(表名) -o E:\beifen\data.json  
mongoexport -h 127.0.0.1:27017 -d admin -c stu(表名) -o E:\beifen\data.csv --type csv -f name,like 

导入数据库文件

mongoimport -h 127.0.0.1:27017 -d admin -c stu --file E:\beifen\data.json  
备份、恢复、导出、导入操作退出mongodb执行,我因为这个搞了半天,左看右看代码没错啊

大数据存储

假设现在我们生成50万个数据存储到mongodb中去,可以使用js,简单了解:

[js] for (var a=0;a<500000;a++){ db.stu.insert({_id:a,user:"user_"+a,age:a}) }[/js]

数据很多需要一段时间,现在我们来分别看一下各自插入的时间

db.stu.count() 查看一下数据数量多少
db.stu.find()  #一页20页数据
_id
db.stu.find({_id:444444}).explain('executionStats')
user_
db.stu.find({user:"user_444444"}).explain('executionStats')
age
db.stu.find({age:444444}).explain('executionStats')
 

查看executionStats中的executionTimeMillis就是时间,单位毫秒,具体时间就不在显示了,自己测试,我电脑跑一个小时还没查进去。总之时间太慢,一般来说我们不会修改_id,都是自动生成的,所以我们将来可以设置内容的key为id,提高查询时间

设置user的id,age的id
db.stu.ensureIndex({user:1})
db.stu.ensureIndex({age:1})
查看索引 第一个是主键,第二个是user_1,第三个age_1
db.stu.getIndexes()
删除索引 名字不再是user,age了
db.stu.dropIndex('user_1')
db.stu.dropIndex('age_1') 

设置完索引就可以删掉了,主键是不能删的,也删不掉。整体就先总结这么多,够我们练习爬虫使用了,特别是写的时候注意不要少方括号,不用死记,用的时候查查也行。