麒麟v10 上部署 TiDB v5.1.2 生产环境优化实践
858
2023-04-24
***,入门看这一篇足矣!
一、介绍
在介绍 *** 之前,我先介绍一下业务开发的时候遇到的痛点,以便大家对它有一个更加清晰的认识!
最近在用数据库存储数据的时候发现这么一个坑,例如从消息队列中监听消息的时候,原来的做法是将监听的消息json数据存储在数据库,以便好对异常消息数据进行追溯,消息内容使用text类型存储,起初因为数据内容很短,没啥毛病,但是当随着业务的扩展,收到的消息内容越来越长,最后发现数据库中的text字段类型无法很好的支持查询,于是在这个时候,就开始考虑采用更加合适的数据库来存储这种消息数据!
在经过一番讨论之后,对于这种 json 类型的消息数据的存储,大家一致认为采用 *** 是最佳的选择!
据官方介绍,*** 是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富、最像关系数据库的一款高性能的 NoSQL 数据库。
*** 将数据存储为一个文档,数据结构由键值(key=>value)对组成。
其中的文档类似于 JSON 对象。字段值可以包含其他文档、数组及文档数组,数据结构的支持非常灵活!
的确,在使用的过程当中,正如所介绍的,数据的存储和查询,性能极快,而且很好的满足我们的需求!
话不多说,下面我们就一起来了解一下,这款数据库应该如何使用!
二、环境配置
在学习它之前,我们需要先搭建好环境,*** 的安装也非常简单!
2.1、Windows 平台
如果你是 Windows 平台,*** 提供了可用于 32 位和 64 位系统的预编译二进制,安装基本是傻瓜式的操作,登录 *** 官网并且下载安装包,然后一步一步的操作即可!
2.2、Linux 平台
生产环境基本都是 Linux 平台,为了和生产保持一致,小编采用的服务器是CentOS7,安装过程也比较简单!
创建资源文件:
sudo vim /etc/yum.repos.d/mongodb-org-4.0.repo
编辑内容如下:
运行以下命令安装 mongodb:
sudo yum install -y mongodb-org
安装完成之后,配置mongod.conf允许远程连接
#编辑mongod.confvim /etc/mongod.conf#将net:bindIp: 127.0.0.1 改为 0.0.0.0net: bindIp:0.0.0.0
最后启动服务:
#开启服务systemctl start mongod#其他服务#关闭服务systemctl stop mongod#重启服务systemctl restart mongod#开机自启systemctl enable mongod
至此,环境配置已经完成!
三、数据库操作
*** 的数据操作,是开发人员接触最频繁的部分,第一次使用的时候,你会发现它和我们传统使用的 sql 脚本命令完全不同,但是又类似,下面我们就一起来深入的了解下!
3.1、进入 ***
进入 *** 服务很简单,输入如下命令即可进入!
mongo
例如,在CentOS里面输入命令之后,进入的服务界面如下:
3.2、创建数据库
*** 创建数据库的语法格式如下:
use DATABASE_NAME
如果数据库不存在,则创建数据库,否则切换到指定数据库。
输入如下命令,可以查询数据库列表:
#查询数据库列表show dbs#命令输出结果:adminconfiglocal
可以看到,当前 *** 有三个数据库!
输入如下命令,可以切换到admin数据库:
use admin
输入db命令,还可以查询当前数据库:
db
3.3、创建用户
默认的情况下,是没有用户的,也无法操作数据库,因此我们需要创建一个用户,同时给他分配权限!
3.3.1、创建一个管理员用户
创建一个用户、密码都是admin的用户,同时给这个用户分配userAdminAnyDatabase角色,指定的数据库为admin!
#创建一个admin用户db.createUser({ user: "admin", pwd: "admin", roles: [ { role: "userAdminAnyDatabase", db: "admin" } ]})
其中字段含义如下:
user:用户的名字;pwd:用户的密码;roles:指定用户的角色,可以用一个空数组给新用户设定空角色。roles 中的 role:指定角色。roles 中的 db:指定的数据库,例如上面中的角色userAdminAnyDatabase,只在 admin 数据库中可用。
角色在 *** 中,代表着某个用户是否有权限访问数据库或者操作数据库,理解这点非常重要!
*** 角色定义如下:
3.3.2、创建一个不受访问限制的超级用户
如果你想创建一个不受访问限制的超级用户,赋予root角色即可!
#创建超级用户db.createUser( { user:"root", pwd:"root", roles:["root"] })
3.3.3、创建一个业务数据库普通用户
如果你想创建一个业务数据库普通用户,例如只能访问test_db数据库,并且只负责数据的増查改删。
# 创建或者切换数据库到test_dbuse test_db# 创建一个test用户,并且只能访问test_db,对表只有读写权限db.createUser({ user: "test", pwd: "test", roles: [ { role: "readWrite", db: "test_db" } ]})
3.3.4、验证用户是否可以正常登录
对于刚刚创建的用户,我们怎么验证它是否能正常登录呢?命令也很简单!
db.auth("test","test")
如果返回是1表示鉴权正常!
3.3.5、查询当前数据库用户信息
查询创建的用户,命令也很简单!
# 查看创建的用户show users
3.3.6、修改用户密码
有些时候,我们会忘记密码,可通过如下方式进行修改!
#修改用户密码db.changeUserPassword("username", "xxxxx")
3.3.7、删除用户
如果某个用户需要停用,可通过如下方式进行删除
#切换指定数据库use test_db#删除用户db.dropUser('test')
3.3.8、删除数据库
如果某个数据库需要停用,可通过如下方式进行删除(只有超级管理员有权限删除)
#切换指定数据库use test_db#删除数据库db.dropDatabase()
3.4、创建集合
*** 并无表这个概念,而对应的定义叫:集合,我们在关系型数据库中看到的表数据,在 *** 中被定义为:文档,*** 也被很多人成为文档数据库!
在关系型数据库中,表数据是一行一行的存储,但是在 *** 中,可能不是这样,如果你存储的 json 非常复杂,嵌套很深,那么在 *** 中存储的行数,可能非常深,存储的时候类似我们在页面看到的父子表结构!
3.4.1、创建一个集合
*** 中使用 createCollection() 方法来创建集合。
语法格式:
db.createCollection(name, options)
参数说明:
name: 要创建的集合名称options: 可选参数, 指定有关内存大小及索引的选项
例如,在 test_db 数据库中创建 tb_user 集合:
# 切换到test_db数据库use test_db# 创建 tb_user 集合db.createCollection("tb_user")#输出结果{ "ok" : 1 }
如果要查看已有的集合,可以使用show collections命令!
show collections
下面是带有几个关键参数的createCollection()的用法,下面命令表示:创建固定集合tb_user,整个集合空间大小6142800KB, 文档最大个数为10000 个:
db.createCollection("tb_user", { capped : true, autoIndexId : true, size : 6142800, max : 10000 } )
在 *** 中,很多时候不需要手动创建集合。当你插入一个文档时,*** 会自动创建集合!
# 向集合tb_user 插入一条文档数据db.tb_user.insert({"name" : "张三"})#查询集合show collections# 输出结果tb_user
3.4.2、删除一个集合
*** 中使用 drop() 方法来删除集合。
语法格式:
db.collection.drop()
例如,删除在 test_db 数据库中 tb_user 集合:
# 切换到test_db数据库use test_db# 创建 tb_user 集合db.tb_user.drop()#输出结果true
3.4、创建文档
创建文档,类似我们在关系型数据库中,将数据插入到数据库,操作也很简单!
3.4.1、插入文档
*** 使用 insert() 或 save() 方法向集合中插入文档。
语法如下:
db.COLLECTION_NAME.insert(document)或db.COLLECTION_NAME.save(document)
save():如果_id主键存在则更新数据,如果不存在就插入数据。insert():若插入的数据主键已经存在,则会抛异常,提示主键重复,不保存当前数据。
例如,在test_db数据库的tb_user集合中,插入一条数据:
db.tb_user.insert({ name:"张三", age:18, gender:"男", tags: ['宅男', '技术控', '脱发严重']})
如果该集合不在该数据库中, *** 会自动创建该集合并插入文档。
查看已插入文档,命令如下:
#查询tb_user集合中的数据db.tb_user.find()# 输出结果{ "_id" : ObjectId("6022310f6b5e964b0a5916e6"), "name" : "张三", "age" : 18, "gender" : "男", "tags" : [ "宅男", "技术控", "脱发严重" ] }
当然,你还可以通过save()命令进行插入,如果不指定_id字段 save() 方法类似于 insert() 方法。如果指定 _id 字段,则会更新该 _id 的数据。
例如,将张三年龄更新到30岁!
db.tb_user.save({ _id: ObjectId("6022310f6b5e964b0a5916e6"), name:"张三", age:30, gender:"男", tags: ['宅男', '技术控', '脱发严重']})
查看文档:
db.tb_user.find()# 输出结果{ "_id" : ObjectId("6022310f6b5e964b0a5916e6"), "name" : "张三", "age" : 30, "gender" : "男", "tags" : [ "宅男", "技术控", "脱发严重" ] }
3.4.2、更新文档
*** 提供了 update() 和 save() 方法来更新集合中的文档。
语法格式如下:
db.collection.update(
query : update的查询条件,类似sql update查询内where后面的。update : update的对象和一些更新的操作符(如inc...)等,也可以理解为sql update查询内set后面的upsert : 可选,这个参数的意思是,如果不存在update的记录,是否插入objNew,true为插入,默认是false,不插入multi : 可选,mongodb 默认是false,只更新找到的第一条记录,如果这个参数为true,就把按条件查出来多条记录全部更新。
writeConcern :可选,抛出异常的级别。
例如,将张三年龄更新到22岁!
db.tb_user.update({'name':'张三'},{$set:{'age':22}})
查询已更新的数据:
db.tb_user.find()# 输出结果{ "_id" : ObjectId("602235216b5e964b0a5916e8"), "name" : "张三", "age" : 22, "gender" : "男", "tags" : [ "宅男", "技术控", "脱发严重" ] }
以上语句只会修改第一条发现的文档,如果你要修改多条相同的文档,则需要设置multi参数为true。
db.tb_user.update({'name':'张三'},{$set:{'age':22}},{multi:true})
3.4.3、删除文档
*** 中的remove()函数是用来移除集合中的数据
语法格式如下:
db.collection.remove(
query :(可选)删除的文档的条件。justOne : (可选)如果设为 true 或 1,则只删除一个文档,如果不设置该参数,或使用默认值 false,则删除所有匹配条件的文档。writeConcern :(可选)抛出异常的级别。
例如,删除姓名为张三的用户:
db.tb_user.remove({'name':'张三'})
查询数据是否被删除:
db.col.find()#结果为空
3.4.4、查询文档
*** 查询文档使用 find() 方法。
语法格式如下:
db.collection.find(query, projection)
query :可选,使用查询操作符指定查询条件projection :可选,使用投影操作符指定返回的键。查询时返回文档中所有键值, 只需省略该参数即可(默认省略)。
如果你需要以易读的方式来读取数据,可以使用 pretty() 方法,语法格式如下:
db.col.find().pretty()
首先我们插入几条数据,插入结果如下:
例如,查询一个性别为男的用户信息:
#单个条件查询,类似 sql语句中的 gender = '男'db.tb_user.find({"gender":"男"})
查询一个性别为男,姓名为张三的用户:
#多条件查询,类似 sql语句中的 gender = '男' and name = '李四'db.tb_user.find({"gender":"男","name":"李四"})
查询一个性别为男 或者 姓名为张三的用户:
#多条件查询,类似 sql语句中的 gender = '男' or name = '李四'db.tb_user.find({$or:[{"gender":"男"},{"name": "李四"}]})
查询一个性别为男 或者 姓名为张三,同时年龄大于30的用户:
#多条件查询,类似 sql语句中的 age > 30 and ( gender = '男' or name = '李四')db.tb_user.find({"age": {$gt:30}, $or:[{"gender":"男"},{"name": "李四"}]})
3.4.5、分页查询文档
如果需要分页查询集合数据,可以使用limit()和skip()函数,其中limit()表示读几条数据,skip()表示从第几条数据开始。
#从集合中的第三行数据开始,读2条数据返回db.tb_user.find({}).limit(2).skip(3)
3.4.6、文档排序
和关系型数据库一样,*** 可以使用sort()方法进行排序,通过参数指定排序的字段,并使用 1 和 -1 来指定排序的方式,其中 1 为升序排列,而 -1 是用于降序排列。
例如,查询tb_user文档,按照age进行升序排序!
db.tb_user.find({}).sort({"age":1})
3.5、创建索引
索引通常能够极大的提高查询的效率,如果没有索引,*** 在读取数据时必须扫描集合中的每个文件并选取那些符合查询条件的记录。
这种扫描全集合的查询效率是非常低的,特别在处理大量的数据时,查询可以要花费几十秒甚至几分钟,这对网站的性能是非常致命的。
3.5.1、创建索引
*** 使用 createIndex() 方法来创建索引,语法格式如下:
db.collection.createIndex(keys, options)
语法中 Key 值为你要创建的索引字段,1 为指定按升序创建索引,如果你想按降序来创建索引指定为 -1 即可!
例如,给tb_user文档中的age创建一个索引!
db.tb_user.createIndex({"age":1})
创建索引是一个比较耗时的动作,我们还可以通过参数配置,在后台创建索引。
db.tb_user.createIndex({"age":1}, {background: true})
通过在创建索引时加background:true的选项,让创建工作在后台执行!
3.5.2、查看索引
*** 提供了getIndexes()方法,可以进行查看索引。
例如,查询tb_user集合中的索引:
db.tb_user.getIndexes()
3.5.3、删除索引
不在需要的索引,我们可以将其删除。删除索引时,可以删除集合中的某一索引,可以删除全部索引。
语法格式:
db.COLLECTION_NAME.dropIndex("INDEX-NAME")
例如,删除集合tb_user集合中的age索引:
#查询索引db.tb_user.getIndexes()#输出结果[ { "v" : 2, "key" : { "_id" : 1 }, "name" : "_id_", "ns" : "test_db.tb_user" }, { "v" : 2, "key" : { "age" : 1 }, "name" : "age_1", "ns" : "test_db.tb_user" }]
删除对应的age_1索引!
db.tb_user.dropIndex("age_1")
四、客户端
对于任何一款数据库,如果没有可视化界面操作,在开发的时候,可以说极其不方便,下面推荐一款小编经常使用的一款客户端。
Robo 3T(免费、轻量级) ,可以访问官网获取
Studio 3T(全面,收费),访问官网地址获取
其中小编采用的是第二款,整体的体验比Robo 3T要一点,两者功能都比较齐全!
在使用的时候,可以根据个人喜爱进行选择!
五、重要的一步
网上发现很多 mongodb 被黑,使大家将目光投向了mongodb 的权限控制。
其实 mongodb 本身有一套完备的 RBAC 权限控制体系,这次被黑基本都是没有遵照 mongodb 的生产环境部署手册部署的结果。
我们平时玩一玩 mongodb 习惯了不设置用户名密码,当我们的数据库放到公网时,由于我们也没有设置用户名密码,任何人都可以随便访问,而且由于我们没有开启授权访问,使得任何登录到 mongodb 服务器的用户都拥有最高权限!
一些居心不良的人发现,就可以把我们的数据拷走,删除我们的数据库,从而勒索赎金!
再次提醒各位同学,别学会所有的技能,大门还一直开着,还抱怨我方防御塔怎么一直被摧毁!
以上文CentOS7安装为例,修改/etc/mongod.conf,在security部分添加如下配置,开启授权访问!
security: authorization: enabled
修改完成之后,重启 mongodb 服务:
#重启服务systemctl restart mongod
六、小结
本文主要围绕 *** 的使用,从环境配置、数据库使用,再到客户端工具选用,做了简单的介绍。
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。