麒麟v10 上部署 TiDB v5.1.2 生产环境优化实践
791
2023-12-15
导读:很多朋友问到关于如何选择物联网数据库的相关问题,本文首席CTO笔记就来为大家做个详细解答,供大家参考,希望对大家有所帮助!一起来看看吧!大数据常用哪些数据库通常数据库分为关系型数据库和非关系型数据库,关系型数据库的优势到现在也是无可替代的,比如MySQL、***、***、***、SyBase、Informix、***以及比较小型的Access等等数据库,这些数据库支持复杂的SQL操作和事务机制,适合小量数据读写场景;但是到了大数据时代,人们更多的数据和物联网加入的数据已经超出了关系数据库的承载范围。
大数据时代初期,随着数据请求并发量大不断增大,一般都是采用的集群同步数据的方式处理,就是将数据库分成了很多的小库,每个数据库的数据内容是不变的,都是保存了源数据库的数据副本,通过同步或者异步方式保证数据的一致性,每个库设定特定的读写方式,比如主数据库负责写操作,从数据库是负责读操作,等等根据业务复杂程度以此类推,将业务在物理层面上进行了分离,但是这种方式依旧存在一定的负载压力的问题,企业数据在不断的扩增中,后面就采用分库分表的方式解决,对读写负载进行分离,但是这种实现依旧存在不足,且需要不断进行数据库服务器扩容。
NoSQL数据库大致分为5种类型1、列族数据库:BigTable、***、***、Amazon SimpleDB、HadoopDB等,下面简单介绍几个(1)***:***是一个列存储数据库,支持跨数据中心的数据复制。
它的数据模型提供列索引,log-structured修改,支持反规范化,实体化视图和嵌入超高速缓存(2)***:Apache Hbase源于Google的Bigtable,是一个开源、分布式、面向列存储的模型。
在Hadoop和HDFS之上提供了像Bigtable一样的功能(3)Amazon SimpleDB:Amazon SimpleDB是一个非关系型数据存储,它卸下数据库管理的工作开发者使用Web服务请求存储和查询数据项。
(4)Apache Accumulo:Apache Accumulo的有序的、分布式键值数据存储,基于Google的BigTable设计,建立在Apache Hadoop、Zookeeper和Thrift技术之上。
(5)Hypertable:Hypertable是一个开源、可扩展的数据库,模仿Bigtable,支持分片(6)Azure Tables:Windows Azure Table Storage Service为要求大量非结构化数据存储的应用提供NoSQL性能。
表能够自动扩展到TB级别,能通过REST和Managed API访问2、键值数据库:Redis、SimpleDB、Scalaris、Memcached等,下面简单介绍几个(1)Riak:Riak是一个开源,分布式键值数据库,支持数据复制和容错。
(2)Redis:Redis是一个开源的键值存储支持主从式复制、事务,Pub/Sub、Lua脚本,还支持给Key添加时限(3)Dynamo:Dynamo是一个键值分布式数据存储它直接由亚马逊Dynamo数据库实现;在亚马逊S3产品中使用。
(4)*** NoSQL Database:来自***的键值NoSQL数据库它支持事务ACID(原子性、一致性、持久性和独立性)和JSON(5)*** NoSQL Database:具备数据备份和分布式键值存储系统。
(6)Voldemort:具备数据备份和分布式键值存储系统(7)Aerospike:Aerospike数据库是一个键值存储,支持混合内存架构,通过强一致性和可调一致性保证数据的完整性3、文档数据库:***、CouchDB、Perservere、Terrastore、RavenDB等,下面简单介绍几个。
(1)***:开源、面向文档,也是当下最人气的NoSQL数据库(2)CounchDB:Apache CounchDB是一个使用JSON的文档数据库,使用Javascript做MapReduce查询,以及一个使用HTTP的API。
(3)Couchbase:NoSQL文档数据库基于JSON模型(4)RavenDB:RavenDB是一个基于.NET语言的面向文档数据库(5)MarkLogic:MarkLogic NoSQL数据库用来存储基于XML和以文档为中心的信息,支持灵活的模式。
4、图数据库:Neo4J、InfoGrid、OrientDB、GraphDB,下面简单介绍几个(1)***:***是一个图数据库;支持ACID事务(原子性、独立性、持久性和一致性)(2)InfiniteGraph:一个图数据库用来维持和遍历对象间的关系,支持分布式数据存储。
(3)AllegroGraph:AllegroGraph是结合使用了内存和磁盘,提供了高可扩展性,支持SPARQ、RDFS++和Prolog推理5、内存数据网格:Hazelcast、*** Coherence、Terracotta BigMemorry、GemFire、Infinispan、GridGain、GigaSpaces,下面简单介绍几个。
(1)Hazelcast:Hazelcast CE是一个开源数据分布平台,它允许开发者在数据库集群之上共享和分割数据(2)*** Coherence:***的内存数据网格解决方案提供了常用数据的快速访问能力,一致性支持事务处理能力和数据的动态划分。
(3)Terracotta BigMemory:来自Terracotta的分布式内存管理解决方案这项产品包括一个Ehcache界面、Terracotta管理控制台和BigMemory-Hadoop连接器。
(4)GemFire:Vmware vFabric GemFire是一个分布式数据管理平台,也是一个分布式的数据网格平台,支持内存数据管理、复制、划分、数据识别路由和连续查询(5)Infinispan:Infinispan是一个基于Java的开源键值NoSQL数据存储,和分布式数据节点平台,支持事务,peer-to-peer 及client/server 架构。
(6)GridGain:分布式、面向对象、基于内存、SQL+NoSQL键值数据库支持ACID事务(7)GigaSpaces:GigaSpaces内存数据网格能够充当应用的记录系统,并支持各种各样的高速缓存场景。
物联网需要什么样的数据库应该是像几年前提倡的智慧医疗一样 用大数据驱动智能产品帮助管理设备运行状态 能够通过大数据采取最佳的运行方式物联网终端设备的数据库怎样设计物联网终端由外围感知接口,中央处理模块和外部通讯接口三个部分组成,通过外围感知接口与传感设备连接,如RFID读卡器,红外感应器,环境传感器等,将这些传感设备的数据进行读取并通过中央处理模块处理后,按照网络协议,通过外部通讯接口
物联网方案中数据库这一部分是怎么处理的,包括搭建和维护数据量大采用分布式数据库、数据量小正常搭建数据库服务器就行了,海量数据采用云存储结语:以上就是首席CTO笔记为大家整理的关于如何选择物联网数据库的相关内容解答汇总了,希望对您有所帮助!如果解决了您的问题欢迎分享给更多关注此问题的朋友喔~
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。