400-616-5551

您所在位置: 首页> 学习课程> 大数据培训 | 大数据时代的数据库

大数据培训 | 大数据时代的数据库

发布百知教育 来源:学习课程 2019-11-26

大数据怎么和数据库扯上了


大数据不应该首先想到的是Hadoop吗?



在传统概念中,传统关系型数据库主要应用在OLTP(On-Line Transaction Processing联机事务处理过程)等,以交易为核心的业务,通常是关键交易型业务而非大数据这种分析型业务。


但是不知道大家注意到没有:新的O记12cR2的一个重要特性就是迎合大数据应用的需要,提供从数据仓库到大数据的支持。“一个数据库同时支持OLTP和OLAP(Online Analytical Processing, 联机实时分析) ,不需要划分在线/离线的业务。”


如今,关系型数据库可以保存任何类型的数据,能够支持关系型数据SQL查询,也能够提供针对Hadoop、对象存储的NoSQL查询能力,还可以访问JSON格式的数据。



这不就是一个

大数据分析的解决方案吗?


MPP+Shared nothing数据库


数据库领域的大牛Michael Stonebraker说过:传统数据库架构是30年前,以OLTP应用为主设计的。如今,大数据属于OLAP,应采用新技术架构。


新技术思路是应该由“一种架构支持所有应用”转变成“多种架构支持多类应用”。


传统数据库给人一个印象就是价格昂贵。数据库在数据一致性、可靠性、安全性等技术环节上所表现出来的水平,让数据库适用于关键业务应用,以及分析报表等。但如果普及到低价值业务,会显得投资成本高昂。


但大数据的特点有所不同,其中很重要一点就是它的价值密度比较低,需要的存储容量会比较大,有时会达到PB级。如此一来,传统关系型数据库,数据进不去、查不出、存不下和扩容难等问题就暴露无遗。


针对传统关系型数据库存在的问题,需要一种新的构建于x86开放平台上的MPP(Massively Parallel Processing)架构+shared nothing架构的企业级数据库来面向企业级市场。


于是,新型数据库应需而生。那么,新型数据库都有哪些关键特性呢?


1、与传统数据仓库产品使用专有硬件不同,新型数据库运行在通用X86服务器上,采用MPP+shared nothing架构,因而能够具备良好的扩展性。可以在不中断业务的前提下,实现数据库的在线扩容。


这个扩容采用表级扩容机制,即完即用,支持未扩容表与已扩容表之间关联分析;通过引入一套增量机制记录扩容重分布过程中的数据修改(增删改),待基线数据重分布完成后,将增量数据Merge到扩容后的集群中;提供任务自动等待Retry机制,确保新旧数据切换业务不中断、无感知。


2、MPP节点间并行+SMP单机多核并行+列存向量化指令集并行+LLVM机器码编译等技术,可以充分发挥集群硬件资源,能够达到万亿级数据查询秒级响应的能力。其中通用X86服务器上,可以提供弹性集群、跨代兼容等特性,避免硬件锁定。


3、在架构设计上,硬件中磁盘、交换机、网卡等均采用高可用设计;软件上则采用全组件高可靠架构,协调节点多活,数据节点独创主+备+切换三重数据保护,GTM(Global Transaction Management)等进程采用主备方案。可以确保集群中任意一个节点故障业务不中断。


4、支持通过SQL访问HDFS上的数据,支持全文检索,从而为数据业务创新,提供简单易用的技术途径和手段。


很多时候,大数据应用无需拘泥于技术路径之争,适合自己就好。与数据库相比,Hadoop能够提供更加细颗粒度的数据分析,有些用户也是利用Hadoop来解决传统数据库数据分析性能不足的问题。但反之,很多时候,数据建模需要很多目前用户不具备的技术能力,这也成为了用户接受大数据最难以逾越的障碍之一,此时新型数据库也许是用户的更理想选择。


任何技术应用要和应用的场景进行对应,用户根据自身的情况选择最合适技术路线才是明智之选。


注释:本文来自公众号华讯市场观察


大数据培训班:http://www.baizhiedu.com/bigdata2019












上一篇:作为一名程序员,你真正了解CDN技术吗?

下一篇:应届生去公司找个Java程序员的职位需要什么技能?

相关推荐

www.baizhiedu.com

有位老师想和您聊一聊

关闭

立即申请