IT基础架构(存储 数据库 服务器 虚拟化)专家服务
Oracle提供的一个集成的大数据解决方案
本文以BDA X6-2为例, Oracle BDA是一个开放的 , 多用途的集成系统, 用于Hadoop和NoSQL的处理Oracle BDA被设计成用于运行不同的工作负载 – 从单一的Hadoop工作负载(YARN, Spark, Hive
etc.)到交互式的, 全范围的使用Oracle Big Data SQL的SQL交互查询。这些功能既可以在本地部署也可以部署在Oracle大数据云上。
Oracle BDA提供了一个开放的环境, 用于革新的同时保持紧密的集成以及企业级的技术支持。组织可以部署外部软件来支持新功能 – 像图形分析, 自然语言处理以及欺诈监测。非Oracle组件的支持由各自的支持渠道提供, 而不是由Oracle提供。
BDA软件高阶概览
BDA X6-2包括软件:
操作系统:
其他:
Oracle Java JDK 8
MySQL Database Enterprise
Oracle Big Data Appliance Enterprise Manager Plug-In
Oracle R Distribution
Oracle NoSQL Database
* 受限的使用许可
** Oracle NoSQL数据库CE版本的支持不包含在BDA中。一个单独的Oracle NoSQL 数据库CE版本的支持订阅是必须的。
BDA X6-2 – 可选软件
Oracle Big Data SQL
Oracle Big Data Connectors:
Oracle Audit Vault and
Oracle Data Integrator
Oracle GoldenGate
Oracle NoSQL Database Enterprise Edition
Oracle Big Data Spatial and Graph
Oracle Big Data Discovery
硬件细节及规格:
满配:18个计算/存储节点
标配: 6个计算/存储节点
*每个节点配有:
每台机器配有:
2 x 32端口QDR InfiniBand Leaf交换机
1 x 36端口QDR InfiniBand Spine交换机
额外的硬件组件包括:
备件包括:
完整的安全性
数据安全是企业级大数据解决方案最关键的;BDA自身提供了强大的身份认证, 授权以及hadoop的数据审计。
强大的身份认证由kerberos提供。 这样确保了所有用户和系统的双向身份确认, 并且确保了欺诈服务被添加到系统中。
BDA利用Apache Sentry (一个Oracle开发人员作为创始人的开源项目) 去授权通过工具访问的SQL, 像Hive和Impala。通过交付和开发Sentry, Oracle交付了Hadoop可用的最高数据安全级别的BDA。
网络加密和静态数据加密都被包含在了BDA中并且有Oracle提供支持。BDA支持最新的静态数据创新加密, 并且通过一秘钥管理设施支持原始的HDFS加密。这个实现给HDFS所有数据开启了最牢固的安全保证。网络加密阻止了受保护的数据被嗅探并且可以通过BDA一键开启。
为了确保安全和数据访问合规, BDA集成了Oracle Audit Vault和数据库防火墙。Oracle Audit Vault代理预先安装在BDA里用于跟踪和审计Hadoop System上的数据访问。通过利用Oracle Audit Vault和数据库防火墙, 跨组织的所有审计被合并为一个单一的审计库来确保对所有数据全面的观察。
除了保证Hadoop系统的安全, Oracle Big Data SQL使组织可以在查询Hdaoop和NoSQL数据时利用数据库安全功能。结合了Oracle Big Data SQL的BDA交付了一个在所有大数据系统中最安全的系统。
简化的运维
Oracle Enterprise
BDA通过一键式的安装, 更新, 打补丁以及扩展工具 - Mammoth来进行简化的日常维护, 可以通过Mammoth快速部署更新 (通常每季度一次) 而不需要宕机时间。Mammoth同时还在Hadoop版本和自动服务管理进行Oracle测试的, 无缝的升级, 这样可以确保Hadoop主节点和数据节点最大的平衡。
Oracle为BDA提供了相关的支持, 给组织提供了一站式的硬件及软件 (包括所有的Cloudera软件) 以及任何额外的安装Oracle软件的服务。
灵活的配置
BDA设计为可以支持随着数据和增长的扩展。最初的大数据实施可能从BDA的初始版本开始。包含六个服务器的机柜完全的安装了整套的交换机以及电源适配器, 这是和BDA全配完全一致的。初始化版本的BDA以及交换机使得机器可以非常简单高效的进行扩展, 可以从一个单节点通过Oracle BDA的高容量节点加上InfiniBand设施扩展到更多个节点。
模块儿化的硬件构建块
除了在同一个机柜进行扩展以外, 多个机柜可以通过集成的InfiniBand组件构建更大的配置。可以通过连接InfiniBand线无阻碍的扩展到18个机柜, 而且不需要任何外部交换机, 并且更大块儿网络配置也是支持的而且不需要额外的交换机。InfiniBand的使用通过���少机柜转换构造需要从而极大的降低了大配置的花费成本。
BDA是多组织的, 它可以配置成一个单集群或者多集群。这样可以更好的根据客户的需要来部署开发, 测试和生产环境。
连通性和性能增强
Hadoop的表访问特性也是Oracle BDA的特性, 它可以将Oracle的数据库表转化到Hadoop中并且Spark数据源使用了从Oracle数据库到BDA的查询检查。
Hadoop的数据访问使用了Hive SQL, Spark SQL还有Hadoop以及Spark APIs在Oracle数据库进行直接的以及一致性的数据访问, 他们支持HCatalog, InputFormat, SerDes以及Storage Handler (外部表)。Oracle数据库中的数据通过安全连接被平行访问 (Kerberos, SSL, Oracle Wallet) 。
完善的平衡也是BDA的一个特性,它使得BDA的MapReduce jobs更好的处理偏离的数据。虽然默认的Hadoop分布式方法可以适当的减少大工作量的负载,但是它不能均匀的分配数据偏离的jobs的负载。完美的平衡是针对这个问题来进行发现和优化数据偏离。
集成软件:
Cloudera Enterprise 5 – 数据中心版支持:
Oracle Perfect Balance Oracle Table Access for Hadoop
Cloudera Navigator and Cloudera Back - up and Disaster Recovery (BDR)
Server - Advanced Edition*
Community Edition (CE)**
Database Firewall for Hadoop Auditing
Manager提供了一个入口点来管理整个系统 – 软件和硬件 – 提供了在组织中跨产品的连续性。为了给Hadoop提供更深入的管理能力, Enterprise Manager使用了上下文感知来与Cloudera Manager来集成。
(0755)88305803