StreamSets 很高兴宣布与Oracle 云基础设施 (OCI)建立新的合作关系。随着企业将大数据负载迁移到云中, 他们的数据操作必须更具弹性和适应性, 以继续满足业务需求。这就是为什么 StreamSets 数据 Collector™现在可以轻松部署到 OCI 的原因。
是什么把我们引向这一点的？存在一些基本问题, 如没有最新数据的企业数据中心 (EDH) 有什么好处？没有大量数据源的 EDH 有什么好处呢？这导致了 “如何在快节奏的 DevOps 世界中以软件开发速度管理数据工程” 的后续问题？如何从 Oracle、流式处理日志文件和批处理 SFTP 转储中管理更改数据捕获 (CDC), 而不使用大型和混乱的工具集？
为了回答所有这些问题, StreamSets 创建了第一个完整的 DataOps (devops 用于数据集成) 平台, 以此来赞美 DevOps 工具集的故障快速世界 (如基于云的 EDH 部署)。在 Oracle 云中运行 StreamSets 以支持 Cloudera 企业数据中心 (EDH) 提供了一个将 DevOps 应用于数据以利用大数据项目价值的极好示例。
在我们了解这个例子的样子以及它是如何在一起运作的之前, 解释一下为什么这个不太可能的三重奏会在一开始就被组装起来, 以及如何回答是很有帮助的。为什么 Oracle 云运行 Cloudera？
由于 oci 越来越受欢迎, 更广泛的用例呈现自己, 我们看到 Hadoop 部署变得非常适合于 OCI。这是因为 Oracle 云确实有一些非常重要的技巧, 它的袖子对第二代云提供商来说是独一无二的。俗话说, “先锋得到箭, 定居者得到土地……” 事实证明, 也适用于云计算。首先, 有一些严重的性能激励措施, 如 OCI 的裸机计算和每个节点的50TB 本地 NVMe 存储 (或每个节点的一 pb 块存储)相比传统云虚拟机提供了大约40% 的性能。, 或者该 OCI 是唯一一个在任何两个节点 (这里为 SLA) 之间提供保证25Gbps 连接的云提供商。其次, OCI 集成了 Oracle 的身份和访问管理 (IAM) 套件和 “隔离舱” 的独特用途 (本质上是子云, 可实现跨区域扩展的更高安全性和计费)。最后, Oracle 和 Cloudera 之间的独特合作是一个额外的好处。具体来说, 这一合作伙伴关系的云部分, 体现在他们持续支持改造脚本的存储库中, 从而能够快速、支持启动和管理大量用于开发或生产的节点。
改造和 Oracle/Cloudera 持续支持其公开可用的脚本以快速提供环境的重要性不容低估。改造使用户能够以声明方式创建不可变的基础结构, 并且与在程序、基于代理的配置管理工具 (如 Chef 或木偶) 中可能发现的根本不同。对于那些不熟悉改造的人来说, 它是一种开源的高级配置语言, 它可以创建和执行计划, 通过任何流行的云或本地环境中的 api 构建潜在的无限数量的基础设施。使用Oracle 和 Cloudera 支持的改造脚本, 部署高性能的 N 节点 EDH 就像对脚本进行任何必要的更改一样简单, 并写入 CLI “改造 init & & 改造计划& & 改造应用
cloudera.com/partners/solutions/streamsets.html “rel =” nofollow “目标 =” _blank “-cloudera 和 streamsets 之间的伙伴关系。StreamSets 通过其 DataOps 平台轻松进行数据摄取和数据移动。像 StreamSets 数据收集器 (数据执行平面) 和 StreamSets 控制 Hub™ (控制平面) 这样的工具可串联工作, 因此组织可以集中开发数据管道, 并自动实现内部或外部相同管道的分布式实施。Hadoop 集群。此外, 像 StreamSets 数据 Protector™和 StreamSets 流性能 Manager™这样的工具将发现和保护流中的敏感数据, 或者提供围绕流数据可用性和/或质量的服务级别协议。所有这些工具汇集在一起, 可以实现数据移动的快速迭代, 这是一种安全、可预测且可扩展的方式, 可确保 EDH 对业务用户的持续价值。
使用此存储库作为 StreamSets、Oracle 和 Cloudera 的打包产品, 体验 DevOps plus DataOps 的速度和威力。一旦您通过 Oracle 云上的改造为您的 EDH 集群提供了 StreamSets, 接下来的步骤就可以成为您选择的冒险!您可以创建数据管道作为微服务,将 CDC 日志流到您的 EDH, 甚至流式传输来自 Salesforce api 的数据, 以便在Minecraft中实现可视化。DataOps 的世界等待着你的探索!
这是3部分系列中的第一个, 接下来我们将深入了解我们如何在 OCI 和改造的价值 StreamSets 上运行, 最后 StreamSets 和 Cloudera 如何在裸机 oci 与其他云供应商之间进行操作。在此期间, 您可以阅读 Oracle 对此处集成的看法。