数字转换正在对许多组织的 it 方法进行检修, 数据是它的核心。因此, 组织在如何管理、存储和处理这些数据方面正经历着重大的转变。
为了在不那么遥远的过去管理大数据, 企业通过使用 Cloudera、Hortonworks 或 MapR 等商业分布在前提下构建 Hadoop 群集来处理大量数据。
分析的数据大多是结构化的, 需要提前大量的资本支出来购买必要的硬件。在这一点上, Hadoop 是一个复杂的基础设施来管理和监控, 要求组织雇佣具有专门技能的个人, 这些技能是难得的。
为了解决这些问题, 许多组织一直在寻找云。然而, 对于大多数组织来说, 将大型数据项目移动到云计算上所承诺的好处还没有实现, 因此, 数据湖泊仍被留在了内部。
朝向云彩
通过创建或迁移其大型数据体系结构到云, 组织可以利用巨大的操作成本节约, 几乎无限的数据处理能力, 以及云提供的即时缩放选项。此外, 他们不必在前面有大量的资本支出或担心有对 Hadoop 的熟悉。
许多企业正在经历这种 “提升和转移”, 他们将其内部的数据群集移动到云中。但从历史上看, 这也伴随着自身固有的问题, 而将大型数据项目移动到云中的许多挑战都集中在了正确的位置。
它归结于技能和成本
将大数据移动到云中听起来很简单。但是, 将前提数据湖泊迁移到云中, 然后将基于云的大型数据环境与不同的数据源连接起来, 同时还要创建 Apache 火花管道来转换数据, 需要高度的技术知识和连续的编码。来自数据工程师和核心 IT 组的资源。
开发人员必须编写代码, 以便与每个应用程序的编程接口 (API) 和身份验证机制集成, 从而使数据能够在应用程序和数据湖之间自由移动。这不仅是一个令人难以置信的耗时的过程, 它也容易出错, 两个现实在云计算的大型数据项目的维护阶段被放大。
与任何其他软件项目一样, 代码随着时间的推移而衰减, 必须进行更新。如果编写代码的开发人员离开了公司, 通常 IT 组织理解代码级别使用的管线的能力也会消失。
在移动到基于云计算的大型数据项目中, 组织必须克服的最大问题之一是, 这一次对关键 IT 人员的流失。需要进行密集的管理和监测, 最终会导致业务成本高昂、时间价值更长、战略不采取任何措施来解决正在稳步出现的 OpEx 和技能缺口。
寻找具有必要技能和经验的人来构建大数据和云管道是一个艰难的过程。不出所料, 这会受到 IT 领域当前技术差距的影响。
从 Experis 的研究显示, 对大数据技术的需求和专业人士在过去一年增长了 78%, 而对云计算技能和专业人才的需求却在同一时间范围内增长了30%。
有了这些人在这么短的供应, 如果你确实有他们在你的 IT 团队, 让他们只专注于管理和维护大的数据环境, 在前, 期间, 和后迁移到云, 坦率地说是浪费资源。它对移动到云成本的第二大问题也有很大的影响。专注于更高价值的任务和项目, 这将有助于组织的创新。云的灵活性和可伸缩性在推动创新方面可能是一个巨大的好处。但是, 如果团队只专注于基础结构管理以使大型数据项目工作, 那么在云迁移开始时确定的建议创新时间将永远不会实现。
购买 vs 生成
解决这个问题的方法相对简单, 所有这些都归结为购买 vs 构建。除非你是谷歌, 否则你可能不会自我构建你的 IT 产业的方方面面。那么, 为什么你要自己建立你需要的所有连接呢？
为了使大型数据项目更快地在云中蓬勃发展, 组织应考虑实现完全受管理的数据体系结构, 包括数据集成 (iPaaS)、处理 (BDaaS) 和存储 (SaaS)。
通过这样做, 组织应该能够毫不费力地将大型数据集从其基于云的数据湖中提供, 而不管数据来自何处。这种方法还可以通过在添加信息和转换数据的同时消除繁琐的手动任务来提高生产率, 从而使团队能够集中精力于那些交付活动的价值。
通过使用自助服务支持此托管数据体系结构, 组织可以在 IT 团队中腾出更多时间。自助服务集成使企业能够快速、轻松地创建没有编码的自动化数据管道, 自助分析使分析人员和业务用户可以轻松地操作数据, 而无需 it 干预。
通过使用这样的自助工具, 不仅是那些完全充实了 it 团队才能从中受益的组织, 而且那些努力招募编码人才的企业也可以开发自己的云大数据管道, 作为其托管数据体系结构的一部分。云。
删除复杂性
在云中运行大型数据项目应该很简单。所有的组织, 无论大小, 都应该能够实现云提供的所有好处, 一旦他们起来运行, 而不是多年的线。只有在规划阶段后退一步, 消除云迁移和集成的复杂性, 企业才能最终能够利用其大型数据项目进行创新并提供业务价值。
最初发表在数据中心审查。