Hadoop 到底是什么？愤世嫉俗者的理论

任何看起来好得令人难以置信的事情通常都是如此。Apache Hadoop可能就是这种情况，这是一个人人都在谈论的大肆宣传的开源项目。那么这个东西到底是什么？好问题！

 

专家存疑

Third Nature 的分析师 Mark Madsen 不久前在 InsideAnalysis.com 上发表了一篇精辟的文章：“ Hadoop 是什么。Hadoop 不是什么。” 作为一个知道如何设计现实世界的解决方案，然后实际部署它们的人，他的建议不应被忽视。

但这里有一股更深层次的潮流在流动，是时候挖掘这种迷人植物群的根源了，看看我们是否不能从更宏观的层面上了解正在发生的事情。毕竟，供应商一直说这是一件大事，而且参与者也很多。

 

雇用提交者！（？）

目前，三个公司占据了 Hadoop 新兴市场的大部分：Cloudera、Hortonworks 和 MapR。在最近通过 Boulder BI Brain Trust (#BBBT) 进行的颇具争议的简报中，Hortonworks 的 Jim Walker 发表了以下奇怪的评论：

“如果不雇用提交者，就无法推进技术！”

再来？

 

这听起来不像帕尔帕廷参议员在星球大战电影中可能会说的话吗？

帕尔帕廷参议员：“雇用提交者！”
旁边的小黄人：“但是，但是，先生！想想孩子们吧！”

对于那些只是想把事情做好的外行人来说，提交者是致力于特定开源项目的人。Apache 基金会有严格的协议来推动他们的项目，这通常是一件好事。

也就是说，沃克的评论值得检验。一个尖锐的问题（冒着想象游乐场日的风险）是：这是一种承诺还是一种威胁？他是说 Hortonworks 可能会拿着球回家吗？

合作还是竞争？

这里有趣但又矛盾的角度是，据报道，Hadoop 团队的大多数提交者（总共大约 30 人）来自 Hortonworks 和 Cloudera——他们是竞争对手。这是一个非常奇怪的竞争案例。

那么，到底是怎么回事呢？这是一个有根据的猜测：Hadoop 的名气很大程度上归功于一群硅谷风险投资家和工程师构思的一个聪明计划，他们本质上是试图对冲 Oracle 的赌注。

总的想法是为市场奠定基础的代码，这些代码的基础可以由一群乌合之众的开发人员来增强和支持，随着时间的推移，理想情况下，他们将创建各种类型的数据管理工具，包括数据库产品。风险投资公司有一天可以投资并套现。但游戏中也存在一些严峻的挑战。

与所有大型企业一样，甲骨文经常发现自己成为许多较小企业的瞄准目标。谁不想从他们令人麻木的收入中分一杯羹呢？仅在上个季度，甲骨文就录得约 90 亿美元。但挑战大红色和击败他们是两个截然不同的现实。

免费网络广播：什么是 Hadoop，它将走向何方？ 与 Eric Kavanagh、Robin Bloor 和 Techopedia 一起讨论 Hadoop 与 Linux 或 SOA 有何巨大不同，以及为什么它的未来在很大程度上还没有定论。

 

包装问题

Hadoop 本身的特点是它无论如何都不是一个打包的解决方案。相反，它是一个复杂的模块集合，使高质量的程序员能够利用大规模并行处理算法来完成非常具体的事情。但没有精美的用户界面，而且手册也很残酷。

除了这一挑战之外，还有一个关键障碍：您还需要至少对其功能有大致了解的业务人员。这些人必须能够想出如何使用它的想法，然后与开发人员沟通，开发人员随后必须生产、测试​​、实施和支持应用程序。

编排这种舞蹈是 Cloudera 和 Hortonworks 赚钱的方式。问题是，通过这种方法创建的大多数解决方案都是独特的，并且通常侧重于操作系统而不是分析系统。翻译？类似的东西并不真正适合打包软件产品。

包装盈利！

这让我们回到了甲骨文。拉里·埃里森和孩子们以销售数据库技术、硬件、服务和（等等……）打包软件为生。Cloudera 显然已经意识到了这一点，因此他们将重点放在了 Impala 上。但霍顿工厂呢？

他们的模式似乎更接近 RedHat 的模式，RedHat 在 Linux 操作系统之上建立了价值数十亿美元的业务。企业软件行业的主要供应商没有一家不为 Linux 编写软件，IBM 正是通过 Linux 操作系统击败了微软。但 Hadoop 绝对不是 Linux。

Geoffrey Malafsky 博士是美国海军的前纳米技术专家，现在是 Phasic Systems 和 PSIKORS 研究所的数据科学家，他总结了 Hadoop 的价值主张，如下所示：

• “Hadoop 非常适合搜索、随机结果的大型趋势分析，以及可能像我前妻以前所做的一些非常便宜的巧妙并行处理：固态和化学反应的量子力学波函数计算。这门真正的科学依赖于在超级计算机上并在某种程度上转向并行处理，但这是编程方法的一个艰难改变。年轻、聪明、充满活力的研究生将是实现这一目标的人。我怀疑研究资助开始朝这个方向发展，用于一些高性能计算应用程序。”

您会注意到，这听起来不像数据仓库、商业智能、数据集成甚至大数据。听起来像是超级计算。由于一些有趣的原因，高性能计算和商业智能的世界从未真正以任何有意义的方式发生冲突或合并。

Hortonworks 和 Cloudera 的未来还有很长的路要走

对于 Hortonworks 和 Cloudera 来说，这确实是个坏消息。像 IBM、SAP、Oracle 和 Teradata 这样的大供应商——温和地说，并引用 Dire Straits 的话：“他们并不傻！” 三年前，他们都推出了严肃的 Hadoop 战略。

这些计划的核心是业务用户期望的东西：图形用户界面、拖放功能、建模和发现工具、工作流程、治理、安全性；简而言之，就是使企业软件可用的所有细节。当然，这些大供应商拥有庞大的安装基础。

可以肯定的是，Cloudera 和 Hortonworks 都获得了不错的业务，但只是这些主要参与者每年获得的业务的一小部分。计算一下挑战者向客户收取的费用与他们可能的管理费用相比，情况并不那么乐观。诚然，这对于早期软件问题来说是正常的，但仍然……

Hadoop 的未来？

那么，我们是否会看到经典的收购浪潮，就像我们过去的收购浪潮一样，IBM 收购了 Cognos，Oracle 收购了 Hyperion，SAP 收购了 BusinessObjects？也许吧，但是这个领域的新人并不拥有 Hadoop；他们拥有的是 Hadoop。他们只是借用它。尽管 YARN 和 Tez 可能很有前途，但发布周期似乎落后于重量级产品。

就在前几天，一位业内人士评论说，阿帕奇的政治可能是一个严重的瓶颈。这并不奇怪，尤其是当你考虑到所涉及的资金时——创新者有很大的动力致富。有谁注意到Chrome最近在功能和可操作性上似乎超越了Firefox？闭源，有人吗？

有一点是肯定的：这场比赛将会以一些有趣的方式展开。是的，哺乳动物（读作：小商贩）常常能跑得比恐龙快。但世界各地仍然有短吻鳄和鳄鱼；如果您无意中发现了一颗牙齿，您可能会发现这些牙齿有多么锋利。几只鳄鱼在一起甚至可以击倒一两只大象。