新的分析技术的承诺中，让它变得更加以数据为驱动是大多数IT决策者这些日子头脑中思考的事。麻省Milford的一家IT策略咨询公司企业战略集团（(ESG）的数据副总裁和资深分析师Julie Lockner在最近一份关于大数据对分析的影响的报告中说：“有一半以上的企业投票表明分析成为他们在IT上首要考虑的五件事之首”。
“在大数据准备带来的承诺上”, Lockner说“企业正探索解决新兴数据技术上业务所面临的挑战上的选择。用在大数据时代之前设计的传统 (数据库) 平台和技术已是不切合实际或不划算了。”
Apache的 Hadoop进入市场，该开源软件框架的创造者用他儿子的玩具大象为其命名。据Lockner称，Hadoop的高度可扩展使它能在大数据集上有效地运行分析，无论数据是结构化还是非结构化的。
“在传统数据库达到它们的上限时，Hadoop因为更适合于解决独特分析所面对的挑战而开始兴起,”Lockner说。“因为数据可以由多种来源与不同类型的数据结构组成，Hadoop能够在一个平台上在多种数据之间更行更多的分析，解决了通常与关系型数据仓库架构有关的一些棘手的数据整合的挑战。”
数据仓库技术的外在限制
银行 (515亿美元的总资产) 的安全小组来说，在Hadoop的世界开始先锋之旅是如此的具有挑战。“在 2008年中期我们就遇到了我们传统数据仓库技术的上限," Zions公司融合安全机构的首席安全官员Preston Wood回忆说，该机构负责节制八大名牌银行业务和遍及美国西部的500个实体点的安全威胁。
Wood说，他们于2009年起为寻求一种解决方案，调查了Zion公司现在使用的微软和Oracle 的技术,以及市场上其他技术公司和新的解决方案。他说，在开发了六个可能的供应商的名单之后，他和他的团队迅速集中于两个基于Hadoop的解决方案。Wood解释道，团队认识到Hadoop “基于挖掘商业智能（BI）并将它与安全设备上的事件数据相结合，主动而不是被动地做出安全决策方面的”的潜能。
Wood说，在 Hadoop的产品中，加州山景城的Zettaset的安全数据仓库 (SDW) 提供了最成熟的企业解决方案。当时,“Hadoop的市场比现在更小，更不成熟,”他评论道。“因为我们自己不想变成Hadoop专家，我们的合作伙伴能提供企业级解决方案和持续进化平台的路线图就很重要了。”
然而采用SDW并是放弃所有的传统技术, 如安全信息和事件管理(SIEM)工具，Wood补充道。“它并不是取代了传统的SIEM，而是增加了它的功能,”他说。“SIEM已成为安全数据仓库的一种主要来源。”
ESG的Lockner指出，一套综合的方法是关键。“Hadoop并不打算替代当前的事务处理系统或成熟的数据仓库,”她说。“恰恰相反，它是一种平台，让数据处理的任务转向更有效的选择。"
Zions 最终在2010年末与Zettaset成交，在2011年之初开始部署。虽然Zettaset现在将它的SDW作为成套项目或纯软件的解决方案，那时需要Zions在基础设施上进行投资。在Zettaset的协助下，银行的Wood报告说，Zions选定了一种高性能服务器和交换机形成的一种30个结点，能存储成百上千的字节并扩展到多个PB字节的基于Linux 的Hadoop生态系统的混合物。
在SDW安装于新硬件上后，开始了向新系统的迁移。“安装硬件和软件设施只花了30天左右。” Wood 说：“经过几个月的迁移，我们开始了低风险的决策和报表流程，提升了工作。”
为Hadoop部署做好准备
Wood感谢了他的团队为迅速推出进行了预先的准备工作。“他们做了家庭作业并自我教育,”他说。“所以我们没有机构变革的问题。而且为了达到最少的消化吸收和操作上的挑战，Zettaset确保对流程进行了适当地修改。”
事实上,事先主动地学习Hadoop对于部署成与败至关重要,专家强调。“让一小部分的技术娴熟的团队开始学习Hadoop是很重要的” ESG的 Lockner说。“通常情况下,Hadoop项目的失败是因为一个团队在真正认识其功能之前就开始部署它…而且缺乏业务案例来调整不使用已在数据中心授权和安装的解决方案。”
尽管Lockner指出有一些Hadoop用例在银行内有存档，Zions 却将它对未知的探索视为一种成功。“我们在分析中加入了一些我们之前根本不会考虑到的数据源，” Zion的Wood报告说。“在一些情况下,只需要几天就能完成它本该用几个月完成的事情。”
他补充说,“采用大数据真的会是一种游戏规则的改变者。我们的Hadoop部署让我们围绕数据以及一些不明显的数据开发机会，它也让我们能够迅速扩展并能节约成本，不管它是双重、三重甚至4倍规模的扩展。”
