“机器数据”把数据变成答案

同样的数据会有不同的用处,这是数据分析、数据挖掘目前的重要趋势。

CEOCIO - - Contents - 贺文/ 文

从现在每年接待乘客数量 9000万人到2020 年的1亿人,迪拜机场无疑是世界上最繁忙的国际旅游机场。与这个增速同步的是机场管理方对于乘客满意度的重视。

Michael Ibbitson 是迪拜机场负责技术和基础设施的执行副总裁,他介绍,在未增加飞机跑道的前提下,如何提升旅客承载量,挖掘数据背后的价值,是他们的解决之道。

一般来说,机场的安全检查需要10 分钟左右,迪拜机场如何在5 分钟或者更短的时间内让 95%的乘客通过安检?他们的做法是,统计可能引发安全警报的情况和发生点,根据整个机场的人员流动情况,不断地动态调整安检口的人员部署,并且及时做好乘客的分流。

面对每年运送1.5亿件的行李规模,迪拜机场通过分析行李系统的数据,提高行李的流转速度,以确保乘客能尽快提取行李。因为已经装备了足够多的传感器,比如主要的行李系统和行李从飞机运到传送带的运输车,如果能够更早地获取包括飞机到达等信息,机场管理方就可以更好地安排地勤人员、协调资源,接待落地的飞机,让乘客不需要等待就拿到自己的行李。

拥有丰富数据的远不止是机场。随着移动硬件的迅速普及,互联网更广范围的覆盖,移动互联网应用越来越丰富,所有的互动几乎都会被传感器所捕捉,跟周边的环境进行数据的传递和互动。

挑战也随之而来,如何在这个互动的世界里去捕捉数据流,如何在呈几何数量级增长的各种各样的数据里,尤其是在非结构性的数据里, 去挖掘价值,获取深度的分析。“不仅仅是存储数据,而是让数据能够有用”,“把数据变成答案”是一件非常困难但又极具价值的事。

“无用之用”的数据

迪拜机场在一年多之前开始使用 Splunk 的管理系统。

这家大数据的软件解决方案提供商,既提供云端部署也有本地部署。Splunk 总裁兼首席执行官 Doug Merritt 介绍,“把机器数据转换为答案”是他们一直秉持的发展理念,他们给企业客户提供解决方案和机器学习技术,来解决最棘手的 IT运营,应用程序性能分析,业务分析,物联网和安全难题。现在 Splunk 生态系统中有超过 1000 个解决方案。

如何做到“把机器数据转换为答案”?

如何在呈几何数量级增长的各种各样的数据里,尤其是在非结构性的数据里,去挖掘价值,获取深度的分析。“把

数据变成答案”是一件非常困难但又极具价值的事

Splunk 亚太区副总裁梅正宇介绍,他们通常会先跟客户进行多次研讨会沟通,Splunk了解自己的产品,知道可以做什么;客户最了解自己的商业环境,双方通过沟通来找问题,要向数据提问什么样的问题,要解决什么样的问题,一起来开发解决方案。

在大中华区也有一个机场使用了Splunk 的产品进行 IT 运维、安全维护。在这个过程中,该公司的 CIO直觉可以更多地运用数据来帮助他们提升营运的效率。事实上,很多机场都可能有一个数据库,或者是数家服务商所提供的业务数据,当把所有这些数据放到一起时,可以做很多的营运系统,比如怎么去监测机场及周围环境的交通,怎么监测进出港的人流,怎么确保进港飞机增多时能有效调配机场的资源,通过一些演示项目,该机场的管理者发现,只要把他们的数据放到 Splunk 这个平台上,很多管理方面的问题是可以得到解决的。

对于亚太市场未来的增长,Splunk公司首席营销官 Brian Goldfarb用“Huge(巨大的)”来形容:Splunk公司从美国起步,进入欧洲,再进入亚洲。亚洲市场“very large”,而且市场还处在非常早期,借由这几年移动互联网的飞速发展,这里的企业他们已经掌握(存储)了非常大量的数据。 面对每年运送 1.5 亿件的行李规模,迪拜机场通过分析行李系统的数据,提高行李的流转速度,以确保乘客能尽快提取行李

如何把 Splunk在美国、欧洲服务企业客户的经验,通过标准化的产品,用于服务亚太公司、中国公司,帮助他们解决在发展中面临的通用问题。

Splunk 北亚区总经理戴健庆介绍,他们在中国专注于拓展以下行业的客户:金融、电信运营商和制造业,以华为、联想、小米为例的高新科技企业,“每个公司都在数字化转型,都面临着数据问题”。

大数据版“百度”

“数据驱动”在中国正在成为流行,不管是真正因为信仰数据而依据数据作出决策,还是为了赶时髦。

“当大家都在谈论大数据时,什么都可以是‘大数据’的,反倒是没有意义。”Splunk公司IT 市场高级副总裁 Rick Fitz 强调,Splunk 是“机器数据”的拥趸:他们倾向于利用存储在机器当中的数据,强调通过各种传感器(包括移动智能终端设备在内)收集的数据,强调将各种文本信息(包括文字信息、语音信息等)变成机器可识别的数据,他们更偏爱热数据、实时动态的数据,用以进行数据分析、管理、运营,在这些数据中挖掘价值。

表面上看,Splunk的大数据技术与市面上很

多数据挖掘公司大同小异,不过Doug Merritt 坚持他们的独特性:Splunk的底层存储架构是一个扁平化的索引,这就不会要求你在存储数据时提取它的结构,而是在你提问的时候才去提取它的结构,这样一来,数据可以易于重复利用,因为你在存取数据时给所有的数据都已经做了标签。

梅正宇进一步阐释,相应地在“建模”这个问题上,传统的大数据解决方案都是前期建模,即当你存储导入数据时要先建模。早期建模,因为人的认知有限,要把很多有用的数据、有用的信息先淘汰掉,这样反倒降低了数据可利用的价值。Splunk的做法是把建模后置,数据存储进来时只做标签索引,发现问题时才把这个schema(格式、模式)建起来,过去不被利用的、非结构化的数据、非逻辑化的数据,都有可能发挥“无用之用”,这就给数据分析与挖掘带来很多的灵活性。“我们就好像是大数据的百度。”他如此比喻。

数据生意的“开放”和“第三方”

“同样的数据会有不同的用处”,这是数据分析、数据挖掘目前的重要趋势,具体来说呈现出如下的特点:灵活的架构,我们可以去向数据源提各种各样的问题;把机器学习和人提问结合起来,先通过机器学习的算法来甄别异常,再通过人来判断异常是否真实,如果它确实有潜在威胁的,再去做深度挖掘,找到它的根本原因和根本问题所在。

具体到 Splunk,所采集的数据可以用来回答比如客户活动应用开发的效率、系统的完整性等问题,也可以用来做安全分析。Splunk 对于信息安全的认知,也较传统安全公司有了不同。

Splunk公司负责安全业务的高级副总裁宋海燕介绍,传统的安全公司以端为出发点提供安全解决方案,但是随着信息安全技术的发展,需要从终端、网络、神经网络等多个维度来考虑安全问题,这与之前“把门锁上”的思路是完全不同的。比如,从单点的信息来防范安全攻击, 到更多维度信息综合分析安全隐患的可能;从面对安全攻击的“加锁”、“加防火墙”的防护,到对安全隐患的提前预警,建立信息安全的监视系统,尽早地找到入侵、解决入侵,建立动态的适应性的安全响应机制。

这是一种全新的解决问题的思路,不可能是通过单一产品来解决安全问题。宋海燕介绍, Splunk 倾向于和合作伙伴一起来提供安全解决方案,他们的生态合作伙伴包括了赛门铁克、思科这样的传统安全公司和科技网络公司。Splunk在其中的角色是“给企业提供一个安全隐患分析研究的队伍”,相当于是“安全隐患分析的大脑”。

通过机器收集了大量的数据,但是哪些数据是有用的,如何来判断数据的有用性;实时数据带来的更大挑战是,需要时间来理解数据,才能进行分析,这对于原有的信息反馈机制都会带来转变。这种全新的数据理念,无疑需要有更多的拥趸,一起来建立新的数据生态。

无 论 是 国 外 的 Splunk 还 是 国 内 的Talkingdata,这类大数据公司都特别强调自己的“第三方”角色、专家角色。梅正宇介绍, Splunk可以和很多厂商成为合作伙伴或者是生意伙伴,甚至包括一些看似业务有竞争关系的公司,比如IBM、亚马逊、思科等。

在今年9月底的 .conf 大会上,Splunk 宣布,他们在全球合作伙伴生态系统迅速扩大,目前为全球超过 950 家合作伙伴提供系统和支持,帮助推动更多市场机会和收益。Splunk 的合作伙伴范围广泛,涵盖全球系统集成商、代理商、增值分销商、技术联盟伙伴、原始设备制造商和托管服务提供商等。

Splunk 在中国开展业务,除了要和传统的Si(system Integration,系统集成商),解决方案提供商,比如安全的、IT 运维的,或者是做制造业解决方案的,做电信解决方案的服务商合作之外,他们更强调从“Use Case(用例)的合作伙伴”入手。戴健庆介绍,他们积极在中国与OEM成为合作伙伴,合作方式就是先从Use Case OEM开始。

Newspapers in Chinese (Simplified)

Newspapers from China

© PressReader. All rights reserved.