大数据浪潮开启智能生活新时代

分享到:
174
下一篇 >

  摘要:大规模生产、分享和应用数据的时代正在向我们走来,我们周边的所有事物都正在以数据的形式被记录和分析着。大数据时代的互联网络改变了人们的工作、生活模式,并向各个领域不断延伸、融合。

图片来源于网络

如今,大数据[注]正以大容量、高运转的特性引发一场时代变革。正如被誉为“大数据时代的预言家”维克托·迈尔-舍恩伯格所说,大数据时代的来临,使人类**次有机会和条件在诸多领域、深层次获得和使用**、完整、系统的数据,深入探索现实世界的规律,获取过去不可能获取的知识,得到过去无法企及的商机。

在信息化的今天,网络已经成为人们日常生活中必不可少的工具之一。随着网民数量的不断增长,智能终端的日渐普及,互联网迎来了新的产业生态及产业周期。大规模生产、分享和应用数据的时代正在向我们走来,我们周边的所有事物都正在以数据的形式被记录和分析着。

大数据时代的互联网络改变了人们的工作、生活模式,并向各个领域不断延伸、融合。交通、购物、娱乐都在被量化、分析着:哪条交通*快捷?哪里的商品物美价廉?哪种娱乐方式****?通过相关的大数据处理,就会得到清晰、直观的结果。

提起大数据,人们并不陌生,近几年随着对大数据的热议,尤其在被数据淹没的互联网领域,关于大数据所扮演的角色也众说纷纭。大数据不是一个有着非常明晰、严格定义的东西,从功能上来说它可以是人们获得新认知、创造新价值的源泉;可以是改变市场运作、**组织架构的新方法;也可以是对海量数据运用新技术、低成本的处理方式。目前业界越来越倾向于稍微收敛的大数据定义,即用传统数据处理手段处理不了的数据叫大数据。其具有以下特征:

数据种类多、增长速度快

京东商城技术副总裁李曦指出:“伴随互联网的发展,非结构化或半结构化的数据量呈惊人的增长态势,致使传统数据处理手段慢慢出现瓶颈。云计算[注]的崛起让大数据的处理、存储有了新的方式,这个新方式让很多数据处理成为可能,让很多即时洞察得以实现。”

  数据分布广,表现形式复杂

高德技术副总裁陈军表示,超级长尾的移动互联必须运用大数据进行全量分析。与遵循正态分布的传统经济不同,移动互联的发展更加注重个性化的表达,数据特征越来越趋于本地碎片化、长尾分散化。以高德地图为例,北京地区拥有*多的用户群体,占高德总用户群体的5%~6%,他们通常只关心其方圆500米内与之相关的兴趣点(POI:PointofInterest)。面对移动互联的数据特点,分析传统数据的正态区间无法了解用户的真正诉求,只有研究分析越来越趋于扁平化的“尾巴”数据,掌握更多全量数据才有可能相对精准的预测动向,这就需要大数据处理技术。

Adtime CTO雷永华则总结道:大数据是一幅全景图,包含基础技术层、基础设施层及垂直应用层。而垂直应用层又分为三个方向:商业智能、数据分析及可视、垂直化应用挖掘。其中商业智能主要对大数据进行分析提供决策支持;数据分析及可视可以通过数据采集的方式将模型数据与地理数据关联,提供更便捷、更直观的可视化数据模式;垂直化应用挖掘则利用数据的积累进行垂直行业的深度挖掘,完善内容推荐,发力精准营销。

在数据规模、分布模式发生转变的大环境下,研究数据的方法和应用的理念也要随之而变。传统的数据分析,让人们习惯通过样本数据的精准关联探寻数据间的内在联动关系。但在大数据时代,面对纷繁多样的互联网数据种类及千丝万缕的错杂关联,全 量数据的快速运算,相关联数据的日趋重要,成就了大数据分析、决策、变革的作用。大数据正逐渐成为互联时代基础设施的重要组成要素,就像衣食住行等相关资源一样不可或缺。一个让数据发声、数据决策的智能互联新时代正在改变我们的生活。

  大数据驱动智能生活

互联网的智能生活体现在移动交通、电子购物、休闲娱乐等多个方面,每一个层面都蕴含大数据的智慧。这些看似简单、相对精准应用的背后,大数据分析功不可没。

纷繁多样的数据搜集

海量数据是互联时代的特征之一,也是业界各家在经营活动中分析研究的重要基础要素之一。更快速、准确、**的搜集数据是预测、决策的首要前提。不同领域的数据采集、分析方式有所不同。

专注数字地图、导航和位置服务的高德公司通过基站、Wi-Fi等方法采集、汇总数据,同时根据用户自行上报位置、纠错等众包方式收取碎片化信息,并以正反馈的形式不断增大样本数量,获取交通信息,掌握*新动态,进而提高服务质量。陈军介绍说,高德地图一方面通过在出租车上面的仪器采集实时交通状况,另一方面通过每个用户在使用地图时了解用户当下所在位置的周边情况。这样通过多渠道采集的方式将分散的交通情况汇总,导入Hadoop进行大数据运算分析。

国内知名的自营B2C平台的京东商城也在根据用户网络行为进行**的分析工作。京东从2009年开始便非常注重数据在运营决策中的作用。其大数据体系的数据获取层,通过用户的浏览路径了解用户获取商城信息的来源渠道(促销活动、搜索、推荐等)及其在网站逗留的相关行为,并将这些结构化和非结构化数据进行一定的清洗、汇总,进入到相应报表所对应的数据库当中。因为一方面京东每天都在产生大批量的数据,诸如订单、出入库单据等结构化数据。另一方面网站的流量、用户评论等半结构化或非结构化数据也呈几何式增长,因此信息系统必须支持将结构化与非结构化数据抽取到同一个数据仓库里进行汇总分析的功能。

建模分析精准决策

**、详实的信息收集为研发模型、决策信息提供了先决条件,不同层面的建模也为决策从多维度提供了充分、可靠的决策依据。

作为知名电商之一的京东,通过对不同群体建模,力求在每一分支领域都快速、有效地做出**判断。李曦指出,对用户建模,可以了解用户的基本信息、行为路径及消费喜好。对商品建模,可以推算商品使用周期,预估用户消耗商品时间,进而推算为用户推荐商品的频率和周期。同时根据商品的价格带,结合用户基本属性及消费能力,给适合的用户推送适当的产品。对商家建模可以根据用户的评论、投诉量、退货拒收等情况,从多角度对商家进行考核评估,既能对商家起到推动作用,又能提高用户满意度。“通过建模更好地挖掘数据深层的内容和含义,用数据驱动运营,指导公司各种预测及决策,做好大数据营造多赢局面。这就是我们为什么需要建模的原因。”李曦如是说。

智能数字广告领域也运用了大数据的先进手段,创造出更好的投放效果。ADTIME的软硬件综合解决方案AllinOne系统,通过对数据的实时采集,进而完成对数据的快速分析。雷永华表示,ADTIME每天会定时对全网进行全量分析,并进行准实时(前后5分钟时差)的增量分析来优化全量效果,更好地洞察用户需求。

而在娱乐领域,作为游戏和视频两大“主力”,大数据也是必不可少的技术支撑。

致力于网页游戏和社交游戏研发的昆仑万维,目前 使用基于MysqlCluster和Hadoop的解决方案进行数据挖掘工作,主要针对用户的消费数据、行为习惯,对网游以服务器和游戏为单位进行分析。昆仑万维副总裁方汉介绍,通过用户显示的IP地址进行区域分析,通过用户填写的身份信息进行人群定位等数据分析,把用户的年龄、性别、消费能力同其在不同游戏内的表现关联起来,分析、判断用户的行为偏好和消费习惯内容,从而得到每款游戏的广告转换率、留存率、付费率等游戏运营数据,为网游研发部门提供针对性的改进和研发方向的决策支持,为运营部门提供相关决策支持。

而酷6则是将数据信息全部与盛大集团数据库关联,存储在统一的用户管理系统——盛大通行证中,进而根据对用户行为的分析,得知他的好恶,更好地挖掘数据的意义,进行跨平台智能分析与推荐内容。其次,利用大数据改进系统推荐功能,提高地域推荐的准确度和相关度,以及视频质量的清晰满意度。酷6的后台数据系统可根据用户信息尽可能分析出相对精准的地理IP,根据数据挖掘系统从点击量、地理位置、用户喜好等多角度综合参考,*终分析得出与之相关的当地热点视频进行相关推荐。至于如何把关视频质量,智能完成内容转码、筛选、去重[注]及推荐过程,酷6CTO陆坚这样说道:“我们用数据分析来判断哪个视频拷贝****,这是因为在推荐系统和搜索系统里,由网友上传UGC(用户生成内容)的表现形式决定了上传视频的同质性,这就需要运用技术分辨视频质量高低次序,再加之用户观看的点击反馈,综合评估得出视频搜索或视频推荐的优先次序。这也是数据决策应用的一个方面。”

贴心便捷的智能生活

正因为在大数据的推动下,在人们衣食住行的互联生态圈中呈现出更加贴心、便捷的生活新景观,很多生活中的服务功能都可以更加准确地洞察用户心理,更智能地满足用户需求。

移动导航为用户提供了智能、便捷的出行资讯。根据大数据的运算分析,绘制出相对清晰详尽的用户出行路径、交通街景及周边推荐图,及时将*新的数据情况反馈给用户,可提示*便捷、畅通的出行路线,实时更新地理信息并推荐周边相关资讯。ADTIMECTO雷永华表示:“通过对数据的分析,可以根据交通常规运营时间及行驶情况择优选取出行路线,为用户提供**的推荐结果。”

电子商务的自动推荐和实时查询功能也是大数据在互联网应用中的前台表现形式。娱乐购物的网络用户行为分析可根据用户过往行为记录并了解用户喜好,同时结合产品周期为用户进行相关推荐,营造产品主动寻找用户而非用户寻找产品的智能氛围,甚至在电子商务领域用户提交订单后,还可基于地理位置为用户选择就近卖家,选择*佳物流,*快完成交易。同时用户也可根据订单实时情况查询货品运送进度。

当然,在移动互联的时代,有效预防移动游戏的投机行为也可通过大数据分析得以实现。以手机棋牌游戏为例,一些玩家会出现在同一个物理空间,在相同的场次“齐心协力”战胜其他对手。陈军表示:移动互联的定位功能可有效避免“违规操作”,实现反**。利用基于位置的功能,倘若发现在同一场次的两个玩家具有相同的地理位置,那么根据预先设定可将两人摆放在不同的场次房间,在一定程度上有效干预了玩家的投机心理。

而对于大数据在视频领域的发力,诸多成效也是显而易见的。盛大通行证的实施,某种程度上让跨领域推荐成为可能。比如一个文学用户来到了酷6网,通过盛大通行证可以得知它浏览过的文学作品信息,那么酷6便可以根据这个已知信息推荐给他相关的影视和游戏视频,甚至可以根据用 户的喜好度进行跨领域的二次创作,将热门度高的文学作品做成一款游戏,甚至是拍成一部电影,反之亦然。

同时,根据推荐和搜索系统的优化,动态分析出视频的热度及清晰度,根据地域自身特征,为用户推荐其*关心的视频资讯并*大程度保证视频清晰流畅度,提高用户的观感度。

亟待完善的大数据产业体系

综合移动交通、电子购物及休闲娱乐三个层面的观察不难发现,互联网上用数据说话的生态模式已初步形成,互联网各领域已启用大数据分析、预测模式,但同时大数据的**落地及产业链的成熟发展依然有很大的提升空间。

技术层面起步探索期

与海外相比,中国大数据发展目前尚处于起步阶段,并未形成专业的生态氛围,这与云计算在中国的发展状况息息相关。目前美国已有较为完善的大数据机构专门从事数据分析工作,而现阶段中国的做法是将数据分散在各自公司的服务器中,各自为政,产业生态链还有相当发展、完善的空间。陈军表示:“在大数据时代,软件需跟着数据跑,若将数据迁移至专业的数据公司进行统计分析是不现实的解决方案,虽然像Hadoop这些工具也已有很广泛的应用,但是要做更为细致、详尽的分析还有赖于专职的分析机构。”李曦也表示:“数据需求越来越倾向预测性、决策性,这是一个新的领域。原始数据都在数据仓库里面,但现在如何将足够多的特性、因素集中在模型当中,建一个高可信度的模型,其实是一个很有趣的事情。在被海量数据充斥的时代,数据就像一座金矿,仅有数据没有挖掘就没有任何价值,一旦挖掘,价值无限。这是一个朝阳产业,它里面有很多的可能性,有很多新的领域值得探索。”

人才储备层面求贤若渴

技术的发展、智能的普及,归根结底还需相应的专业人才来推动。以云计算为依托的大数据在快速增长的互联网时代逐渐被人们熟知并初步落地。方汉表示,目前国内大数据的研发和应用处于早期阶段,技术交流、文档培训等相对不足,网游研发商需要自行解决和研发相应技术问题,因此还需行业协会组织相关培训、交流会议来推动整体发展。

政策层面体系有待完善

对于相对新兴的互联网行业而言,目前还没有完整的相关政策法规来约束互联网追踪用户数据行为,更多的是靠行业的自律来保证相对公平、**的运转。“3·15”曝光的用户隐私问题,让外界再次关注互联网**话题。雷永华对此表示:我们需要行业里面制定一个规范,界定什么是侵犯用户隐私行为,什么是为了优化互联网用户体验、享受更好推广服务的行为。李曦也表示认同:作为数据拥有者一定要有保护信息的理念,因为这是用户的一种信任。所以在分析、分享的过程中必须清洗掉部分信息,以保证信息的**性。同时也应重视、加强许可型模式设计,给予用户足够的选择权,并且充分尊重用户意见。

当然这些仅停留在道德自律层面,要想真正保护互联网用户的合法权益,在法律层面必须有所动作。据悉,为彻底落实《**人民代表大会常务委员会关于加强网络信息保护的决定》,促进电信和互联网行业健康发展,工业和信息化部网站-政策法规司已起草《电信和互联网用户个人信息保护规定(征求意见稿)》,并向社会公开征求意见,这意味着在我国互联网监管法规及个人隐私保护法规领域的空白有望得以填补。

拥抱开放型数据生态链

盛大通行证其实在某种程度上已是数据融合、开放的一个缩影,也预示着数据发展的必然趋势。信息的智能驱动数据的开放,整合用户碎片化行为是大 数据的价值之一。如今用户在不同网站,或者APP上的行为轨迹经过整合分析判断,已可大致猜测出用户的基本属性特征,但孤立的行为分析仅可以在小众范围内实现分析、决策功能,对于用户体验而言,无形中竖起了壁垒,限制了数据价值的体现。虽然互联网企业已着手分析用户在多个网站间的访问行为,并逐渐意识到了数据开放融合的重要性,但在现阶段数据关联仍然是一大难点,也许需要第三方出来促成更多合作,产业链才会更加完善。

雷永华也表示,如今运营商和媒体都掌握了大量的数据信息,他们拥有大数据的主动权,如果这些数据可以开放、共享,使得我们整个数据链条形成一个闭环,那将为用户行为进行更人性化、个性化的引导。虽然这是一个难点,但它是一个逐步渐进的过程。可以欣慰地发现,许多互联网公司已经意识到这个问题并逐步走向数据的开放。

开放的数据生态加速了垂直领域的深度结合,同时扩展了横向领域的不断延伸。跨界已不是一个新鲜词汇,产业融合、跨界联盟是科技发展的未来走势,在与传统商业智能融合的过程中力求实时更新、无缝对接。李曦表示,大数据在走向实时化。传统的商业智能有它相对较为完善的一套运作体系,这套体系会逐渐与大数据结合,将传统离线的数据运算与在线信息有效地融合,进而得出综合、立体的评估结果。在与传统物流行业结合的过程中,在现有智慧物流的基础上,综合纵横多维度因素统计分析、考量评估,为物流体系的建设及运营提供更便捷、更智能的解决方案。在新旧媒体的交替融合中,跨屏应用让沟通变得简单。雷永华告诉记者:“手机与电台微信互动,这就是传统媒体和新媒体的很好结合。通过大环境的数据开放,了解用户的真正需求,为用户提供更贴心的服务。”我们已经可以感受到移动风潮的凶猛来袭,如何在超级长尾的移动互联中做好数据搜集、分析工作,提供更好的移动决策支持,如何在互联网的浪潮中尽可能地挖掘出大数据的价值,建立开放、公平、良性的网络生态链,更好地服务于国家经济发展,服务于人民大众生活,促进生态共融,依然任重而道远。

在汹涌澎拜的数字浪潮中,大数据正成为智能生活的新源泉,人类社会的更多改变也将会随着大数据应用的蓄势待发而掀起智能时代的新浪潮。

《工控中国》
你可能感兴趣: 业界新闻 图片 大数据 政策法规 数据库
无觅相关文章插件,快速提升流量