大哥你们老说大数据，大数据到底能干啥啊？

sowang

2015-01-29   百度                     




昨天，小度和朋友们又聊到大数据这个概念的时候，朋友面露疑惑的问我：“现在总提大数据、大数据，可这大数据到底能做什么啊？”


小度意识到，可能大部分人对于大数据的作用还没有一个特别清晰的概念。为此特意请教了百度研究院大数据实验室（BDL, Big Data Lab）的同事，结合一个月前上海外滩踩踏惨剧的案例，基于百度的数据与大数据智能分析技术，试着“让数据说出大实话”。


1份大数据、11张图片，一起来复盘一遍这个事件，尝试进行数据化描述这次事故的真正原因，以及是否存在避免悲剧的可能。


（玩大了有没有？看不懂就多看几遍好了）



1[size=1em]事发当晚人潮汹涌南京东路地铁站附近区域（左下蓝框）、外滩源附近区域（右上蓝框）、事发地陈毅广场附近区域（右下黑框）和外滩区域（右侧红框）位置在2014年12月31日事发当时的人群热力图。颜色越红表示人群越密集，越蓝表示越稀疏。

2014.12.31 事发时外滩区域人群热力图

2[size=1em]密度之高超出日常

下图所示，事发当晚，外滩区域（包含陈毅广场）确实非常拥挤，人流量已经达到了平时最高值的3倍多。

2014.12.29-2015.1.2外滩区域人流量趋势

3[size=1em]出现两次密度高峰31日当晚20:30左右，南京东路地铁站（紫线）也曾出现过一个人流高峰。而事发当时（黑色虚线），并不是陈毅广场（红线）人流量最大的时候，其两次人流量高峰出现在21点和24点。

2014.12.31-2015.1.1人流量趋势图

4[size=1em]对比其他热门假期相比于其他假期，人流状态如何呢？以中秋和国庆为例看看。中秋节和国庆人群主要分布在外滩观景大道和陈毅广场附近，而在跨年当天22点之后，人群主要分布在中山东一路、陈毅广场和外滩源附近。

外滩和外滩源区域人群分布热力图（2小时）

5[size=1em]人群运动方向杂乱无章采样选取了部分人群，示意他们的运动方向。图中，每个箭头代表一名行人，箭头的颜色及指向表示其前进方向。可以看出，跨年当晚人群从南京东路流向陈毅广场，导致在晚上21点左右，陈毅广场的人流量达到一个峰值。而之后，更多的人群开始从陈毅广场沿着中山东一路流向北部的外滩源，也就是事发当天灯光秀所在地

外滩和外滩源区域人群流动方向示意图（部分采样）

我们进一步对外滩区域的人流进行量化分析，得到了人群流动方向分布图。每一扇形分区代表不同的人流方向，扇区半径表示该方向人流量大小。下图分别表示中秋和国庆当晚的情况，可以看出，人流方向比较简单和清晰，即南北向人流较多，其他方向人流较少。显示了跨年当晚的外滩区域的人流方向。除了南北双向的人流，还有其他多个方向人流，人群流动方向分布混乱。

外滩区域人群流动方向分布图

6[size=1em]临时更改场地埋下诱因针对产生复杂人群流动方向的原因，有专家这样推测，中秋节、国庆节游客只是单纯的外滩游览；而在跨年当晚，很多游客是为了去观看灯光秀，但是到了陈毅广场后才发现灯光秀地点更改（往年都在陈毅广场，今年更改为外滩源）。从百度搜索关键词分析里面也看到这一趋势。当晚23:20左右，搜索“灯光秀取消了么”和“灯光秀门票”的关键词的数量急剧增加。

搜索“灯光秀取消了么”和“灯光秀门票”的关键词指数

7[size=1em]人群茫然为哪般？从手机地图使用习惯来看，游客去目的地前，一般都会提前利用地图搜索目的地和规划路线，灯光秀地点在外滩源，那么用户应该会搜索“外滩源”并规划路径。我们研究了当晚游客到底在什么位置通过百度地图搜索“外滩源”，发现大部分都集中在外滩附近（图中红色区域），这从某种程度上就说明用户原本不知道灯光秀更改为外滩源，到了外滩以后才发现改了地方，所以才掏出手机进行地图搜索。

以“外滩源”为目标的地图搜索发起点热力图

8[size=1em]提前预警的可能性下图代表2014年12月25日至31日，外滩地图搜索请求与人群汇聚情况的历史趋势。从两条曲线经过标准化和对齐后的走势中，我们不难看出他们基本一致的涨落趋势。平时，外滩的地图搜索和人群汇聚程度基本稳定，但在2014年的最后一天，两者都达到了最高峰。

外滩地图搜索与人群汇聚情况趋势图

9[size=1em]相关性分析打下预测基础补充一下，通过对百度的定位数据、搜索数据进行挖掘。进一步对2014年12月31日的地图搜索请求与人员到达数量进行相关性分析。由下得到，在百度地图中，相关地点的请求数据和实际到达该地点人群数量具有极高的相关性，相关系数超过0.9（越接近1，说明越相关）。这表明，用户去目的地前，一般都会提前利用百度地图搜索地点和规划路线。为了挖掘用户的时间提前量，包括外滩跨年时的数据，大数据实验室又对大量历史群体聚集场合的数据进行进一步的分析，包括鸟巢足球赛等。

外滩地图搜索请求与人员到达数量相关性分析

10[size=1em]寻求预测灾难的可能性通过对大量历史数据分析发现，相关地点的地图搜索请求峰值会早于人群密度高峰几十分钟出现。下图中我们给出了搜索量和人群数量之间的互相关性相对于时延的变化曲线，其中X轴的值为时延量，负值即表示提前量，例如-10对上去曲线的值，就是提前10小时的搜索量与人群数量的相关性。图中可以发现，两个量的互相关性曲线在-1.5小时的时候达到了峰值，这意味着，根据地图上相关地点搜索的请求量，我们至少可能提前几十分钟预测出人流量峰值的到来。

外滩地图搜索与人群数量的互相关性曲线

要不是为了科普，小度真心不愿意回顾这件事……


说点高兴的：


百度一直在大数据这一领域进行着不断的探索。不久的将来，当你走在街上，大数据可以根据你手机百度的搜索数据，分析出你的口味喜好，然后将离你最近的、你会喜欢的餐厅推送给你并且订座、点餐、下单，将本来在线下的闭环服务提前搞定，大大缩短了顾客寻找门店的时间和成本；或者，在你外出旅游的时候，百度分析出景点人数，提前做出相关预警，避免拥堵甚至惨剧的发生；百度或许还可以根据搜索信息，分析出是否出现区域性的疫情，类似这几天出现的麻疹疫情也许就能更早被发现……


相信这一天可能用不了多久就能到来，小度跟你一起盼着。