学术大讲堂 |（六）基于大数据的网络智慧运营应用研发
学术大讲堂
运营商的网络大数据具有实时性高、覆盖业务广、业务价值大等特点，利用网络大数据赋能网络运营智慧化是各运营商的迫切诉求，今天就给大家分享一下我们在利用网络大数据提升移动网智慧运营方面做过的一些实践活动。
基于hadoop开源平台，汇聚了运营商网络侧“端网云”的全量数据，基于该海量数据，利用“AI+网络”技术，研发了一系列数据应用系统，包括用户感知分析和质差定位，移动网络“维优建”全流程支撑、网络分析能力前置客服支撑、市场分析支撑等。
接下来我们重点分享一下网络大数据是如何赋能移动网络的“维优建”全流程的。
目前移动网络运营，采用传统方式支撑痛点，主要包括如下几个方面：现在移动网络已经有2G、3G、4G网络，甚至马上到来的5G，使得网络种类多、制式多，其产生的运营数据量巨大，各种制式网络协调优化难度很大、复杂度很高，通过传统的人工支撑方式，自动化和智能化的水平很低，就会存在分析片面、分析效率低、分析周期长、运营成本高等方面问题。为此我们研发了有一站式的智能测评的天翼蓝鹰，基于大数据智慧网优的智能调优以及高效的精准规划的天翼蓝图。
天翼蓝鹰是项目组自主研发的移动网络质量智能测评系统，实现移动网络问题的快、全、准的一站式智能测评，可取代人工路测。大家应该都知道，传统的移动网络优化通过日晒雨淋的人工路测进行数据采集，然后把数据拿回来还得结合网管、告警、台账等多个厂家多个系统兜转人工优化分析，这样必然会导致成本高且效率低的问题。我们也是通过深入了解他们需求和痛点之后才开发出来的。系统框架基于移动网络数据采集，通过大数据开源组件进行加工处理，并结合无线专业算法和大数据算法进行建模，最终开发了覆盖、干扰、感知、扇区、三网、投诉、场景、自选区域等8个核心测评功能。最右边是系统主界面。
相比于原有网络指标系统，天翼蓝鹰的最明显特征就是，能够实现地理化区域的一站式智能测评。主要包括如下4个方面。首先栅格可视化，就是基于栅格的区域测评，各种问题区域、小区覆盖范围通过栅格实现可视化，非常直观，一目了然，那么全省1.8亿个栅格的数据每天动态更新，精细化的大范围栅格呈现极速呈现，达百万栅格/秒，这一块实现技术高工后面会进行详细分享。第二是涵盖80%的问题，通过了8大核心功能、4万问题区域以及14大类的13万重点场景进行全面测评。第三个是系统测评准确度高，达93%，通过问题定位模型、线路评估模型和区域评估模型等20多个模型进行深入建模挖掘分析。第四点为智能分析，基于图层叠加综合分析，特别是8大类的100项图层叠加评估，1000余项指标动态更新，大大提升工作效率和问题定位准确性，以及自动输出问题的处理排名和处理措施。
在天翼蓝鹰里面最基础和最重要的模型，就是这个基于DBSCAN聚类问题区域评估模型。DBSCAN是密度聚类的算法，将同一类的栅格按照连片距离和连片数量自动连接起来。可以看到中间这个图，如果设置连片距离最大为1和连片数量最大为4个，就是连接成这个样子；如果设置连片距离最大为根号2和连片数量最小为6个，就是连接成这个样子。通过这个算法，将之前栅格覆盖图没有自动连片的、需要人工判断哪里有个问题，变成了自动将问题区域连片，不再是零散分布的栅格，而是一个一个的问题区域了。通过超过百次验证才确定模型最优化参数，包括栅格为20*20米，连片距离最大为根号2，连片最小值为10个。同时，通过将区域内的所有栅格的数据自动关联多个数据源聚合为处理排名指标，同时提供具体处理建议，有效指导现网处理优先级和具体处理建议，不会因为一天有上千个问题手忙脚乱，可以根据按照轻重缓急进行处理。这是我们在现网的通过实际路测来验证情况，识别的问题准确度已达93%。后续在考虑市区、农村等不同场景的基站覆盖范围、站间距、用户密度等的不同，自动计算对应的栅格大小、栅格连片数以及连片距离门限，进一步提升评估的智能化水平。
刚才那个DBSCAN仅仅是实现了问题栅格的聚类而已，但是看起来还不是很美观和直观，所以我们希望能勾画出一个多边形来，最早我们注意到很Alpha Shape滚圆，在点集S内，过任意两点P1、P2绘制半径为alpha的圆，如果这个圆内没有其他点，则认为点P1、P2是边界点，其连线P1P2即为边界线段，但N个顶点需要遍历N*（N-1）*（N-2）次的，运算性能很差。本系统采用的是基于滚边法实现多边形轮廓勾画：将所有栅格顶点去重，采用长度为连片距离的线段，线段一端固定在该初始点，从水平方向开始逆时针旋转，当相交另一个顶点，移动线段另一端固定在该顶点，继续逆时针旋转，直到线段相交初始点为止，输出线段经历顶点就是该区域的多边形的轮廓点。这样可以将之前得到一堆连片的栅格勾画成为一个封闭的多边形了。N个顶点，仅需要N次遍历，性能大大得到优化。
刚才说到的栅格，这些栅格里面装的是MR，MR是用户测量报告，MRO是每10秒产生一条记录，广东这边每天可以产生300多亿条记录，大家可以想一下，现在最关键需要解决什么，需要解决MR的位置信息吧，只有MR有经纬度才能知道落在那个栅格上面。那问题就来了，谁给海量的MR能搞一个经纬度呢？那就是这个基于贝叶斯构建4G用户定位模型。其实是有一点点的MR是有经纬度的，但是这种AGPS的MR只有3%，剩下97%的MR没有经纬度，无法实现全面、准确的测评。这个基于AGPS的MR虽然是只有3%，但是也是帮了大忙了了，因为这个3%也是随机分布了，是可以作为AI模型算法的标签数据，要不然的话，就要经常去跑路测才能获取到标签数据。天翼蓝鹰能做的起来，最早我们抓住这个MR增加AGPS的机遇，就是因为能准确定位。但是为了更加全面和准确测评，我们一直都在做网络定位研究，包括最早做的三角定位，误差大概是300米，无线专业定位算法大概在250米，GBDT算法是结合无线接入特征，基于每个小区训练一个模型，全省大概40万个模型，每个模型都通过5棵树的深度来分析，训练时间基本要20多个小时，精度达到180米，去年基于贝叶斯算法，进一步提升到目前最新的数据是100米左右，根据3GPP 22.071协议，在75-125米都可以用于网络优化和规划，所以基本已经达标了。那么贝叶斯算法主要是基于栅格构建定位指纹库，每个栅格都会记录主接入的TA、RSRP以及邻区的RSRP等关键无线接入参数作为指纹特征，这样就可以根据待预测MR的无线接入特征和栅格指纹特征进行向量计算，最终按照栅格的匹配概率进行加权计算得到MR经纬度。这个算法模型增量训练，定位精度随AGPS数据的积累而持续提升，同时算法易于分布化实现，模型构建效率高，不引入台账误差。
为了解决目前室内用户难以识别，导致室内覆盖测评不准确的问题。通过基于随机森林构建室内外用户分离模型，随机选取RSRP均值、RSRP标准差、TA均值、主服务小区切换次数等若干特征，通过随机森林算法，对每5分钟MR切片数据构建101棵二叉树，并按照最后匹配到室内和室外树比例，实现室内外用户的分类，同时采用严格的移动性算法筛选室内外样本，海量MR数据无需人工标注正负样本标签。右下这个图就是室内MR和室外MR分离的效果，室内分布在建筑物内，而室外的密集分布在道路上。
高铁密闭车厢卫星信号屏蔽严重，导致GPS定位困难且不准确，MR的AGPS记录无法使用；路测设备在隧道无法搜星，导致难以准确评估。所以构建基于种子用户的高铁智能测评模型。首先自动识别高铁站台一定范围基站小区作为站台小区，满足一定条件的用户（出现在两个高铁站台小区且速度大于150KM/H）作为种子用户，种子用户经过的小区得到整个高铁沿线的小区，并将满足一定条件（出现在两个相差10KM以上的高铁沿线的小区且速度大于150KM/H）的用户作为非种子用户，最后通过小区位置为圆心、TA为半径的画与高铁线路交点结合方位角得到每条MR的经纬度计算高铁用户每条记录的经纬度，并按20米线段聚合后采用聚类算法输出连片问题区域，从而得到高铁弱覆盖连片区域（弱连段），实现了高铁覆盖的精准测评。该模型不依靠GPS，不依靠路测，自动实现包括隧道在内的所有高铁沿线覆盖的全面测评，大幅优于目前路测。
基于图层叠加综合分析也是天翼蓝鹰的一大亮点，包括4G、2G、移动站址、栅格、专题图层、场景、抱怨等8大类100余项的图层指标，展开部分图层呈现效果如右图所示，这个是经过几年积累下来，很多系统都无法做到这么齐全图层叠加的，有力支撑实现综合智能测评。
这里举几个系统应用例子：第一个是广州分公司城中村优化测评，将470条城中村通过天翼蓝鹰系统实现高效优化评估支撑。原来每条村评估需2-3天缩短为10分钟，极大节约人力，工作效率提升了百倍以上。
第二例子：潮州分公司微基站的规划建设补盲，传统路测费时费力，效率极低，通过天翼蓝鹰系统，在界面可以轻松看到某片区域的各种覆盖、感知优良率等指标，再结合地理位置确定是否需要新建站点。每个站点至少节省3天时间的工作量。在分公司抽查的15个不可优化的弱覆盖区域，其中14个现场确认是弱覆盖，准确率达到93%。能做到既省时省力又十分准确。
第三个例子：汕尾分公司蓝鹰与DT高铁隧道测评对比：对于覆盖指标对比，DT路测无法测试隧道，在天翼蓝鹰上面可以看到隧道打点的，在其他非隧道的区域和DT路测指标高度吻合；对于速率测评，蓝鹰系统和DT路测也是高度吻合的。
前面说的天翼蓝鹰智能测评系统，主要解决地理化区域级别的问题发现和一站式分析支撑，但是还没有提供具体优化解决实施方案，这个还是不够的，我们希望能做到进一步解放人脑，于是去年做了智能调优功能，采用大数据构建网络调优模型，通过基站问题全流程自动化的解决实现智慧网优，无需人工参与即可自动完成网优，解决目前网优严重依赖技术人员分析熟练程度和工作经验，存在效率低、水平参差不齐等问题。下面左边的图为系统框架，右边这个是包括天馈接反、坐标勘误、下倾角勘误、越区覆盖等7大功能。
智能调优的目标就是要基于大数据实现智慧网优，基于基站问题的分析和解决的，实现自动发现问题、自动生成解决方案、自动实施、自动评估的全流程自动化和智能化。那么基于大数据挖掘和测评系统支撑，精准自动发现基站问题；通过大数据和专业技术构建8个精准调优模型，实现问题解决智能化，这是系统的最核心能力；打通网运平台、电子运维、集团综合网管等系统的3大系统，实现优化方案自动实施；通过点和面多维度综合测评，自动评估解决效果，虽然是以基站维度解决问题，但是必须结合该基站附近一片区域的指标变化的评估，自己调整好了，但是出现影响到其他基站或者该区域没有覆盖等这些问题不允许存在的，这个也是我们系统一个很大的优势。
智能调优核心就是，基于大数据构建精准的网络调优模型，需要根据存在的覆盖问题的基站提供如何调整方位角、下倾角。比如说：基于栅格构建的越区覆盖调优模型。在优化前很多点是分布在2倍站间距之外的，通过专业技术和大数据分析建模，结合站间距、邻区强度等自动计算得到下倾角的调整数值，调整后这个小区的点基本分布在合理的范围以内，同时也不会影响到该区域正常使用业务。台账是移动网络优化和规划最重要的资源了，但是很遗憾是，由于各种因素影响，目前基站的坐标、方位角、下倾角的错误和数值缺失等异常情况达到40%左右，严重影响网络优化，采用大数据技术进行台账的自动纠偏模型，无需到现场排查，大幅节省成本。比如：通过基站下AGPS的MR数据分析，以MR的AGPS经纬度为圆心和TA画圆，通过采用最大似然估算得到这些圆相交重叠概率最大的点，作为基站的预测坐标，解决台账坐标偏差的问题，目前最新算法的误差大概在100米。同样的也是基于AGPS的MR数据，基于高斯核密度构建方向角纠偏模型，解决方向角偏差的问题。
这里也简单举2个智能优化例子：一个是中山分公司某小区处于严重的越区覆盖，通过模型评估分析后，自动生成的解决方案为：下倾角从6度下压到9度，让基站覆盖范围更小一些，这个图是自动实施各个环节流程的时间和状态记录，通过下面这个图可以看到11月8日调整前后的变化，调整之后越区覆盖占比明显下降了20%多，同时300米范围内的覆盖基本维持不变（蓝色的线）。分公司评估工作效率，原来至少需要14天，现在变成1天。
智能调优最核心就是，基于大数据构建精准的网络调优模型，需要根据存在的覆盖问题的基站提供如何调整方位角、下倾角。比如说：基于栅格构建的越区覆盖调优模型。在优化前很多点是分布在2倍站间距之外的，通过专业技术和大数据分析建模，结合站间距、邻区强度等自动计算得到下倾角的调整数值，调整后这个小区的点基本分布在合理的范围以内，同时也不会影响到该区域正常使用业务。台账是移动网络优化和规划最重要的资源了，但是很遗憾是，由于各种因素影响，目前基站的坐标、方位角、下倾角的错误和数值缺失等异常情况达到40%左右，严重影响网络优化，采用大数据技术进行台账的自动纠偏模型，无需到现场排查，大幅节省成本。比如：通过基站下AGPS的MR数据分析，以MR的AGPS经纬度为圆心和TA画圆，通过采用最大似然估算得到这些圆相交重叠概率最大的点，作为基站的预测坐标，解决台账坐标偏差的问题，目前最新算法的误差大概在100米。同样的也是基于AGPS的MR数据，基于高斯核密度构建方向角纠偏模型，解决方向角偏差的问题。
这里也简单举2个智能优化例子：一个是中山分公司某小区处于严重的越区覆盖，通过模型评估分析后，自动生成的解决方案为：下倾角从6度下压到9度，让基站覆盖范围更小一些，这个图是自动实施各个环节流程的时间和状态记录，通过下面这个图可以看到11月8日调整前后的变化，调整之后越区覆盖占比明显下降了20%多，同时300米范围内的覆盖基本维持不变（蓝色的线）。分公司评估工作效率，原来至少需要14天，现在变成1天。
另外一个是佛山分公司基站坐标勘误案例，系统自动生成的解决方案为这个经纬度，在11月4日实施修改之前是偏差为2公里，调整后误差大概就是240米了，大幅减少原来台账坐标的误差。
前面讲的几个系统都是移动网络优化、维护方面的，那么还缺失的规划和建设，那就是天翼蓝图了。天翼蓝图是基于大数据提供移动网络的智能规划功能，实现规划流程闭环管控、高价值区域推荐以及建设效果预评估。传统规划支撑存在问题和解决思路如下：缺乏统一管控，效果跟踪不明显，通过打通生产系统，构建规划闭环管控系统来解决；重要、高价值投资区域无法精准识别，基于大数据技术构建高价值规划评分模型，挖掘高价值资源投放区域；预评估手段不足，无法准确预测规划效果，基于大数据构建动态仿真系统，实现智能规划预评估。天翼蓝图是今年的重点开发应用，有些功能还是规划开发中，主要讲讲思路吧。
首先是构建规划闭环管控流程，实现规划生产流程再造。目前这个功能已经实现了，以天翼蓝图为中心，打通天翼蓝鹰、集团站址库、工单系统、51工程交付系统、4G综合网管系统的对接，并自动实现建设后评估，建立需求把控、预评估、站址确定、建设和后评估的整个流程的闭环管控，同时也真正实现维护、优化、规划、建设的一体化。目前已经触发4000多张规划需求工单，高效提升规划效率和降低投入成本。
为了挖掘资源投放高价值区域，将基于大数据构建一套基于网络覆盖、网络负荷、业务价值、用户价值、用户感知、终端价值等6方面12个维度23个指标的评分模型，通过不同场景权重配置，最后得到每一个区域的分值，按照分值高的区域推荐为资源投放区域。这一块功能还是研发当中。
这几个应用系统的运营成效显著，真正实现赋能生产一线。2017年开始，全省21地市规模应用，嵌入生产流程，系统可代替80%路测。作为2018年4G精品网络挂图考核系统，支撑覆盖率提升 4个百分点，为企业实现降本增效，每年节省网运成本几千万元，提升工作效率百倍以上，在生产派单、优化支撑、规划支撑、市场支撑、大型活动保障支撑、迭代优化等方面发挥较大支撑作用。
— 完 —