新应用驱动的数据库(5G、车、终端云)

从数据库诞生开始,新的应用领域就不断为数据库带来新诉求,例如巨大的数据量、更短的数据处理时间、更高的可靠性、新的数据类型,而数据库也在满足这些新的诉求的同时得到不断的发展与更新。

一、 及其相关应用对数据库系统带来的挑战与机遇

从历史上看,通信技术对数据库发展起到了至关重要的作用：

1. 1980—1990年,TCP/IP网络协议出现,大中型企业内部开始规模部署局域网,甚至通过卫星技术将地域上分散的局域网互联互通,这推动了企业IT系统从主机时代走向客户端/服务端(Client/Server,C/S)时代。Oracle数据库抓住C/S架构下数据库系统需要应对更高并发、更多客户端连接的挑战,加大C/S架构数据库研发,在数据库市场上取得了决定性胜利,市场份额甚至接近当时企业IT 霸主IBM 的DB2数据库。
2. 上分散的局域网互联互通,这推动了企业IT系统从主机时代走向客户端/服务端(Client/Server,C/S)时代。Oracle数据库抓住C/S架构下数据库系统需要应对更高并发、更多客户端连接的挑战,加大C/S架构数据库研发,在数据库市场上取得了决定性胜利,市场份额甚至接近当时企业IT 霸主IBM 的DB2数据库。
3. 1990—2000年,互联网和万维网普及,对运营电子商务和在线购物公司的数据库系统提出更为艰巨的挑战,单一服务器无法满足运营公司对处理能力、数据容量等的诉求,且在线业务对服务的持续可用性也提出了更高的要求。Oracle公司抓住市场机会,推出了Oracle RAC集群数据库,在这一时期最终成为数据库市场的老大。
4. 2000年至今,移动互联网和智能手机兴起,用户从过去固定时间和地点接入互联网,到随时随地进行网络社交活动、在线支付和购物,即使集群数据库系统也无法满足性能、扩展性和服务可用性的诉求,必须从过去垂直扩展Scale-up(通过升级硬件配置提升性能)走向横向扩展Scale-out(通过增加新的服务器硬件提升系统整体性能)。分布式数据库系统从研究走入商用,这一时期的典型代表是谷歌公司于2012年发表的论文中阐述的Google Spanner分布式数据库系统。

维基百科对5G(5th generation mobile networks or 5th generation wireless systems,第五代移动通信技术)的定义: 是最新一代蜂窝移动通信技术,是4G(LTEA、WiMAX-A)系统后的延伸。5G 的性能目标是具有高数据传输速率、减少延迟、节省能源、降低成本、提高系统容量和连接大规模设备。

5G作为最新移动通信技术,其高带宽(吉比特每秒级)、极低延迟(毫秒级)的特征使其主要潜在应用于AR(Augmented Reality,增强现实)/VR(Virtual Reality,虚拟现实)、云游戏、实时视频通信、无人机、工业互联网等。

这将对数据库系统带来新的挑战,体现在:

1. 终端设备到云端网络延迟通常上百毫秒,不利于充分利用5G 的低延迟特性,考虑在终端设备与云端之间部署中小型计算中心,这种部署称为边缘计算。如何将计算和数据在终端-边缘-云之间进行高效的协同,是新型数据库系统的研究方向。

2. 5G网络下,视频和计算机视觉相关应用将成为杀手级应用,如何解决图像的实时查询和分析等问题,也会成为新型数据库系统的热点话题。

二、自动驾驶汽车对数据库系统带来的挑战与机遇

根据维基百科对自动驾驶汽车的定义: 自动驾驶汽车能通过雷达、光学雷达、GPS(Global Positioning System,全球定位系统)及计算机视觉等技术感测其环境。先进的控制系统能将感测资料转换成适当的导航道路以及障碍与相关标志。根据定义,自动驾驶汽车能透过感测输入的资料,更新其地图信息,让交通工具可以持续追踪其位置。

当前业界研发自动驾驶需要采集大量数据,包含来自车载传感器的各类时序数据(上百种)、激光雷达的点云(Point Cloud)数据、毫米波雷达数据、GPS定位数据、车载摄像头的视频数据等。

自动驾驶汽车会产生海量数据,厂商会采集并在云端存储某些车辆数据,用于研发。典型数据量如下:

• 600GB/h-radar;
• 140GB/h-lidar;
• 3.2TB/h-camera;
• 40GB/h-sonar;
• 6GB/h-CANbus。

厂商一般在云端需要存储和管理数十PB(1PB=1000000GB)甚至更多数据量,如何高效地存储、管理和查询这些海量、异构、多模的数据,是当前自动驾驶领域面临的严峻挑战。

三、终端云对数据库系统带来的挑战与机遇

智能手机厂家为了给用户提供优良的体验,一般都构筑终端云服务,为用户提供云存储备份(如相册、短信、通讯录等),这极大方便了用户更换手机,即使用户手机丢失,但手机中数据无损。同时,如何保证用户数据隐私和安全是一个重大的技术挑战。

2016年欧盟专门为数据隐私和安全提出新的法案《通用数据保护条例》(General Data Protection Regulation,GDPR,欧盟法规编号为(EU) 2016/679),是在欧盟法律中对所有欧盟个人关于数据保护和隐私的规范,涉及了欧洲境外的个人资料出口。GDPR主要目标为取回公民以及居民对于个人资料的控制,以及为了国际商务而简化在欧盟内的统一规范。

当前数据库缺乏原生对用户数据隐私和安全的保障机制,这对终端云数据库提出新的挑战,例如:

• 数据主体(Data Subject)有被遗忘权(Right to be Forgotten),即可以要求控制资料的一方,删除所有个人资料的任何连接、副本或复制品。数据库系统如何保证数据主体所产生的数据按照要求,正确、一致、稳妥地进行删除,这涉及数据主体所产生数据在不同子系统中流转的跟踪、所产生数据副本的管控与追溯、存储介质的擦除等难题。

• GDPR要求执行安全防护(Security Safeguards Principle),即个人资料应受到合理的安全保护,以防止丢失或未经授权的访问、破坏、使用、修改或披露数据等风险。这对数据库系统提出数据需要在存储、传输和计算中均保证安全、可信,不因为被攻击而产生数据泄露等难题。

小结

在层出不穷的新硬件、新应用驱动下,数据库系统的研究与开发已经进入新的时代,迫切需要新的数学理论、算法和新的工程架构实践,这为未来计划从事数据库研究的学者和数据库研发人员提供了巨大的机会。