众所周知,数据对于机器学习的重要性。了解数据访问模式将帮助数据科学家确定适合其项目的正确存储基础架构。数据基础架构使机器学习成为可能。然而,一旦开始使用,机器学习就面临着关键的数据挑战,需要首先解决:
接下来,让我们深入研究其中的每一个,以便大家了解如何克服机器学习的这些挑战:
1. 质量
许多数据科学家希望利用外部来源的数据。然而,通常没有质量控制或保证如何捕获原始数据。
你相信外部数据的准确性吗?
这是一个很好的例子。漂浮在海洋中的浮标上的传感器收集有关海洋温度的数据。但是,当传感器无法收集温度时,它将记录为999。此外,在2000年之前,仅用两个数字记录了年份的数字。但是在2000年之后,记录的数字变为了四个。
因此,我们需要了解数据的质量以及如何准备数据。在这种情况下,分析浮标数据的科学家可以使用平均值、均值、最小值、最大值来可视化原始数据,捕获这些数据库错误并相应地对其进行清理。
2. 稀疏性
在这种情况下,稀疏适用于元数据。通常,元数据字段不完整,有些字段已填写,有些字段留空。如果数据是从单一来源生成的,则可能是由于人类缺乏规范或知识所致。但是,如果数据来自各种来源,而没有元数据的标准定义,则每个数据集可能具有完全不同的字段。因此,将它们组合在一起时,完成的字段可能不对应。
当前,关于捕获哪些元数据没有行业标准。然而,元数据与数据本身一样重要。当您具有填充了不同元数据字段的相同类型的数据时,如何关联和过滤数据?
如果以浮标为例,初始数据传感器每十分钟收集一次水温,而较新的浮标每三分钟收集一次水温。关联数据的唯一方法是通过元数据在捕获时公开。当科学家进行历史分析时,他们需要元数据以便能够相应地调整其模型。
3. 完整性
数据完整性是数据准确性和一致性的保证。数据保管链对于证明数据在流水线和位置中移动时不会受到损害至关重要。当数据的捕获和摄取受到控制时,您可以相对轻松地验证其完整性。但是,与他人合作时,很难进行验证。生成数据时,没有用于外部数据的安全证书。您也不能确保数据记录完全符合预期,也不能确保接收到的数据与原始记录时完全相同。
关于物联网数据和区块链存在一些有趣的概念,但是,在广泛采用这种概念之前,数据完整性取决于安全技术和策略的结合。例如,由于数据在静态或传输过程中可能会受到威胁,因此通过网络传输的数据应使用https,并且在静态时应进行加密。另一方面,访问控制应受策略驱动,以避免人为错误。
如何开始?
数据质量、稀疏性和完整性直接影响最终模型的准确性,并且是当今机器学习面临的一些比较大的挑战。拥有清晰数据定义,政策并探索行业特定数据标准的组织将在短期和长期项目中受益。
如果您还没有,那么您的组织应该首先定义自己的数据收集策略,元数据格式,然后应用标准的安全技术。数据质量和稀疏性齐头并进。下一步,设置元数据策略,并确保可以使用捕获的定性数据来验证数据的有效性。最后,为了确保数据完整性,可以在生成数据时应用数字证书,应该在传输过程中强制使用SSL,并且始终保持启用加密状态。
安全数据协作
如果您所在的行业需要与外部组织不断交换数据,那么最好开放您的数据和元格式的源代码,因为这些标准比许多专有标准更广泛。更好的是,您可以发起一个行业开放标准委员会,让其他人参与和贡献。一个很好的例子是“开放目标”(https://www.opentargets.org/),这是一种“公私合作伙伴关系,利用人类遗传学和基因组学数据进行系统的药物靶点识别和优先排序。”
尤其是研究数据生态系统已经变得高度复杂,组织内部和外部的合作者需要快速访问数据以及简化数据管理的方法。机器学习的挑战很多。第一步是使用正确的数据和基础结构启动项目。
近年来,随着自动化需求的不断释放、人口红利因素的持续影响,我国工业机器人迎...
2019年8月5日,携号转网进入落地阶段。 2019年11月10日,三大运营商携号转网服务...
苹果已经正式推出了iOS13.5正式版,这也是iOS系统近几个月来最大一次升级,而且...
当谈到Android版本名称时,我们不再处在糖果,饼干和糖果的美味之地。 与大多数...
7月31日起,苹果规定在中国地区游戏App需要录入国家新闻出版广电总局颁发的版号...
如今,大多数围绕人工智能(AI)的讨论都集中在自动驾驶汽车、聊天机器人、数字孪...
Infoblox近期发布的调查数据,确定了通信服务提供商(CSP)在过渡到分布式云模式时...
自然语言理解(NLP)素有人工智能皇冠上的明珠盛誉,这也意味着语言与知识等认知...
2020年5月30日新华社正式对外发布,国家发改委在《关于2019年国民经济和社会发展...
苹果于昨日向所有 iPhone 用户推送了最新的 iOS 13.7 更新,带来了一些重大的改...