AI 数据目录：探索人工智能为元数据应用和数据交互带来的可能性
AI 数据目录：探索人工智能为元数据应用和数据交互带来的可能性
AI数据目录会在您的数据资产中搜索元数据，然后对其进行处理以实现数据工作流程自动化，并提供智能建议来丰富数据发现、探索、文档记录和治理。
借助 AI 数据目录，您可以在几秒钟内获取所需的所有数据和上下文，以便做出更好、更有洞察力的决策。让我们了解人工智能在数据编目方面的可能性，然后探讨人工智能数据编目对业务的影响。
1.什么是人工智能数据目录？
AI 数据目录是一种现代数据目录，它使用自动化和智能建议来抓取、收集和处理元数据，从而优化数据文档、搜索、发现和探索。它能够从资产的元数据中提取上下文，帮助数据从业者思考更多、减少工作并提高效率。
根据Gartner 的说法，人工智能数据目录“自动化了数据编目中涉及的各种繁琐的任务，包括元数据发现、摄取、翻译、丰富以及元数据之间语义关系的创建。”
对于要被视为AI 数据目录的数据目录，它应该：
l为数据文档提供自动建议- 业务术语表、数据资产描述、自述文件
l建议您可以提出的有关数据的问题
l自动完成和编写SQL查询，增强现有查询脚本，并修复错误，以便每个人都可以探索数据集
l支持跨数据资产的自然语言搜索
l当您搜索数据时推荐类似的资产
l自动建议 和更新数据标签，以便您可以轻松地大规模分类数据
l运行自动质量检查，并在资产或管道出现问题时提醒相关人员
人工智能世界在不断发展，创新突破每天都在发生。例如，微软最近向 OpenAI 投资了 100 亿美元，GitHub 推出了名为 Copilot 的结对编程 AI，文本和图像处理聊天机器人 GPT-4 现已面世。人工智能的这些令人难以置信的进步开辟了新的可能性，并展示了人工智能在改变和彻底改变各种工作流程方法方面的潜力。
因此，人工智能如何改变您的数据编目体验的可能性也是无限的。
为什么您需要关心具有人工智能功能的数据目录？
人工智能数据目录可以帮助数据从业者提高日常工作流程的生产力和效率。
人工智能如何影响下一代元数据的发展？这对数据团队意味着什么？- 来源：Youtube 上的 Data Cloud Now。
Gartner表示，“人工智能可以协助数据准备、洞察生成和洞察解释。它通过自动化数据科学、机器学习和人工智能模型开发、管理和部署的许多方面来为专家和公民数据科学家提供支持。”
福布斯是这样强调人工智能在编目方面的可能性的 。借助人工智能数据目录，首席营销官可以提出诸如“过去十八个月我们最新产品线的印刷和数字广告支出的回报是多少？”之类的问题。
如果没有人工智能数据目录，即使是确定回答这些问题所需的数据点也需要 IT 部门的参与，而 IT 部门（积压了其他优先事项）可能会在几周内得到答案。借助人工智能支持的现代数据目录，用户可以在几分钟内自行查找并找到此类问题的答案。
详细了解人工智能如何为数据目录工作流程提供动力——可以节省时间、提高效率并从大规模数据中提取价值。
2.AI 数据目录对业务有何影响？
人工智能已经在改变我们的工作方式，并且很容易想象它能为我们的数据交互和体验带来的可能性。当我们感到兴奋时，让我们考虑一下如何使用人工智能数据目录来推动业务成果。
1)通过更快、更高效的数据发现来节省成本
2)大规模发现新机遇以推动收入增长
3)通过自动化和数据文档智能建议减少工作量
4)通过确保所有应用程序之间的数据一致性来减少数据混乱
5)通过无代码数据探索缩短洞察时间
6)提高数据安全性、隐私性和监管合规性，以避免高昂的罚款并建立信任
让我们看看如何。
1. 通过更快、更高效的数据发现来节省成本
AI 数据目录可以搜索整个数据资产中的元数据，以提高数据搜索和发现工作的准确性和相关性。
数据从业者可能会花费数小时搜索他们想要的数据 ——平均员工每天花费 3.6 小时搜索信息。IT 团队花费半天时间（4.2 小时）寻找相关信息来支持业务用户的请求。
借助人工智能数据目录，数据从业者可以减少寻找正确数据所需的工作量。他们可以使用类似谷歌的搜索界面询问有关数据的问题，并获得闪电般快速的搜索结果。
每天至少节省 3 个小时，从而节省大量时间和成本。
2.大规模发现新机遇，推动收入增长
由于人工智能数据目录可以分析和解释整个数据资产中的元数据，数据从业者可以发现大规模的新机会。
所以，每当你寻找某种资产时，AI也会提供类似数据资产的建议，以便你更好地理解数据资产关系。可以按照 Google 搜索上的“人们也问”和“与……相关的搜索”部分来思考。
如果没有人工智能，建立这样的联系可能需要几天的时间。在某些情况下，您可能完全错过它们——“未知的未知”，即您甚至不知道自己不知道的事情。
《哈佛商业评论》通过这个案例研究解释了“未知的未知数”：
“ GNS Healthcare 应用机器学习软件来查找患者健康记录和其他地方的数据之间被忽视的关系。识别出关系后，软件会提出大量假设来解释它，然后建议其中哪一个最有可能。因此，GNS 发现了隐藏在非结构化患者笔记中的新药物相互作用。”
人工智能数据目录如何帮助完成类似的事情？
人工智能数据目录可以研究有关客户行为的元数据，以建立联系并提供见解。因此，举例来说，如果您搜索某个客户的购买历史记录，人工智能数据目录可能会建议查看有关同一客户的服务请求或提供的反馈的数据。
3. 通过数据文档的自动化和智能建议减少工作量
AI 数据目录可以研究相关资产的元数据，为数据描述、术语表、自述文件等提供自动建议。然后数据从业者可以选择接受、修改或拒绝这些建议。
此过程可能需要数小时并导致不一致。例如，不同的团队可以用不同的方式解释“收入”：
l销售团队可能会将收入视为从客户处收到的金额
l营销团队可能会将收入解释为营销活动产生的资金
l财务团队的解释可能是扣除取消或退款后的金额
l最高管理层可能将收入解释为组织的整体财务状况
标准化这些术语并确保所有团队保持一致对于确保每个人都达成共识至关重要。
人工智能可以从类似的数据资产中抓取元数据，以自动填充数据描述和定义，从而完全避免此类难题。因此，数据从业者花费更少的时间和精力手动记录数据，并依靠智能建议来大规模记录。
4. 通过确保所有应用程序之间的数据一致性来减少数据混乱
人工智能数据目录，尤其是由主动元数据支持的数据目录，还支持双向元数据流。如前所述，人工智能可以通过智能建议加快数据记录速度。
数据从业者还可以对所有应用程序中的数据描述、认证、所有者、分类、状态和其他此类元数据进行批量更新。因此，您的整个数据资产是同步的，每个人都可以访问一致的最新数据。
5. 通过无代码数据探索缩短洞察时间
AI数据目录可以帮助业务用户编写SQL查询并通过英文提示理解现有脚本。AI 还可以审查代码、发现错误并提供修复建议，这样您就不必依赖 IT 来查询数据。
如果没有人工智能，此过程需要向 IT 或工程部门提交请求。他们可能需要几个小时，甚至几天才能回来。
即使他们回来后，结果也可能不是您所需要的，因为业务和 IT 团队使用不同的视角查询数据。虽然业务用户尝试将数据洞察与直接影响整体业务的项目指标联系起来，但 IT 部门可能没有这样的背景。
福布斯总结了业务和 IT 团队如何看待数据的问题：
“高管们通过战略、销售增长、目标市场、竞争威胁、客户体验和公司使命来解决业务问题。IT 专业人士通过截然不同的视角看待世界。”
人工智能使业务用户能够自行探索数据，这也节省了 IT 或中央数据团队用于支持业务请求的时间，以便他们能够专注于数据质量、安全性和可用性。
6. 提高数据安全性、隐私性和监管合规性，以避免高昂的罚款并建立信任
AI 数据目录可以帮助您根据类似数据资产的标签，自动标记数据并通过沿袭进行传播。因此，如果您已将患者记录识别为 PII，那么 AI 数据目录将编译相关资产并建议将它们也标记为 PII。
该目录还将通过跟踪资产在各种工作流程中的历程，确保将正确的数据加密、屏蔽和匿名策略应用于 PII 资产。这有助于您避免合规性问题并确保数据隐私和完整性。
就像分类和加密一样，人工智能数据目录也可以通过沿袭传播访问控制策略。此外，它还可以通过研究类似资产的元数据，为拥有或修改数据资产的人提供建议。这有助于监控数据访问和安全性。
借助 AI 数据目录，您可以降低与数据错误、合规性问题和低效工作流程相关的成本。
此外，由于数据在其整个生命周期中得到了正确的分类、标记和跟踪，因此您知道数据来自哪里、如何处理以及谁有权访问它。这建立了对数据可靠性和质量的信任。
3.总结
数据编目中的人工智能类似于电信行业的 iPhone 时代。从数据发现到探索，人工智能可以为众多用例提供支持，自动执行重复任务，并使数据团队更接近 100% 自助分析。
将 AI 数据目录视为始终在线的智能工作区，充当数据资产的上下文、控制、协作和操作平面。
人工智能数据目录可以解放数据从业者，让他们花更少的时间做繁重的工作，花更多的时间解决问题，从而推动收入增长、发现商机并提高效率。
原文链接：https://atlan.com/ai-data-catalog/?ref=/data-lineage-vs-data-traceability/