泛存储系统：数据管理的重大变革
泛存储(polystore)系统是一种颠覆性的数据管理方法，可以实现对各种不同类型的数据源和技术的无缝连接。
译自 polystores-the-data-management-game-changer 。
全球每年产生的数字信息量正在呈指数增长。2021年，全球每年产生、复制和使用的数据量达到了79兆亿字节。预计到2026年，这个数字会翻一番；到2030年，数据量有望达到1尧字节（yottabyte）的量级。
要理解这些数据量级需要一些参考：
- 1PB约合1.1万部4K高清电影
- 1ZB为1000 PB，约合1.1亿部4K高清电影
用另一种计算方式，如果将美国国会图书馆所有图书数字化，大约为40TB，即1PB的4%(每本书约1MB，图书馆藏书4000万册，四舍五入取整)。全球共制作了约50万部电影，约合46PB，不到1ZB的1%。
当然，不是所有组织都会面临大数据处理的挑战。但是，数据是大多数乃至所有企业的基础。不管是否情愿，我们的数据存储量会继续快速增长，而数据的形式也在不断变化。结构化或非结构化，数据都在讲述一个故事，每个故事都是企业成功的关键。无论一个组织正在存储大量数据集还是拥有细分数据集，随着时间推移，组织需要处理的数据类型和数量都会变化和增加。这只是商业需求自然演变的一个必然过程。
就像大自然一样，为了获得竞争优势，我们必须学会及时适应变化。当前传统的数据管理方法正面临前所未有的挑战。这就是泛存储系统扮演重要角色的地方。
根据大数据专家和研究人员的说法，泛存储系统是一种“构建在多个异构集成存储引擎之上的数据库管理系统(DBMS)”。它与传统的数据库联合系统有着本质区别。
简单来说，泛存储系统是一种颠覆性的数据管理方法，可以实现对各种不同类型的数据源和技术的无缝连接。通过组合不同的、针对特定使用场景进行优化的数据库技术，组织可以通过泛存储系统实现性能、扩展性和分析能力的优化。
随着企业、个人和各种联网设备产生的数据量呈指数增长，如何有效管理海量数据并从中获取价值已经变得非常关键。
非结构化数据的崛起
当我们去看医生时，我们使用的是自然语言进行表达，而不是直接讨论数据。但是我们说的话和分享的信息，不管是什么语言，都会被医务人员用工具转换成某种“可用”的数据形式。仅在医学领域，医学知识就被认为每73天翻一番。这意味着医生需要及时消化和掌握的新医学知识数量呈指数增长，给他们带来了巨大挑战。另一方面，医务人员不仅要学习新知识，还需要及时抛弃过时的医学信息，这也是一大难题。
非结构化数据及其应用已经得到长足发展，但是支持非结构化数据存储和使用的技术还处于起步阶段。市场研究公司IDC预测，到2025年，全球约80%的数据将是非结构化的。这包括各种类型的数据，如文本、图像、音频、视频、社交媒体帖子等。传统的数据管理方法通常很难处理不同数据源的复杂性和多样性，导致数据隔离，效率低下，错失宝贵的洞察力。
可以说，组织正在努力应对管理大量异构数据的挑战，这可能还是一个保守的描述。
揭示泛存储系统的力量
这些年来，我们见证了从兆字节到千兆字节、太字节和拍字节的数据存储单位的增长。随着数以亿计的拍字节级的数据的出现，我们进入了用兆亿字节(ZB)计量的数据时代。这种指数增长需要创新解决方案来存储、管理和分析如此大量的信息。
泛存储系统可以帮助应对数据爆炸和非结构化数据带来的挑战。它可以无缝链接各种不同类型的数据源，所以组织可以统一汇总和协调来自各种系统、数据库和应用程序的异构数据。无论是关系型数据库中的结构化数据，社交媒体源中的非结构化数据，还是物联网设备中的半结构化数据，泛存储系统都可以提供统一的全局数据视图。有了泛存储系统，可以打破数据孤岛，进行跨部门的数据分析，获得全面深入的洞察。可以从单一渠道获取所需数据，而无需关心数据存储在哪个数据库。
随着新型数据存储技术不断涌现，数据技术生态必然会频繁变化。泛存储系统提供了适应变化和演进的灵活性。当组织从一个数据库技术转向另一个时，泛存储系统可以提供无缝的过渡，确保业务中断最小化，同时最大限度地复用现有的数据资产。这种适应性使数据管理战略具备面向未来的特征，可以让企业随时利用新兴技术，而无需从零开始重建。
当前有300多种不同厂商的数据库类型，各有其独特的用途和功能，比如性能优化、扩展性或其他特殊功能。泛存储系统采用混合的方法，根据不同的使用场景选择和利用不同数据库技术的优势。通过组合不同数据库的优势，如关系型、NoSQL、列式和图形数据库，组织可以实现性能、扩展性和分析能力的最佳组合。这样可以提高数据处理效率，加快查询响应，并能够处理不同类型的数据。泛存储系统让企业能够充分发挥数据的真正潜力，使用最适合不同数据场景的技术。
在数据量持续扩大的世界里，组织面临高效管理多个数据集的艰巨任务。每当业务需求变化时，就会增加数据复杂性。泛存储系统提供了一个颠覆性的解决方案，可以无缝链接各种不同类型的数据源，并能够适应数据技术的不断进步。拥抱泛存储系统，企业可以消除数据隔离，降低数据库迁移风险，并从数据中提取有价值的洞察，做出明智的业务决策。关注并尽早拥抱泛存储系统是非常明智的，因为它们是构建面向未来的数据管理战略的关键，可以让组织在大数据时代持续茁壮成长。