PostgreSQL 12的可拔插存储引擎--表访问方法以及bloackholes案例

yzsDBA

发布于 2020-10-28 09:41:23

1.4K0

发布于 2020-10-28 09:41:23

文章被收录于专栏：PostgreSQL研究与原理解析PostgreSQL研究与原理解析

PostgreSQL 12的可拔插存储引擎--表访问方法以及bloackholes案例

正文

PostgreSQL使用自定义插件做扩展时非常便利，例如Decoder plugins、extension、background workers、索引访问方法、hooks、自定义函数、聚合、数据类型等。

对代码做了大量的重构后，PG12具备了表访问方法的基础架构，允许自定义表数据如何存储以及访问。默认情况下，PG的表还是使用heap存储引擎。他的工作原理是基于8KB的页面管理方式，并以段文件（默认1GB）的形式管理页面。需要保存所有版本的tuple。这就意味着即使只修改tuple的一个字段，也需要存储整个新版本。这就使得vaccum和autovacuum变得更加昂贵。当然，本文目的不是讨论这个，需要了解的话可以查看手册。

表访问方法非常cool。允许以插件的形式集成到PG中，就像MySQL的多个存储引擎一样，使实现诸如列存储的功能成为可能。做的方法大致分为两类：

通过PG存储管理器的访问方法，充分利用现有的shared buffer层以及现有的页格式。有2个优势：自动支持备份和checksum。

不通过PG的访问方法。不依赖于PG的shared buffer。使完全依赖于操作系统换成成为可能。当然，需要自己添加函数来完成对checksum和备份的支持。

Ottawa的PG大会上有两个主题关于这个特性：

https://www.pgcon.org/2019/schedule/events/1374.en.html

https://www.pgcon.org/2019/schedule/events/1321.en.html

最近人们开始讨论新的AMs如zheap或者zstore。可拔插的WAL也收到限制，WAL需要注册大量的回调函数，resource manager IDs需要hard values。依赖于AM时，TIDs会成为一个重要问题。

有大量的回调函数定义了AM表是什么（当前有42个），未来接口可能会改变。

我写了个简单的demo作为表访问方法blackhole_am。作为一个新插件的一个demo，操作函数都是空函数。创建表访问方式需要CREATE ACCESS METHOD。编译后生成一个动态链接库，以扩展插件的形式集成到PG。

=# CREATE EXTENSION blackhole_am;
CREATE EXTENSION
=# \dx+ blackhole_am
   Objects in extension "blackhole_am"
           Object description
-----------------------------------------
 access method blackhole_am
 function blackhole_am_handler(internal)
(2 rows)

表定义方式，参数default_table_access_method控制表访问方法，设置后可以不指定using：

=# CREATE TABLE blackhole_tab (id int) USING blackhole_am;
CREATE TABLE
=# INSERT INTO blackhole_tab VALUES (generate_series(1,100));
INSERT 0 100
=# SELECT * FROM blackhole_tab;
 id
----
(0 rows)