tdengine在持久化存储方面的设计

johnhuster的分享

发布于 2022-03-28 21:38:33

1.1K0

发布于 2022-03-28 21:38:33

TDengine采用数据驱动的方式让缓存中的数据写入硬盘进行持久化存储。当vnode中缓存的数据达到一定规模时，为了不阻塞后续数据的写入，TDengine也会拉起落盘线程将缓存的数据写入持久化存储。TDengine在数据落盘时会打开新的数据库日志文件，在落盘成功后则会删除老的数据库日志文件，避免日志文件无限制地增长。

为充分利用时序数据特点，TDengine将一个vnode保存在持久化存储的数据切分成多个文件，每个文件只保存固定天数的数据，这个天数由系统配置参数days决定。切分成多个文件后，给定查询的起止日期，无需任何索引，就可以立即定位需要打开哪些数据文件，大大加快读取速度。

采集的数据保留时长，由系统配置参数keep决定。过期数据将会被系统自动删除，释放存储空间。cassandra也有类似的机制，创建keyspace时可以设置对应的TTL。

一个vnode中总的数据文件数为：向上取整(keep/days)+1个。总文件数不宜过大，也不宜过小。10到100以内合适。基于这个原则，可以设置合理的days。截至到TDengine-server-2.2.0.2版本，参数keep可以修改，但对于参数days，一旦设置后，不可修改，后期版本也许可以更改。

建库例子：

CREATE DATABASE power KEEP 365 DAYS 10 BLOCKS 6 UPDATE 1;

参考文章：

1、文档 | 涛思数据

本文参与?腾讯云自媒体分享计划，分享自作者个人站点/博客。

原始发表：2021-09-23 ，如有侵权请联系 cloudcommunity@tencent.com 删除

node.js