答:Backend as a Database, Sort Of
直接把 Mysql 暴露在公网给前端使用会有什么问题:
要做到 Backend as a "Database",就是回答以上问题如何解决。
Mysql / Postgresql 的权限太粗了。肯定是要在 Mysql / Postgresql 外边套一层去校验权限。这里有如下的挑战要解决
解决了以上问题,我们就获得了一个内建权限的“Database”,可以开放到公网给前端访问。实际拉数据的时候,用的是人类用户自己的身份。只要用户自己对要访问的数据表或者行有权限,就可以访问到,否则就访问不到。
写一个 Typescript 的类,然后把 Mysql 的表建好。和 Java Hibernate 一样
- @Biz.profile('买家', 'read')
- @Biz.profile('店长', 'read', 'create', 'update', 'delete')
- @Biz.profile('管理员', 'read', 'create', 'update', 'delete')
- @Biz.authentic({ rowPolicy: 'public' })
- @Biz.published
- export class RegionFreightTmpl extends Biz.ActiveRecord {
- @Biz.lookup
- public readonly freightTmpl: FreightTmpl;
- // 计费模式:按件(目前只有按件)
- public freightTmplType: string;
- public firstPrice: number;
- public firstAmount: number = 1;
- public additionalPrice: number;
- public additionalAmount: number = 1;
- public regions?: string;
- }
查询的时候直接用这个 class 来指代这张数据库表就可以了。
能够做好权限校验的前提是只暴露单表的简单查询。那么 count / sum / join 这些怎么处理? 难道是要发明一种 SQL 变种,然后搞 SQL 解析么?
一个简单的做法就是引入“视图表”的概念。把这些聚合查询都建模成一张虚拟的视图表。这样在查询的时候仍然是单表查询。
如果所有的聚合查询都要按需计算则会非常慢。经常我们需要一些按日期,按维度提前聚合好的中间结果。这个可以用物化视图表来表达
- @(Biz.view`SELECT id, gender, age, city, SUM(OrderItem.cost) AS total
- FROM ${impactSet}
- JOIN ${User} on User.id = impactSet.userId
- LEFT JOIN ${Order} on User.id = Order.userId
- LEFT JOIN ${OrderItem} on Order.id = OrderItem.orderId`)
- @(impactSet`SELECT DISTINCT(Order.userId) AS userId FROM ${ Order }`)
- @(impactSet`SELECT DISTINCT(Order.userId) AS userId FROM ${ OrderItem } JOIN ${ Order } on Order.id = OrderItem.orderId`)
- @Biz.source(Starriness, { dataSource: 'clickhouse' })
- export class UserWithTotal extends Biz.SqlView {
- public readonly id: string;
- public readonly userId: string;
- public readonly created_at: Date;
- public readonly total: number;
- }
物化视图的问题在于什么时候刷新。通过用 SQL 定义 impactSet,我们可以由 mysql binlog 触发物化在 clickhouse 中的物化视图表刷新。
物化视图的来源是业务数据。用户行为因为数据量比较大,不太适合直接插入到 mysql 中。把用户行为单独提供一张宽表来记录用户做过什么操作。写入可以是内存缓冲,或者经过 kafka 这样的队列缓冲。
宽表的列应该是按业务需求扩展的,如果业务上关心用户操作的订单id,或者商品id,则要加上这些字段。大概的 api 也类似 mixpanel 这些老牌分析厂商的上报接口。
物化视图在计算报表的时候可以 join 用户行为表和业务数据表来得出分析结果。
一次 rpc roundtrip 只能发一条查询太慢了。那支持一个数组,一次可以提交多条查询就好了。至于前端代码中怎么把多个组件的查询聚合到一个 rpc 中,这个就看前端的 data query 框架是怎么来弄了。无非就是全局搞个 buffer,在“合适的时候”刷一下这个 buffer,批量查一次。
细粒度的用户权限只能解决数据完全被一个用户拥有的问题。很多时候数据是协作数据,有多个 stakeholder,那么就必须经过协商好的规则去修改数据,而不是一个用户说了算。例如你可以决定今天的日记本里随便写啥,但是不能决定把今天晚饭的订单改成0。日记是你拥有的,但是订单是多个相关方都关心的。
解决业务规则校验后写入的问题就是存储过程了。前端同学肯定是希望用 javascript 来写存储过程。实际上就是所谓 FaaS 的云函数。本质上就是后端代码仍然有,只是换了一拨人来写。
如果业务规则比较简单,例如只是一个状态机的转换图,则可以用配置替代code。当然大部分时候,复杂的业务逻辑,上 javascript 是最直观的。
数据库表结构变更了肯定还是要写 SQL 来升级数据库的,标准做法没啥说的。
01什么是装饰器? 要理解什么是装饰器,您首先需要熟悉Python处理函数的方式。从...
‘天池·TEENTOP杯’AI少年挑战赛”航班启航 Python 数据科学双赛道承载少年 AI ...
本系列将按类别对题目进行分类整理,重要的地方标上星星,这样有利于大家打下坚...
本文档介绍如集群需主动外访,如何设置固定外访 IP。 需求场景 如果您伸缩组中的...
2020年是不平凡的一年,逆境之下,ICT行业的韧性愈发凸显。产业链上下游企业携手...
并非所有人都喜欢在线学习或使用视频教程,有些人则是更喜欢阅读书籍,阅读书籍...
背景 最近有接到一个咨询,腾讯云数据库 MySQL 的只读实例出现了同步延迟,但是...
前言 先说一下场景需求: 1、远程ssh访问设备,但是设备端不具备公网访问能力。 ...
虚拟主机 管理面板是什么意思?虚拟主机的管理面板是协助用户管理虚拟主机的,有...
都说程序员的电脑上有各种各样的软件工具、编辑器、插件等等,不同岗位的程序员...