Multi-Raft 方案

[panlei-coder]

实现 Multi-Raft 方案
1.用 Slot 替代 DB 的概念
2.采用预分裂的方式实现集群分片
3.Raft 的粒度为Slot

[hotjump]

实现 Multi-Raft 方案
1.用 Slot 替代 DB 的概念
2.采用预分裂的方式实现集群分片
3.Raft 的粒度为Slot

---

使用hash分区，然后每个raft对应一个RocksDB实例，这样管理成本相对低一些。
预分配分片个数，这个可以根据集群规模和单个集群的上限规模(比如磁盘和内存)去计算出来，在这个基础再往上加一些应该就比较保险了。

[hotjump]

上层的proxy作为无状态的pikiwidb层，用来接收redis命令或者拆成具体的实现方法，使用kv接口去访问Multi raft的存储层。

[hotjump]

一旦有了多multi raft，就必然会有很多状态的变更要同步给proxy，我们可以做一个raft组用来记录全局的状态信息。proxy作为learner加入这个raft组，就可以通过快照安装和日志同步很自然地拿到最新的集群状态。并且proxy无需感知某个pd挂掉的问题。

[hotjump]

1. 有一个bootstrap的地方，可以拿到pd角色的地址(可以类似一个DNS的服务，有一个固定的域名)，这时proxy作为learner加入这个metadata同步的raft组，也就无须感知pd的故障，当pd leader挂了会有新的leader接管给learner继续同步metadata。
2. proxy只需要访问这个raft组对应的本地rocksdb就可以拿到最新的metadata，数据第一次通过raft的安装快照获取，后面通过日志同步更新。这里可以使用pikiwdb服务的redis命令。
3. 这个pd也不要其他节点的心跳了。当它是metadata组的leader时，它就作为一个特殊learner(这个还不存在，还需要再改点代码)加入其他raft组，只接受membership change的信息。这样其他raft出现故障切换时，这个metadata组的leader也能第一时间拿到，更新到metadata里，这样proxy也就拿到了。
4. 当有新的raft组上线时，(比如第一次上线或者支持raft分裂后)，它发现自己没有一个特殊的learner(也就是pd的metadata leader，可能是这个raft组第一次上线，也可能是作为learner的pd leader挂了)，它可以先给pd的metadata组发一个信息，可以是一个redis的kv操作，meta leader定时检查一下这些Key-value，发现这个key对应的raft组还没有learn起来，就去建立这个特殊的learner角色，并且把数据更新的metadata组的数据里，当然这里可以继续使用redis命令操作。
5. 这个metadata组的数据访问复用现在的逻辑，还是一个pikiwidb的服务，方便使用redis的命令去修改和查看。
6. 上面的pd和metadata组可以认为是一个东西。

[dingxiaoshuai123]

https://m0jlcucyhxm.feishu.cn/docx/F2qMd0eRUotvrdxAHBdcpx5yn5Q 潘磊同学画的图 @hotjump

[hotjump]

intro

本文描述一些设计系统的详细内容，考虑角色包括:

1. bootstrap：用于帮助其他角色获取pd所在的位置。
2. proxy：用于转发redis请求至合适的store节点进行读写操作。
3. pd：用于进行一些全局的操作，比如获取全局的主备关系，负载均衡。
4. store：进行普通的读写操作。

角色是可以合并在同一个进程内进行一些最小化部署。

bootstrap (暂时不做)

作为一个自举服务，让其它角色知道pd所在的位置。如果没有bootstrap时，也可以将pd的位置作为一个参数作为启动项。

proxy ：trl, hky

metadata learner

流程：

1. 获取PD的位置。
2. 加入PD所在的raft组，通过Install snapshot和append entries及时获取最新的metadata。

metadata的格式参考PD的描述。

转发请求

brpc支持redis协议，根据 docs/cn/redis_client.md 的文档描述，使用 brpc 提供的reddis协议，相比使用hiredis(官方client)的优势有：

• 线程安全。用户不需要为每个线程建立独立的client。
• 支持同步、异步、批量同步、批量异步等访问方式，能使用ParallelChannel等组合访问方式。
• 支持多种连接方式。支持超时、backup request、取消、tracing、内置服务等一系列RPC基本福利。
• 一个进程中的所有brpc client和一个redis-server只有一个连接。多个线程同时访问一个redis-server时更高效（见性能）。无论reply的组成多复杂，内存都会连续成块地分配，并支持短串优化(SSO)进一步提高性能。

流程：

1. 接收用户请求，初步分析需要访问的数据的逻辑位置。
2. 通过metadata learner提供的服务，将逻辑位置转化成需要访问的pikiwidb-store的数理位置。
3. 考虑使用brpc的redis协议去访问pikiwidb-store，并且拿到结果访回给用户。

PD ：pl, ncy, gkj

为了方便运维和使用，我们可以自定义一套redis命令用于集群操作，这个也还需要再细化设计。

在初始状态下，集群可以没有任何的存储节点，我们需要添加机器节点到PD中，这时PD就可以将slot分配到对应的机器上了。

metadata

包括但不限于：

1. 机器节点：包括资源使用和进程分布。
2. 进程信息：进程内的slot分布。
3. slot信息：slot的leader/follower的分布情况。

TODO：具体还要再细化设计。

metadata raft组

与当前的三节点组raft组方法一样。启动三个raft节点，形成一个raft组并选出leader。

流程：

1. 通过special learner监控slot的leader/follower，并更新到metadata raft组的数据里。
2. 主动通过rpc调用或者自定义的redis命令从pikiwidb-store进程里拿到更多信息。

功能和命令

1. 添加机器：用于第一次添加机器或者扩容使用；可以通过redis命令将可以使用的机器发送给PD，PD就可以通过负载均衡的算法将slot分配到有资源的机器上。
2. leader迁移：当我们有较多机器时，会倾向于让leader更均衡分配在多个机器上，PD可以根据slot的leader/follower的分布情况逐渐去调整它。
3. 扩容迁移：当有新机器上线时，会倾向于slot更分配在多个机器上，PD可以根据不同机器的资源余量逐渐去调整它。
4. 缩容迁移：3的逆向。
5. store启停：控制store进程的启停。
6. store 探活：

store ： dxs

store进程启动上线后，需要和PD有一些配合的工作。

功能和命令

主要提供一些PD所需要的操作，包括：

1. leader迁移。
2. slot迁移：包括增加slot，或者删除slot。
3. 进程启动和停止。
4. 进程当前的服务情况：QPS和延迟统计信息，CPU和内存使用等。

启动和停止

store的启停主动由PD控制。

1. PD往可用的机器发送安装包(optional)。
2. 通过命令启动store进程。
3. store进程完成初始化后，给PD发送完成启动。
4. 作为leader的slot请求PD在自己所在的raft组添加learner。
5. 如果发现PD-learner掉线后(此时可能PD出现了故障)，会请求PD再加添加learner。

[panlei-coder]

proxy :

[AlexStocks]

jraft rheakv 有个 fake PD 选项，也就是可以不用启动一个 PD，让 3 个 node 构成一个 group 小集群，只有数据面。

PikiwiDB 的 PD，尽量也可以做成 fake 方式，可以独立部署，也可以不独立部署。

[AlexStocks]

Curve 一些有用的文章：
curve & braft http://aspirer.wang/?p=1760
Curve支持S3 数据缓存方案 https://github.com/opencurve/curve/blob/master/docs/cn/Curve%E6%94%AF%E6%8C%81S3%E6%95%B0%E6%8D%AE%E7%BC%93%E5%AD%98%E6%96%B9%E6%A1%88.pdf
Curve块存储性能调优指南 https://github.com/opencurve/curve/blob/master/docs/cn/Curve%E5%9D%97%E5%AD%98%E5%82%A8%E6%80%A7%E8%83%BD%E8%B0%83%E4%BC%98%E6%8C%87%E5%8D%97.md
CurveBS写时延优化方案 https://github.com/opencurve/curve/blob/master/docs/cn/CurveBS%E5%86%99%E6%97%B6%E5%BB%B6%E4%BC%98%E5%8C%96.md
CurveFS支持多挂载 https://github.com/opencurve/curve/blob/master/docs/cn/CurveFS%E6%94%AF%E6%8C%81%E5%A4%9A%E6%8C%82%E8%BD%BD.pdf
晋升 PPT 及讲稿 – 202209 http://aspirer.wang/?p=1778

[AlexStocks]

诡异！Redis Proxy RT上升后连接倾斜 https://mp.weixin.qq.com/s/ZE2-NPRY6qZ9YpZ47QrR4w