20240511 weekly

[longfar-ncy]

PikiwiDB feature：

目标：解决掉 主从同步 和 网络库 这俩大问题，并实现数据强一致

• 1 data-consistency: raft which compatible with master-slave mode；
• 2 volumn-less: split the compute and storage under RocksDB on S3;
• 3 云原生：多租户、存算分离、rebalance
  • 3.1 通过存算分离把磁盘存储池化
  • 3.2 通过RDMA技术把内存池化
  • 3.3 竭尽全力接近 Redis 接口

core

Item	Priority	Issue/Pr	Owner	Description
Command 命令处理	P0	#260	谦祥
网络改造	P0	#5	潘磊	client 链接和 slave 连接分离
内存 hashtable	P0		潘磊/纪世元	tbb hashtable;<br>RocksDB hashtable https://github.com/facebook/rocksdb/blob/main/utilities/persistent_cache/hash_table_evictable.h ;<br> tera https://github.com/baidu/tera/blob/master/doc/persistent_cache.md
存储模型	P0			leveldb -> rocksdb -> floyd
主从同步模型	P0			Raft: redis sync; psync; psync 2.0；pika binlog；
主体逻辑多线程改造	P0			事务、pubsub、list pop 等

todo:

• 1 binlog for master-slave; raft; slot
• 2 master -> slave replication： (1) using redis command SYNC&PSYNC; (2) using RocksDB WAL instead of pika binlog by RocksDB API GetUpdateSince()
• 3 redis cache
• 4 info command
• 5 hello command

存储模型 floyd

Item	Priority	Issue/Pr	Owner	Description
添加关闭 RocksDB wal 的接口	P0		dxs	done
先把 floyd 移植过来	P0		dxs	done
一个 db 内一个 key 只能有一个 类型	P0

raft 集群进度

State	Item	Priority	Issue/Pr	Owner	Description
已合并	引入 braft	p0	#130	@panlei-coder, @longfar-ncy , @dingxiaoshuai123
已合并	redis raft 指令	p0	#136	@panlei-coder, @KKorpse, @hotjump
已合并	braft log index 映射	p0	#246	@longfar-ncy, @hotjump
已合并	pikiwidb checkpoint	p0	#226	@dingxiaoshuai123, @hotjump
已合并	apply 支持	p0	#213	@longfar-ncy, @hotjump
merged	braft 快照自定义日志截断点	p0	pikiwidb/braft#2	@panlei-coder, @hotjump
merged	raft 快照支持	p0	#238, #245	@dingxiaoshuai123, @panlei-coder, @hotjump	第二个 pr 包含第一个 pr
merged	将 import-braft 合并到 unstable	p0	#300
	braft 主从模式	p1	pikiwidb/braft#1	@KKorpse
	pikiwidb 主从命令	p1		@panlei-coder	依赖于 braft 主从代码
	优雅关闭 pikiwidb	p1		@dingxiaoshuai123	和 snapshot 相关
	logindex 维护的多队列优化	p1		@longfar-ncy	思路见#265
	flush event 时机	p1
	单独 cf 保存其它 cf flush 位点	p1
	braft 新增接口，判断两个 logindex 之间数据量	p1
	on_snapshot_load 区分自己安装快照 vs 自己正在启动	p0		@panlei-coder	非优化，正常功能
	on_snapshot_load中设置自定义的快照回放点	p1		@panlei-coder	优化
	同上，在install_snapshot中，快照是即时生成的，snapshot index是旧的，打开rocksdb示例，获取真实的last applied index	p1		@panlei-coder	优化
	raft 集群操作文档	p1
	raft 测试	p1			参考 redis-raft https://github.com/RedisLabs/redisraft/tree/master/tests

Pika binlog + braft -> 1 经典模式； 2 raft 模式。

可观测

Item	Priority	Issue/Pr	Owner	Description

工具集

Item	Priority	Issue/Pr	Owner	Description

云原生

Item	Priority	Issue/Pr	Owner	Description

质量建设

Item	Priority	Issue/Pr	Owner	Description
feature: add go test for pikiwidb from pika			#75