[WIP] RedisRaft 测试相关信息汇总

[happy-v587]

目标

• 了解redisraft测试集功能、工作原理等
• 将redisraft测试集适配到 pikiwidb 上
• 针对pikiwidb特性编写专用测试集

参考地址：https://github.com/RedisLabs/redisraft

当前进展&未来规划

功能	进展	其他
了解redisraft测试集	done	协议 #273 (comment) ； 使用 #273 (comment) ； 实现 #273 (comment)
适配	doing	分为多步：①实现单机版数据写入；②实现集群版数据写入与校验；③实现故障注入；

其他

• 大家在调研期间如有有任何疑问欢迎记录并讨论。
• 也鼓励大家分享自己调研结果。便于将信息汇总、也能帮助他人更快速了全方位了解。

[happy-v587]

关于使用

从官方仓库看测试可以分为两大类：

• 功能测试：即单元测试、集成测试，https://github.com/RedisLabs/redisraft/tree/master/tests
• 正确性测试：即混动工程测试，https://github.com/RedisLabs/redisraft/tree/master/jepsen

一、功能测试

基于docker运行测试case

先运行一个容器

docker pull debian:buster
docker run -d debian:buster -- tail
docker exec -it 121df5d7a654 bash

进入容器后安装一些工具

apt-get -y -q update && apt-get install -qqy git wget build-essential virtualenv cmake

拉取redis、redisraft代码并编译

cd ~
git clone https://github.com/redis/redis.git
cd redis
make
cd ..

git clone https://github.com/RedisLabs/redisraft
cd redisraft 
mkdir build && cd build
cmake .. && make
cd ..

运行测试case

mkdir -p .env
virtualenv --python=python3 .env
. .env/bin/activate
pip install -r tests/integration/requirements.txt
cd build
make tests

测试结果

• 集成测试
  
  

• 单元测试
  
  

• 详细日志
  test.log

• 如果要单独跑某个case

cd ~/redisraft
pytest tests/integration/test_snapshots.py::test_snapshot_delivery -v --log-cli-level=debug

二、正确性测试

2.1说明

基于Jepsen构建

Jepsen是Kyle Kingsbury使用Clojure编写的分布式系统测试框架。Clojure是运行在JVM之上的Lisp方言，提供了强大的函数式编程的支持。Leiningen是Clojure的项目构建工具，类似于Maven。事实上，Leiningen底层完全使用Maven的包管理机制，只是Leiningen的构建脚本不是pom.xml，而是project.clj，它本身就是Clojure代码。

2.2 在docker中运行

cd jepsen/docker
./genkeys.sh
docker-compose build
docker-compose up -d
docker exec -w /jepsen jepsen-control \
    lein run test-all --ssh-private-key /root/.ssh/id_rsa \
        --follower-proxy \
        --time-limit 600 \
        --test-count 50 \
        --concurrency 4n \
        --nemesis partition,pause,kill,member \
        --redis-repo https://github.com/redis/redis \
        --redis-version unstable \
        --raft-repo https://github.com/redislabs/redisraft \
        --raft-version master

执行完前四个命令行后会发现启动了如下容器：

查看Dockerfile脚本发现，在 control 容器中你实际是部署了 https://github.com/redislabs/jepsen-redisraft ，这个仓库是使用Clojure编写的、基于jepsen的、用来测试redisraft的工具。

运行起来后可以通过网页 http://127.0.0.1:8080/ 查看

• 运行记录

• 某次运行详细信息（每个文件功能待分析）

• 得益于jepsen-redisraft，下载、编译、启动、读写数据、验证数据等操作都可以自动化完成

2.3 参考

• https://www.leviathan.vip/2018/05/15/Jepsen%E7%9A%84%E4%BD%BF%E7%94%A8%E4%B8%8E%E7%BA%BF%E6%80%A7%E4%B8%80%E8%87%B4%E6%80%A7/
• https://www.liaoxuefeng.com/article/986637181910336

[happy-v587]

关于协议

Redisraft LICENSE （SSPLv1.txt、RSALv2.txt）是否会影响我们的选择？

RSALv2是由Redis Labs创建的协议，用户可以内部使用，但不能将其商业化提供给其他人使用。SSPLv1是由 MongoDB 公司创建的协议，该协议具有传染性，以此构建的软件都必须以相同协议开放源代码。

[happy-v587]

关于 redisraft 集成测试说明

---

两个核心的类

• 通过 class RedisRaft 将每个节点的 init、start、restart、pause、join、transfer_leader、cleanup 等行为进行管理（通过对 pylib subprocess 、redis cmd 的封装实现）
• 通过 class Cluster 将多个 RedisRaft 进行管理，包括集群的 create、add_node、remove_node、pause_leader 等行为（通过对redis cmd、RedisRaft类的封装实现）

有上面两个给力的 class 后，在执行测试case时对集群的生命周期管理就变得非常简单了。

测试case的实现

对于每个测试case而言，只需要初始化一个 cluster，然后根据需要 add_node、remove_node；根据需要做 set key、get key 等操作；根据需要做 raft COMPACT等各种操作

• 比如想要测试 raft snapshot 功能是否可以，其中一个case实现是：先启动一个 node 写些数据，然后 raft compact，之后在启动一个新 node，从这个新node查数据，验证是否存在
  
• 比如想要测试 raft membership 功能是否稳定，其中一个case实现是：先创建一个3节点的集群，删掉1号节点，通过2号节点查询节点数是否变成2
  

从测试case看，redisraft 主要从上层去关注集群状态是否符合预期。而且这些操作都是通过 raft cmd 去完成

[happy-v587]

关于 jepsen-redisraft 的测试说明

---

• redis-raft 仓库提供了基于 docker 的运行方式
  
• 运行的代码存储在 https://github.com/redislabs/jepsen-redisraft

---

关于 jepsen-redisraft 仓库的说明

0、程序入口

在 project.clj 中定义了 `:main jepsen.redis.core`
然后打开 `src/jepsen.readis/core.clj` 文件
找到文件最后 `defn -main` 即为入口

1、【编译】如何编译 redis、redis-raft

在 `defn -main` 中调用了 `defn redis-test`
在 `defn redis-test` 中调用了 `rdb/redis-raft`
在 `defn redis-raft` 中实现了 jepsen 要求的
    - `db/DB` 接口：就两个函数 `setup! [db test node]` 和 `teardown! [db test node]`
        - 在 `setup! [db test node]` 中执行了 `install-build-tools!` 、`build-redis!`、`build-redis-raft!`。具体实现类似 bash 逻辑 `mkdir -p xx; git clone xxx; make`

2、【启动集群】如何启动 raft cluster 集群

还是在 `setup! [db test node]` 中，执行了cmd
    - `redis raft.cluster init` -> `cli! :raft.cluster :init`
    - `redis raft.cluster join` -> `(cli! :raft.cluster :join (str (jepsen/primary test) ":6379")))) `

3、【验证数据】如何生成数据、如何写数据、如何验证数据

回到 `defn redis-test` 处
在这里初始化了 workload `let [workload ((workloads (:workload opts)) opts)]`
而workload的实现在 `src/jepsen.readis/append.clj` 文件的 `defn workload` 函数
这个函数具体逻辑直接调用的 `jepsen.tests.cycle.append` 测试方法，这个方法包含了数据的生成、校验。
    - 生成逻辑底层其实就是 `elle.list-append.gen`
    - 校验逻辑底层也是 `elle.list-append.check` 的实现

数据写入是通过定义一个`defrecord Client [conn]`，然后实现`jepsen.client/Client`协议。接口包括：open! close! setup! invoke! teardown!
    - 因为我们要连接的是 redis，所以底层使用的 client 是 https://github.com/taoensso/carmine（类似 go-redis 的存在）
    - 主要逻辑是实现 invoke! ，被读写的数据通过参数传来，所以 invoke! 只负责处理读写操作的执行。在底层就是 `lrange` 和 `rpush`。 最后将读写后得到的数据返回
    - 返回的数据，jepsen会记录到history文件中，最终会通过分析history文件判断数据是否有问题

关于数据校验可以看 https://github.com/jepsen-io/elle

4、【注入故障】如何注入故障

jepsen 支持自定义故障，对应接口 `jepsen.nemesis/Nemesis`
    - 比如： 在 `src/jepsen.redis/nemesis.clj` 文件中，`defn member-nemesis` 函数就是 `Nemesis` 接口的一个实现，这个实现的故障是一个节点的 `join` 或者 `leave`

故障的注入也是通过生成器的方式，具体的生成器逻辑可以自己定义。如口在 `src/jepsen.redis/nemesis.clj` 文件的 `defn package` 函数
    - 分为 island-generator 和 mystery-generator
        - island-generator：隔离（网络隔离？还是member leave？通过哪个实现？）
        - mystery-generator：自定义（kill all、kill some、kill part、start、leave、join）

5、【测试框架】put it together

https://blog.csdn.net/FL63Zv9Zou86950w/article/details/117457782

以分布式数据库集群为例，Jepsen的工作大致包含以下几步：

  Jepsen在控制节点(Control Node)上作为Clojure程序运行；
  部署需要测试的分布式数据库集群(Distributed System)，确认其工作正常；
  控制节点启动进程，作为分布式数据库节点(DB Node)的SSH客户端；
  生成器(Generator)进程为每个SSH客户端生成具体要执行的读写操作；
  这些SSH客户端将在分布式数据库中执行这些读写操作；
  每个操作从启动到结束的过程都会记录下来；
  当读写操作进行时，克星进程(Nemesis)对分布式数据库进行故障注入，同样也是由生成器来调度和管理；
  测试完成，分布式数据库集群会被销毁。Jepsen使用检查器(Checker)进程对测试过程的历史记录进行分析，并生成最终的图表和报告。

---

语法、框架学习

• clojure 语法：https://www.w3cschool.cn/clojure/clojure-j5w81wf2.html
• jepsen 文档：https://jepsen-io.github.io/jepsen/jepsen.cli.html#var-test-all-cmd
• jepsen 训练课：https://jaydenwen123.gitbook.io/zh_jepsen_doc

数据验证相关

elle 数据验证工具：https://github.com/jepsen-io/elle

Elle is a transactional consistency checker for black-box databases.
As a user, your main entry points into Elle will be elle.list-append/check and elle.rw-register/check.
Elle has a broad variety of anomalies and consistency models; see elle.consistency-model for their definitions. Not every anomaly is detectable, but we aim for completeness.

elle-cli 支持更多业务模型：https://github.com/ligurio/elle-cli

is a command-line frontend to transactional consistency checkers for black-box databases. In comparison to Jepsen library it is standalone and language-agnostic tool.

history 文件格式（jepsen使用）: https://github.com/jepsen-io/history

To analyze these systems, Jepsen uses a history: a totally ordered log of concurrent logical operations.

EDN 文件格式（elle使用）： https://github.com/edn-format/edn

Extensible Data Notation

JSON -> EDN 文件格式转换：https://github.com/borkdude/jet

CLI to transform between JSON, EDN, YAML and Transit using Clojure.

其他

启动交互式命令行

# REPL 的环境，即 Read-Eval-Print Loop —- “读取-求值-输出” 循环
~/code/cpp/redisraft/jepsen/docker/control/lein repl

调用 list-append/gen 接口

jepsen.redis.core=> (ns jepsen.redis.core (:require [jepsen.tests.cycle.append :as append]))
nil
jepsen.redis.core=> (append/gen)
(gen/seqone ({:type :invoke, :f :txn, :value [[:append 2 1] [:r 1 nil]]} {:type :invoke, :f :txn, :value [[:append 2 2] [:r 1 nil]]} {:type :invoke, :f :txn, :value [[:r 1 nil] [:append 2 3]]} {:type :invoke, :f :txn, :value [[:append 2 4]]} {:type :invoke, :f :txn, :value [[:append 0 1]]} {:type :invoke, :f :txn, :value [[:r 1 nil]]} {:type :invoke, :f :txn, :value [[:append 2 5]]} {:type :invoke, :f :txn, :value [[:append 2 6] [:r 0 nil]]}))

将 gen 结果格式化展示

{:type :invoke, :f :txn, :value [[:append 2 1] [:r 1 nil]]} 
{:type :invoke, :f :txn, :value [[:append 2 2] [:r 1 nil]]} 
{:type :invoke, :f :txn, :value [[:r 1 nil] [:append 2 3]]} 
{:type :invoke, :f :txn, :value [[:append 2 4]]} 
{:type :invoke, :f :txn, :value [[:append 0 1]]} 
{:type :invoke, :f :txn, :value [[:r 1 nil]]} 
{:type :invoke, :f :txn, :value [[:append 2 5]]} 
{:type :invoke, :f :txn, :value [[:append 2 6] [:r 0 nil]]}

[hahahashen]

redisraft仓库下的jepson目录似乎只是为测试搭建部署了jepson测试环境（docker&aws），并没有具体的测试case代码逻辑，从其中部署环境的脚本可以看出jepson具体的测试代码在https://github.com/redislabs/jepsen-redisraft 下。

jepson-redisraft是专为redisraft编写的一个测试套件，使用了jepson测试库https://jepsen.io/ 。 其中测试的故障包括网络分区、进程崩溃crash、进程停顿、时钟偏移和成员变更。
jepson官网提供的编写jepson测试的中文文档https://jaydenwen123.gitbook.io/zh_jepsen_doc

[happy-v587]

关于单元测试的说明

---

代码目录

主要测试了：

• util（对parse_slots函数测试）
• file（对原生read、write、flush、get、sync的包裹）
• log（用来维护 raft log的实现）
• serialization（对 redis command 序列化与反序列化的测试）