导读：作者Ashish，喜欢研究区块链、密码学和计算机网络。这次他给我们介绍了测量区块链性能的工具：Hyperleder Caliper。Caliper项目最初于2017年5月启动，全球信息与通信技术公司华为积极参与了该项目的设计和开发。Hyperledger Caliper是一个区块链基准测试工具，让项目可以不间断地跟踪不同区块链实现的性能特性。Hyperledger Caliper初始版本的重点是每秒事务数（TPS）、延迟和资源利用率。
区块链技术日益受到人们的关注，但是，你在为业务问题创建解决方案之前，却无法测试各种可用区块链平台的性能。为了解决这一痛点，Hyperledger社区提供了一个名为“Hyperledger Caliper”的工具，可用来测试区块链平台的性能。
Hyperledger Caliper
Caliper是一个区块链性能基准测试框架，它允许用户使用预定义的用例测试不同的区块链解决方案，并获得一组性能测试结果。
目前支持的性能指标：
- 成功率
- 事务吞吐量
- 事务延迟（最小值、最大值、平均值、百分比）
- 资源消耗（CPU、内存、网络IO等）
架构
适配层
使用适配层将现有的区块链系统集成到Caliper框架中。每个适配器通过使用相应的区块链的原生SDK或RESTful API来实现区块链的Caliper NBI。
接口和核心层
接口和核心层实现核心功能，并为上行应用程序（up-applications）提供了北向接口，共四种NBI：
- 区块链操作接口：包含在后端区块链上部署智能合约、调用合约、从分类账查询状态等操作。
- 资源监控器：包含启动、停止监控器和获取后端区块链系统的资源消耗状态的操作，包括CPU、内存、网络IO等。目前提供了两种监控器，一种是监控本地和远程docker容器，另一种是监控本地进程。
- 性能分析器：包含读取预定义性能统计数据（包括TPS、延迟、成功率等）和打印基准测试结果的操作。在调用区块链NBI时记录关键指标，例如事务的创建时间和提交时间、事务结果等。
- 报告生成器：包含用于生成HTML格式测试报告的操作。
应用层
应用层包含针对典型区块链场景实现的测试。每个测试都有一个配置文件，用于定义后端区块链网络和测试参数。
内置了一个默认基准测试引擎，用来帮助开发人员理解框架，并快速实现自己的测试。开发人员可以在没有框架的情况下直接使用NBI来实现他们的测试。
基准测试引擎：
Master：
Master实现了一个包含三个阶段的默认测试流：
- 准备阶段：在此阶段，Master使用区块链配置文件创建并初始化内部区块链对象，按照配置中指定的方式部署智能合约，并启动监控器对象来监控后端区块链系统的资源消耗。
- 测试阶段： Master根据基准测试配置文件启动一个循环测试、来执行测试。任务将根据定义的工作负载生成并分配给Client。将存储客户的性能统计返回，以供以后分析。
- 报告阶段：分析每一轮测试的所有客户端统计数据，并自动生成HTML格式报告。
Client：
Local Client：
在这种模式下，Master使用Node.js集群模块分叉多个Local Client来进行实际的测试工作。
Zookeeper Client：
在这种模式下，多个Zookeeper Client独立启动。Zookeeper客户端将在启动后注册并监控测试任务。测试之后，将创建一个包含性能统计结果的znode。
Caliper示例报表格式：
配置文件：
使用两种配置文件。一个是基准测试配置文件，它定义了类似工作负载的基准测试。
另一个是区块链配置文件，它指定了有助与SUT交互的必要信息。
下面是一个基准测试配置文件示例:
先决条件：
- 确保已经安装下列工具：
- NodeJS 8.X
- node-gyp
- Docker
- Docker-compose
git clone https://github.com/hyperledger/caliper.git
要在本地安装依赖项，请在caliper文件夹中运行npm install。
安装区块链SDK：
Fabic
在根文件夹中运行：
npm install grpc@1.10.1 fabric-ca-client fabric-client
Sawtooth
安装依赖项：
npm install protocol-buffers
使用存储库安装sawtooth JavaScript SDK。
run npm install sawtooth-sdk in the root folder
在根文件夹中运行：
npm install sawtooth-sdk
Iroha
安装Iroha库
在Caliper的根文件夹中运行：
npm install -no-save iroha-lib@0.1.7
Composer
安装依赖项：
更新主package.json文件，包含所需的Composer和Fabic模块，然后运行npm install来安装。
运行基准测试：
在基准测试文件夹中，可以找到所有预定义的基准测试。
要开始基准测试，只需在根文件夹中运行它即可：
node benchmark/simple/main.js -c yourconfig.json -n yournetwork.json
参数-c：指定基准测试的配置文件。如果不指定此参数，则config.json将用作默认值。
参数-n：指定被测区块链网络的配置文件。如果不指定此参数，则在基准测试配置文件中指定文件地址。
注意：
- 你还可以使用npm脚本来运行基准测试。
npm运行列表：
> caliper@0.1.0 list /home/hurf/caliper
> node ./scripts/list.js
可用基准测试：
drm
simple
使用特定配置文件来运行基准测试：
npm test — — simple -c ./benchmark/simple/config.json -n ./benchmark/simple/fabric.json
> caliper@0.1.0 test /home/hurf/caliper
> node ./scripts/test.js "simple" "-c" "./benchmark/simple/config.json" "-n" "./benchmark/simple/fabric.json"
......
使用去中心化Client进行基准测试：
1. 启动ZooKeeper服务；
2. 通过运行节点./src/comm/client/zoo-client.js zookeeper-server或npm run startclient — — zookeeper-server分别在目标计算机上启动Client。
例如：
$ npm run startclient — 10.229.42.159:2181
> caliper@0.1.0 startclient /home/hurf/caliper
> node ./src/comm/client/zoo-client.js "10.229.42.159:2181"
Connected to ZooKeeper
Created client node:/caliper/clients/client_1514532063571_0000000006
Created receiving queue at:/caliper/client_1514532063571_0000000006_in
Created sending queue at:/caliper/client_1514532063571_0000000006_out
Waiting for messages at:/caliper/client_1514532063571_0000000006_in......
3. 将配置文件中的Client类型设置修改为zookeeper。
例如：
"clients": {
"type": "zookeeper",
"zoo" : {
"server": "10.229.42.159:2181",
"clientsPerHost": 5
}
}
4. 像往常一样，在任何机器上启动基准测试。
注意：
- Zookeeper用于注册Client和交换信息。启动的Client将在/caliper/clients/下添加新的znode。基准测试检查目录以了解有多少Client，并根据工作负载为每个Client分配任务。
- Client之间没有自动时间同步。你应该手动同步目标计算机之间的时间，例如使用“ntpdate”命令。
- 区块链配置文件必须存在于运行Client的计算机上，且文件的相对路径（相对于caliper文件夹）必须相同。配置中的所有引用文件也必须存在。
编写你自己的基准测试
Caliper提供了一组nodejs NBI（北向接口），供应用程序与后端区块链系统交互。查看src/comm/blockchain.js来了解NBI。多重适配器实现将NBI转换为不同的区块链协议。因此，开发人员可以编写一次基准测试，并在不同的区块链系统中运行它。
一般来说，要编写一个新的caliper基准测试，你需要：
- 为想要测试的系统编写智能合约
- 使用caliper NBI编写一个测试流。Caliper提供了一个默认的基准测试引擎，它可以插拔并可配置，可以轻松地集成新的测试。有关更多的详细信息，请参阅基准测试引擎。
- 编写配置文件来定义后端网络和基准测试参数。
参考：https://github.com/hyperledger/caliper
感谢杜小芳对本文的审校。