[Bug] mtbench101：batch_size设置

[zhang-junjian]

先决条件

• 我已经搜索过 问题 和 讨论 但未得到预期的帮助。
• 错误在 最新版本 中尚未被修复。

问题类型

我正在使用官方支持的任务/模型/数据集进行评估。

环境

rt

重现问题 - 代码/配置示例

mtbench101目前只能一条一条跑，如何设置batchsize

重现问题 - 命令或脚本

rt

重现问题 - 错误信息

rt

其他信息

No response

[tonysy]

Our model's generate API has supported generation with multi-threading. This implies that the batch size is set through the model's configuration.