export FMHA_VERSION=V2 # 如使用旧版本Attn，设置 FMHA_VERSION=OFF
export KV_CACHE_DTYPE=DEFAULT # 如使用KVCache Int8，设置 KV_CACHE_DTYPE=INT8

model_path=ModelPath # 转换后模型所处文件夹路径 (1-gpu-fp16.bin等文件所在目录)

data_type=fp16 # 权重保存精度
memopt_mode=0 # MEMOPT模式: 0/1
quant_type="int8" # 量化精度: int4/int8
max_output_length=256
warmups=1
avgnums=1

python batch_demo.py --model-path $model_path\
                     --tokenizer-path $model_path\
                     --data-type $data_type\
                     --memopt_mode $memopt_mode\
                     --quant-type ${quant_type}\
                     --max-output-length $max_output_length\
                     --warmups $warmups\
                     --avgnums $avgnums