在 torch_tensorrt 中设置动态批次大小
在使用 pytorch 模型与 torch-tensorrt 进行推理时，需要指定批次大小。而对于推理场景，批次大小往往是动态变化的，因此需要在将模型转换为 tensorrt 格式时设置动态批次大小。
在 torch_tensorrt 的 compile 函数中，输入参数 inputs 定义了模型推理时的形状范围。要设置动态批次大小，需要指定 min_shape、opt_shape 和 max_shape 三个参数：
Yes!SUN企业网站系统 3.5 Build 20100303
下载
Yes!Sun基于PHP+MYSQL技术，体积小巧、应用灵活、功能强大，是一款为企业网站量身打造的WEB系统。其创新的设计理念，为企业网的开发设计及使用带来了全新的体验：支持前沿技术：动态缓存、伪静态、静态生成、友好URL、SEO设置等提升网站性能、用户体验、搜索引擎友好度的技术均为Yes!Sun所支持。易于二次开发：采用独创的平台化理念，按需定制项目中的各种元素，如：产品属性、产品相册、新闻列表
- min_shape: 推理的最小批次大小
- opt_shape: 推理的推荐批次大小
- max_shape: 推理的最大批次大小
例如，要将批次大小设置为 1 到 100 之间的动态大小，可以这样设置：
inputs = [
torch_tensorrt.Input(
min_shape=[1, image_channel, image_size, image_size],
opt_shape=[1, image_channel, image_size, image_size],
max_shape=[100, image_channel, image_size, image_size], # 设置最大批次大小为 100
device=device
)
]请注意，动态批次大小的范围应根据硬件和显存限制进行权衡，以确保模型能够高效运行。
