高性能SDK套件 - AI模型加速器

使用 AI 模型加速器，可以将 DVP 格式的模型加速为 DVT 格式的模型：

模型加速器的截图：

使用批处理

如果启动了批处理，则模型加速器会自动计算最合适的 batch_size，在推理时可以多张图片并行推理，以达到最优的性能。如果没有启动批处理，则模型加速器会将每张图片单独推理。

下面是批处理的示例：

使用批处理之后，我们可以使用 C# 测试程序来测速：

可以看到，相同的图片，用批处理的方式推理，速度可以提升10倍。

使用多尺度输入

此选项是限制图像输入的尺寸的，不建议调整。

• 分类、检测、实例分割等模型都是跟随训练尺寸自动配置，需要是32的倍数。
• 语义分割模型不支持多尺度输入，只能是训练时的尺寸。
• OCR 模型输入尺寸是固定的 [1, 3, 48, 16] 到 [1, 3, 48, 1280]，也就是高度固定48，宽度可以是16到1280之间。

IoU阈值

IoU 阈值是用于目标检测和实例分割模型的后处理的参数，默认值为 0.2。

如果你的任务需要处理较多的重叠框，可以尝试提高此值，建议先在 AI 训练平台上测试，选定合适的参数后，在模型加速器中重新加速。