跳到主要内容

高性能SDK套件

模型加速流程​

模型调用流程​

加密锁​

深度视觉加密锁如图所示：

插入加密锁之后可以：

  • 在 AI 平台更新部署 SDK 及其配套软件
  • 使用 AI 模型加速器加速 DVP 模型，输出 DVT 模型
  • 调用 AI 模型推理框架（dlcv_infer.dll）推理结果

AI 平台​

在插入加密锁的情况下，打开 AI 平台可以在左边看到部署的按钮：

  • 高性能 SDK 套件，必装
  • AI 模型加速器，选装，用于模型加速
  • C# 测试程序，选装，用于调试模型

训练模型的显卡不影响加速，但是加速显卡和推理显卡需要代数一致。

比如：

  • 4090训练的模型，使用3060加速是可以的
  • 3060加速的模型，使用4060无法推理
  • 4090加速的模型，使用4060可以推理

如果算法工程师的显卡和部署的机器是同一代的，则部署机器不需要装 AI 模型加速器，直接用算法加速好的模型即可。否则需要在现场的机器上加速模型。

AI 模型加速器

使用 AI 模型加速器，可以将 DVP 格式的模型加速为 DVT 格式的模型：

AI 模型推理框架

推理框架以 DLL 的形式调用，DLL 的路径在这里：

C:\dlcv\Lib\site-packages\dlcvpro_infer

具体调用方法请根据不同的编程语言参考对应的文档：