跳到主要内容

高性能SDK套件

模型加速流程​

模型调用流程​

加密锁​

深度视觉加密锁如图所示：

插入加密锁之后可以：

  • 在 AI 平台更新部署 SDK 及其配套软件
  • 使用 AI 模型加速器加速 DVP 模型，输出 DVT 模型
  • 通过对应语言的 SDK 调用模型并获取推理结果

AI 平台​

插入加密锁后，打开 AI 平台，在左侧选择“部署”。找到 高性能 SDK 套件，未安装时点击“安装”；安装完成后可点击“打开”查看 SDK 文件：

  • 高性能 SDK 套件，必装
  • AI 模型加速器，选装，用于模型加速
  • C# 测试程序，选装，用于调试模型

训练时使用的显卡不要求与部署显卡一致。DVT 模型仅支持 NVIDIA 显卡，跨设备使用时需区分加速选项：

  • 开启“通用架构 PLUS”：可用于计算能力为 8.6 及以上的 NVIDIA 显卡，不要求与加速显卡同代。
  • 关闭“通用架构 PLUS”：推理显卡的计算能力架构必须与模型记录的架构一致。

例如，4090 加速的 PLUS 模型可以用于 4060；关闭 PLUS 时，3060 与 4060 的架构不同，不能直接共用加速模型。部署环境还应安装匹配的驱动和推理依赖；不满足条件时，在部署设备上重新加速。

AI 模型加速器

使用 AI 模型加速器，可以将 DVP 格式的模型加速为 DVT 格式的模型：

AI 模型推理框架

推理框架按开发语言提供不同入口：

  • C：C 接口文档说明原生接口，包含 dlcv_infer/dlcv_infer.h，按授权环境使用 dlcv_infer.dll 或 dlcv_infer_v.dll
  • C++：包含 C++ 封装头文件 dlcv_infer.h，程序加载 dlcv_infer_cpp.dll；该 DLL 内部按授权环境加载 dlcv_infer.dll 或 dlcv_infer_v.dll
  • C#：项目引用 DlcvCsharpApi.dll；该程序集内部按授权环境加载 dlcv_infer.dll 或 dlcv_infer_v.dll

OpenIVS 源码提供 C++ 接口头文件，以及供 C 程序调用该封装层的 dlcv_infer_c_api.h。构建 dlcv_infer_cpp 项目后获得 dlcv_infer_cpp.dll 和导入库，使用时将 DLL 放在应用程序目录。

核心运行库 dlcv_infer.dll 和 dlcv_infer_v.dll 安装于：

C:\dlcv\Lib\site-packages\dlcvpro_infer

DlcvCsharpApi.dll 位于：

C:\dlcv\Lib\site-packages\dlcvpro_infer_csharp

具体调用方法请根据不同的编程语言参考对应的文档：