集成模型
====

模型的加载、编译和推理主要是在native层实现，应用层主要作为数据传递和展示作用。

模型推理之前需要对输入数据进行预处理以匹配模型的输入，同样对于模型的输出也需要做处理获取自己期望的结果。另外SDK中提供了设置模型编译和运行时的配置接口，开发者可根据实际需求选择使用接口。

本节阐述同步模式下单模型的使用，从流程上分别阐述每个步骤在应用层和native层的实现和调用。接口请参见[API参考](https://developer.huawei.com/consumer/cn/doc/harmonyos-references/cannkit)，示例请参见[SampleCode](https://gitcode.com/HarmonyOS_Samples/cannkit-samplecode-clientdemo-cpp)，本示例支持加载离线模型对图片中的物体进行分类，App运行效果图如下所示。

![](https://contentcenter-vali-drcn.dbankcdn.cn/pvt_2/DeveloperAlliance_scene_100_1/3f/v3/A4xPRtsQQeuHqiXbVrdWUQ/zh-cn_image_0000002594669520.png?HW-CC-KV=V1&HW-CC-Date=20260612T073656Z&HW-CC-Expire=86400&HW-CC-Sign=78AB1514B01C5C8BD0F8545728DA92CCF3330EA68D46C84B500AFAC28166BFD4)

#### 预置模型

为了让App运行时能够读取到模型文件和处理推理结果，需要先把离线模型和模型对应的结果标签文件预置到工程的“entry/src/main/resources/rawfile”目录中。

本示例所使用的离线模型的转换和生成请参考[Caffe模型转换](https://developer.huawei.com/consumer/cn/doc/harmonyos-guides/cannkit-model-conversion-example#caffe模型转换)。

#### 加载离线模型

在App应用创建时加载模型和读取结果标签文件。

1.  调用NAPI层的LoadModel函数，读取模型的buffer。
    
2.  （可选）根据需要调用[HMS\_HiAIOptions\_SetOmOptions](https://developer.huawei.com/consumer/cn/doc/harmonyos-references/cannkit#hms_hiaioptions_setomoptions)接口，打开维测功能（如Profiling）。
    
3.  把模型buffer传递给HIAIModelManager类的HIAIModelManager::LoadModelFromBuffer接口，该接口调用[OH\_NNCompilation\_ConstructWithOfflineModelBuffer](https://developer.huawei.com/consumer/cn/doc/harmonyos-references/capi-neural-network-core-h#oh_nncompilation_constructwithofflinemodelbuffer)创建模型的编译实例。
    
4.  设置模型的deviceID。
    
    size\_t deviceID = 0;
    const size\_t \*allDevicesID = nullptr;
    uint32\_t deviceCount = 0;
    // 获取所有已连接设备的ID
    OH\_NN\_ReturnCode ret = OH\_NNDevice\_GetAllDevicesID(&allDevicesID, &deviceCount);
    if (ret != OH\_NN\_SUCCESS || allDevicesID == nullptr) {
        OH\_LOG\_ERROR(LOG\_APP, "OH\_NNDevice\_GetAllDevicesID failed");
        return OH\_NN\_FAILED;
    }
    // 获取设备名为HIAI\_F的设备ID
    for (uint32\_t i = 0; i < deviceCount; i++) {
        const char \*name = nullptr;
        // 获取指定设备的名称
        ret = OH\_NNDevice\_GetName(allDevicesID\[i\], &name);
        if (ret != OH\_NN\_SUCCESS || name == nullptr) {
            OH\_LOG\_ERROR(LOG\_APP, "OH\_NNDevice\_GetName failed");
            return OH\_NN\_FAILED;
        }
        if (std::string(name) == "HIAI\_F") {
            deviceID = allDevicesID\[i\];
            break;
        }
    }
    
    // modelData和modelSize为模型的内存地址和大小， compilation的创建可参考CANN Kit Codelab
    OH\_NNCompilation \*compilation = OH\_NNCompilation\_ConstructWithOfflineModelBuffer(modelData, modelSize);
    // 设置编译器的设备id为HIAI\_F
    ret = OH\_NNCompilation\_SetDevice(compilation, deviceID);
    if (ret != OH\_NN\_SUCCESS) {
        OH\_LOG\_ERROR(LOG\_APP, "OH\_NNCompilation\_SetDevice failed");
        return OH\_NN\_FAILED;
    }
    
5.  调用[OH\_NNCompilation\_Build](https://developer.huawei.com/consumer/cn/doc/harmonyos-references/capi-neural-network-core-h#oh_nncompilation_build)，执行模型编译。
    
6.  调用[OH\_NNExecutor\_Construct](https://developer.huawei.com/consumer/cn/doc/harmonyos-references/capi-neural-network-core-h#oh_nnexecutor_construct)，创建模型执行器。
    
7.  调用[OH\_NNCompilation\_Destroy](https://developer.huawei.com/consumer/cn/doc/harmonyos-references/capi-neural-network-core-h#oh_nncompilation_destroy)，释放模型编译实例。
    

上述流程可参见[SampleCode](https://gitcode.com/HarmonyOS_Samples/cannkit-samplecode-clientdemo-cpp)中entry/src/main/cpp/Classification.cpp文件中的LoadModel函数和entry/src/main/cpp/HIAIModelManager.cpp中的HIAIModelManager::LoadModelFromBuffer函数。

#### 输入输出数据准备

1.  处理模型的输入，例如示例中模型的输入为1\*3\*227\*227格式Float类型的数据，需要把输入的图片转成该格式后传递到NAPI层。
    
2.  创建模型的输入和输出Tensor，并把应用层传递的数据填充到输入的Tensor中。
    
    // 创建输入数据
    size\_t inputCount = 0;
    std::vector<NN\_Tensor\*> inputTensors;
    OH\_NN\_ReturnCode ret = OH\_NNExecutor\_GetInputCount(executor, &inputCount); // 创建executor可参考CANN Kit Codelab
    if (ret != OH\_NN\_SUCCESS || inputCount != inputData.size()) { // inputData为开发者构造的输入数据
        OH\_LOG\_ERROR(LOG\_APP, "OH\_NNExecutor\_GetInputCount failed, size mismatch");
        return OH\_NN\_FAILED;
    }
    for (size\_t i = 0; i < inputCount; ++i) {
        NN\_TensorDesc \*tensorDesc = OH\_NNExecutor\_CreateInputTensorDesc(executor, i); // 创建executor可参考CANN Kit Codelab
        NN\_Tensor \*tensor = OH\_NNTensor\_Create(deviceID, tensorDesc); // deviceID的获取方式可参考加载离线模型的步骤3或者CANN Kit Codelab
        if (tensor != nullptr) {
            inputTensors.push\_back(tensor);
        }
        OH\_NNTensorDesc\_Destroy(&tensorDesc);
    }
    if (inputTensors.size() != inputCount) {
        OH\_LOG\_ERROR(LOG\_APP, "input size mismatch");
        DestroyTensors(inputTensors); // DestroyTensors为释放tensor内存操作函数，具体实现可参考CANN Kit Codelab
        return OH\_NN\_FAILED;
    }
    
    // 初始化输入数据
    for (size\_t i = 0; i < inputTensors.size(); ++i) {
        void \*data = OH\_NNTensor\_GetDataBuffer(inputTensors\[i\]);
        size\_t dataSize = 0;
        OH\_NNTensor\_GetSize(inputTensors\[i\], &dataSize);
        if (data == nullptr || dataSize != inputData\[i\].size()) { // inputData为模型的输入数据，使用方式可参考CANN Kit Codelab
            OH\_LOG\_ERROR(LOG\_APP, "invalid data or dataSize");
            return OH\_NN\_FAILED;
        }
        memcpy(data, inputData\[i\].data(), inputData\[i\].size()); // inputData为模型的输入数据，使用方式可参考CANN Kit Codelab
    }
    
    // 创建输出数据，与输入数据的创建方式类似
    size\_t outputCount = 0;
    std::vector<NN\_Tensor\*> outputTensors;
    ret = OH\_NNExecutor\_GetOutputCount(executor, &outputCount); // 创建executor可参考CANN Kit Codelab
    if (ret != OH\_NN\_SUCCESS) {
        OH\_LOG\_ERROR(LOG\_APP, "OH\_NNExecutor\_GetOutputCount failed");
        DestroyTensors(inputTensors); // DestroyTensors为释放tensor内存操作函数，具体实现可参考CANN Kit Codelab
        return OH\_NN\_FAILED;
    }
    for (size\_t i = 0; i < outputCount; i++) {
        NN\_TensorDesc \*tensorDesc = OH\_NNExecutor\_CreateOutputTensorDesc(executor, i); // 创建executor可参考CANN Kit Codelab
        NN\_Tensor \*tensor = OH\_NNTensor\_Create(deviceID, tensorDesc); // deviceID的获取方式可参考加载离线模型的步骤3或者CANN Kit Codelab
        if (tensor != nullptr) {
            outputTensors.push\_back(tensor);
        }
        OH\_NNTensorDesc\_Destroy(&tensorDesc);
    }
    if (outputTensors.size() != outputCount) {
        DestroyTensors(inputTensors); // DestroyTensors为释放tensor内存操作函数，具体实现可参考CANN Kit Codelab
        DestroyTensors(outputTensors); // DestroyTensors为释放tensor内存操作函数，具体实现可参考CANN Kit Codelab
        OH\_LOG\_ERROR(LOG\_APP, "output size mismatch");
        return OH\_NN\_FAILED;
    }
    

上述流程可参见[SampleCode](https://gitcode.com/HarmonyOS_Samples/cannkit-samplecode-clientdemo-cpp)中"entry/src/main/cpp/Classification.cpp"文件中的InitIOTensors函数和"entry/src/main/cpp/HIAIModelManager.cpp"中的HIAIModelManager::InitIOTensors函数。

#### 同步推理离线模型

![](https://contentcenter-vali-drcn.dbankcdn.cn/pvt_2/DeveloperAlliance_scene_100_1/e/v3/dGVLvhVJQ2-f5z47rXeHsw/note_3.0-zh-cn.png?HW-CC-KV=V1&HW-CC-Date=20260612T073656Z&HW-CC-Expire=86400&HW-CC-Sign=DE603550521A9212A57551919049E6B3FAAD76C6C638ABB007D88066BDA90A97)

如果不更换模型，则首次编译加载完成后可多次推理，即一次编译加载，多次推理。

调用[OH\_NNExecutor\_RunSync](https://developer.huawei.com/consumer/cn/doc/harmonyos-references/capi-neural-network-core-h#oh_nnexecutor_runsync)，完成模型的同步推理。

可参见[SampleCode](https://gitcode.com/HarmonyOS_Samples/cannkit-samplecode-clientdemo-cpp)中"entry/src/main/cpp/Classification.cpp"文件中的RunModel函数和"entry/src/main/cpp/HIAIModelManager.cpp"中的HIAIModelManager::RunModel函数。

#### 模型输出后处理

1.  调用[OH\_NNTensor\_GetDataBuffer](https://developer.huawei.com/consumer/cn/doc/harmonyos-references/capi-neural-network-core-h#oh_nntensor_getdatabuffer)，获取输出的Tensor，在输出Tensor中会得到模型的输出数据。
    
2.  对输出数据进行相应的处理可得到期望的结果。
    
    例如本示例demo中模型的输出是1000个label的概率，期望得到这1000个结果中概率最大的三个标签。
    
3.  销毁申请的Tensor资源和执行器实例。
    

上述流程可参见[SampleCode](https://gitcode.com/HarmonyOS_Samples/cannkit-samplecode-clientdemo-cpp)中"entry/src/main/cpp/Classification.cpp"文件中的GetResult、UnloadModel函数和"entry/src/main/cpp/HIAIModelManager.cpp"中的HIAIModelManager::GetResult、HIAIModelManager::UnloadModel函数。

![](https://contentcenter-vali-drcn.dbankcdn.cn/pvt_2/DeveloperAlliance_scene_100_1/cb/v3/vpSC_BbmSWO5IX-nljJVbQ/note_3.0-zh-cn.png?HW-CC-KV=V1&HW-CC-Date=20260612T073656Z&HW-CC-Expire=86400&HW-CC-Sign=023D3CF711FB2B7441231AAF9CA2E1C2E856364355067188D988CC8D84C7951B)

开发者可根据需要自行设置模型推理优先级。使用[OH\_NNCompilation\_SetPriority](https://developer.huawei.com/consumer/cn/doc/harmonyos-references/capi-neural-network-core-h#oh_nncompilation_setpriority)接口，默认值为OH\_NN\_PRIORITY\_NONE，本接口应在模型推理前调用。