Vulkan平台
========

#### 业务流程

基于Vulkan图形API平台，超帧外插模式的主要业务流程如下：

![](https://contentcenter-vali-drcn.dbankcdn.cn/pvt_2/DeveloperAlliance_scene_100_1/40/v3/dc22-K9YSNS9kMUA6JCjXQ/zh-cn_image_0000002634009448.png?HW-CC-KV=V1&HW-CC-Date=20260709T132549Z&HW-CC-Expire=86400&HW-CC-Sign=2D74872A65BE03C9D7630FD1D4E3B1AF9A32EBA08D5B9F793623CDC9F5BBD241)

1.  用户进入超帧适用的游戏场景。
    
2.  游戏应用调用[HMS\_FG\_CreateContext\_VK](https://developer.huawei.com/consumer/cn/doc/harmonyos-references/_graphics_accelerate#hms_fg_createcontext_vk)接口创建超帧上下文实例。如超帧上下文实例创建失败，则无需进入步骤6到步骤9的真实帧、预测帧交替渲染送显的循环流程，只需逐帧对场景进行渲染送显即可。
    
3.  游戏应用调用接口配置超帧实例属性。包括调用[HMS\_FG\_SetAlgorithmMode\_VK](https://developer.huawei.com/consumer/cn/doc/harmonyos-references/_graphics_accelerate#hms_fg_setalgorithmmode_vk)（必选）设置超帧算法模式并选择外插模式；调用[HMS\_FG\_SetResolution\_VK](https://developer.huawei.com/consumer/cn/doc/harmonyos-references/_graphics_accelerate#hms_fg_setresolution_vk)（必选）设置超帧输入输出图像分辨率；调用[HMS\_FG\_SetCvvZSemantic\_VK](https://developer.huawei.com/consumer/cn/doc/harmonyos-references/_graphics_accelerate#hms_fg_setcvvzsemantic_vk)（可选）设置齐次裁剪空间Z/W范围及深度测试函数；调用[HMS\_FG\_SetImageFormat\_VK](https://developer.huawei.com/consumer/cn/doc/harmonyos-references/_graphics_accelerate#hms_fg_setimageformat_vk)（可选）设置超帧输入输出图像格式；如果颜色缓冲区相对深度模板缓冲区基于y轴翻转180度，则调用[HMS\_FG\_SetDepthStencilYDirectionInverted\_VK](https://developer.huawei.com/consumer/cn/doc/harmonyos-references/_graphics_accelerate#hms_fg_setdepthstencilydirectioninverted_vk)（可选）设置翻转状态。
    
4.  游戏应用调用[HMS\_FG\_Activate\_VK](https://developer.huawei.com/consumer/cn/doc/harmonyos-references/_graphics_accelerate#hms_fg_activate_vk)接口激活超帧上下文实例。
    
5.  游戏应用调用[HMS\_FG\_CreateImage\_VK](https://developer.huawei.com/consumer/cn/doc/harmonyos-references/_graphics_accelerate#hms_fg_createimage_vk)接口创建真实渲染帧颜色缓冲区图像实例、深度模板缓冲区图像实例、预测帧缓冲区图像实例。该接口将游戏应用中的VkImage、VkImageView图像资源和超帧算法实现之间建立关联。
    
6.  渲染游戏场景绘制真实渲染帧，缓存真实帧颜色信息、深度信息和相机矩阵等信息，用于后续超帧预测。
    
7.  真实渲染帧绘制UI并送显。
    
8.  游戏应用调用[HMS\_FG\_Dispatch\_VK](https://developer.huawei.com/consumer/cn/doc/harmonyos-references/_graphics_accelerate#hms_fg_dispatch_vk)接口并传入历史真实渲染帧颜色信息、深度信息、相机矩阵等信息，生成预测帧，并更新预测帧缓冲区。
    
9.  预测帧绘制UI并送显，跳转至步骤5继续执行，直到退出游戏场景。
    
10.  用户退出超帧适用的游戏场景。
     
11.  游戏应用调用[HMS\_FG\_DestroyContext\_VK](https://developer.huawei.com/consumer/cn/doc/harmonyos-references/_graphics_accelerate#hms_fg_destroycontext_vk)接口销毁超帧上下文实例并释放内存资源。
     

#### 开发步骤

本节阐述基于Vulkan图形API平台的超帧调用示例。详细代码请参考[图形开发Sample（超帧Vulkan）](https://gitcode.com/harmonyos_samples/frame-generation-vulkan-samplecode-clientdemo-cpp)。

1.  引用Graphics Accelerate Kit超帧头文件：frame\_generation\_vk.h。
    
    // 引用超帧frame\_generation\_vk.h头文件
    #include <graphics\_game\_sdk/frame\_generation\_vk.h>
    
2.  编写CMakeLists.txt。
    
    find\_library(
        # Sets the name of the path variable.
        framegeneration-lib
        # Specifies the name of the NDK library that you want CMake to locate.
        libframegeneration.so
    )
    find\_library(
        # Sets the name of the path variable.
        vulkan-lib
        # Specifies the name of the NDK library that you want CMake to locate.
        vulkan
    )
    
    target\_link\_libraries(entry PUBLIC
        ${framegeneration-lib} ${vulkan-lib}
    )
    
3.  调用[HMS\_FG\_CreateContext\_VK](https://developer.huawei.com/consumer/cn/doc/harmonyos-references/_graphics_accelerate#hms_fg_createcontext_vk)接口创建超帧上下文实例。如果返回nullptr，则说明超帧上下文实例创建失败，或当前硬件设备不支持开启超帧。
    
     // 变量声明
     VkInstance vkInstance = VK\_NULL\_HANDLE; // vkInstance通过调用vkCreateInstance创建
     VkPhysicalDevice vkPhysicalDevice = VK\_NULL\_HANDLE; // vkPhysicalDevice通过调用vkEnumeratePhysicalDevices枚举
     VkDevice vkDevice = VK\_NULL\_HANDLE; // vkDevice通过调用vkCreateDevice创建
    
     // 创建超帧上下文实例
    FG\_ContextDescription\_VK contextDescription{};
    contextDescription.vkInstance = vkInstance;
    contextDescription.vkPhysicalDevice = vkPhysicalDevice;
    contextDescription.vkDevice = vkDevice;
    contextDescription.framesInFlight = 1;
    contextDescription.fnVulkanLoaderFunction = vkGetInstanceProcAddr;
    FG\_Context\_VK\* m\_context = HMS\_FG\_CreateContext\_VK(&contextDescription);
    if (m\_context == nullptr) {
        return false;
    }
    
4.  调用超帧实例属性配置接口，超帧算法模式选择外插模式。
    
    // 初始化超帧接口调用错误码
    FG\_ErrorCode errorCode = FG\_SUCCESS;
    
    // 超帧算法模式
    FG\_AlgorithmModeInfo aInfo{};
    aInfo.predictionMode = FG\_PREDICTION\_MODE\_EXTRAPOLATION; // 外插模式
    aInfo.meMode = FG\_ME\_MODE\_BASIC; // 运动估计基础模式
    errorCode = HMS\_FG\_SetAlgorithmMode\_VK(m\_context, &aInfo); // \[必选\] 设置超帧算法模式
    if (errorCode != FG\_SUCCESS) {
        return false;
    }
    
    // 真实帧颜色缓冲区分辨率
    FG\_Dimension2D inputColorResolution{};
    inputColorResolution.width = 1280; // 真实帧颜色缓冲区图像宽度
    inputColorResolution.height = 720; // 真实帧颜色缓冲区图像高度
    // 真实帧深度模板缓冲区分辨率
    FG\_Dimension2D inputDepthStencilResolution{};
    inputDepthStencilResolution.width = 1280; // 真实帧深度模板缓冲区图像宽度
    inputDepthStencilResolution.height = 720; // 真实帧深度模板缓冲区图像高度
    // 预测帧分辨率
    FG\_Dimension2D outputColorResolution{};
    outputColorResolution.width = 1280; // 预测帧图像宽度
    outputColorResolution.height = 720; // 预测帧图像高度
    // 超帧输入输出图像分辨率
    FG\_ResolutionInfo rInfo{};
    rInfo.inputColorResolution = inputColorResolution;
    rInfo.inputDepthStencilResolution = inputDepthStencilResolution;
    rInfo.outputColorResolution = outputColorResolution;
    errorCode = HMS\_FG\_SetResolution\_VK(m\_context, &rInfo); // \[必选\] 设置超帧输入输出图像分辨率
    if (errorCode != FG\_SUCCESS) {
        return false;
    }
    
    // \[可选\] 设置齐次裁剪空间Z/W范围及深度测试模式，接口不调用时默认为FG\_CVV\_Z\_SEMANTIC\_ZERO\_TO\_ONE\_FORWARD\_Z
    errorCode = HMS\_FG\_SetCvvZSemantic\_VK(m\_context, FG\_CVV\_Z\_SEMANTIC\_ZERO\_TO\_ONE\_FORWARD\_Z);
    if (errorCode != FG\_SUCCESS) {
        return false;
    }
    
    // \[可选\] 设置超帧输入输出图像格式
    FG\_ImageFormat\_VK imageFormat{};
    imageFormat.inputColorFormat = VK\_FORMAT\_R8G8B8A8\_UNORM;
    imageFormat.inputDepthStencilFormat = VK\_FORMAT\_D24\_UNORM\_S8\_UINT;
    imageFormat.outputColorFormat = VK\_FORMAT\_R8G8B8A8\_UNORM;
    errorCode = HMS\_FG\_SetImageFormat\_VK(m\_context, &imageFormat);
    if (errorCode != FG\_SUCCESS) {
        return false;
    }
    
    // \[可选\] 当颜色缓冲区相对深度模板缓冲区基于y轴翻转180度时，设置第二个参数为true，接口不调用时默认为false
    errorCode = HMS\_FG\_SetDepthStencilYDirectionInverted\_VK(m\_context, true);
    if (errorCode != FG\_SUCCESS) {
        return false;
    }
    
5.  调用[HMS\_FG\_Activate\_VK](https://developer.huawei.com/consumer/cn/doc/harmonyos-references/_graphics_accelerate#hms_fg_activate_vk)接口激活超帧上下文实例。
    
    // 激活超帧上下文实例
    errorCode = HMS\_FG\_Activate\_VK(m\_context);
    if (errorCode != FG\_SUCCESS) {
        return false;
    }
    
6.  调用[HMS\_FG\_CreateImage\_VK](https://developer.huawei.com/consumer/cn/doc/harmonyos-references/_graphics_accelerate#hms_fg_createimage_vk)接口创建真实渲染帧颜色缓冲区图像实例、深度模板缓冲区图像实例、预测帧缓冲区图像实例。
    
    // 变量声明
    VkImage inputColorImage = VK\_NULL\_HANDLE;
    VkImageView inputColorImageView = VK\_NULL\_HANDLE;
    VkImage inputDepthStencilImage = VK\_NULL\_HANDLE;
    VkImageView inputDepthStencilImageView = VK\_NULL\_HANDLE;
    VkImage outputColorImage = VK\_NULL\_HANDLE;
    VkImageView outputColorImageView = VK\_NULL\_HANDLE;
    
    // 创建真实帧颜色缓冲区图像实例
    FG\_Image\_VK\* inputColor = HMS\_FG\_CreateImage\_VK(m\_context, inputColorImage, inputColorImageView);
    if (!inputColor) {
        return false;
    }
    // 创建真实帧深度模板缓冲区图像实例
    FG\_Image\_VK\* inputDepthStencil = HMS\_FG\_CreateImage\_VK(m\_context, inputDepthStencilImage, inputDepthStencilImageView);
    if (!inputDepthStencil) {
        return false;
    }
    // 创建预测帧缓冲区图像实例
    FG\_Image\_VK\* outputColor = HMS\_FG\_CreateImage\_VK(m\_context, outputColorImage, outputColorImageView);
    if (!outputColor) {
        return false;
    }
    
7.  游戏运行中，真实帧和预测帧交替渲染并送显。渲染真实帧时，缓存颜色信息、深度信息和相机矩阵等属性信息。渲染预测帧时，需调用[HMS\_FG\_Dispatch\_VK](https://developer.huawei.com/consumer/cn/doc/harmonyos-references/_graphics_accelerate#hms_fg_dispatch_vk)接口并传入上一帧真实帧属性信息，指定预测帧缓冲区索引，生成预测帧，最终更新预测帧缓冲区内存。
    
    // 帧计数
    uint32\_t frameNum = 0;
    
    // 帧循环
    while (true) {
        frameNum += 1;
        if ((frameNum & 1) != 0) { // 真实帧渲染阶段
            // 渲染当前帧渲染画面，缓存颜色、深度、相机矩阵等信息，用于下一帧预测帧生成
            // ...
    
            // 绘制真实帧
            // ...
    
            // 绘制UI
            // ...
    
            // 送显真实帧
            // ...
        } else { // 预测帧渲染阶段
            // 设置预测帧生成前真实帧颜色缓冲区同步状态
            FG\_ImageSync\_VK inputColorInitImageSync{};
            inputColorInitImageSync.stages = VK\_PIPELINE\_STAGE\_COLOR\_ATTACHMENT\_OUTPUT\_BIT;
            inputColorInitImageSync.layout = VK\_IMAGE\_LAYOUT\_COLOR\_ATTACHMENT\_OPTIMAL;
            inputColorInitImageSync.accessMask = VK\_ACCESS\_COLOR\_ATTACHMENT\_WRITE\_BIT;
    
            // 设置预测帧生成后真实帧颜色缓冲区同步状态
            FG\_ImageSync\_VK inputColorFinalImageSync{};
            inputColorFinalImageSync.stages = VK\_PIPELINE\_STAGE\_TRANSFER\_BIT;
            inputColorFinalImageSync.layout = VK\_IMAGE\_LAYOUT\_TRANSFER\_SRC\_OPTIMAL;
            inputColorFinalImageSync.accessMask = VK\_ACCESS\_TRANSFER\_READ\_BIT;
    
            // 创建真实帧颜色缓冲区图像属性实例
            FG\_ImageInfo\_VK inputColorImageInfo{};
            inputColorImageInfo.image = inputColor;
            inputColorImageInfo.initialSync = inputColorInitImageSync;
            inputColorImageInfo.finalSync = inputColorFinalImageSync;
    
            // 设置预测帧生成前深度模板缓冲区同步状态
            FG\_ImageSync\_VK depthInitImageSync{};
            depthInitImageSync.stages = VK\_PIPELINE\_STAGE\_LATE\_FRAGMENT\_TESTS\_BIT;
            depthInitImageSync.layout = VK\_IMAGE\_LAYOUT\_DEPTH\_STENCIL\_ATTACHMENT\_OPTIMAL;
            depthInitImageSync.accessMask = VK\_ACCESS\_DEPTH\_STENCIL\_ATTACHMENT\_WRITE\_BIT;
    
            // 设置预测帧生成后深度模板缓冲区同步状态
            FG\_ImageSync\_VK depthFinalImageSync{};
            depthFinalImageSync.stages = VK\_PIPELINE\_STAGE\_LATE\_FRAGMENT\_TESTS\_BIT;
            depthFinalImageSync.layout = VK\_IMAGE\_LAYOUT\_DEPTH\_STENCIL\_ATTACHMENT\_OPTIMAL;
            depthFinalImageSync.accessMask = VK\_ACCESS\_DEPTH\_STENCIL\_ATTACHMENT\_READ\_BIT;
    
            // 创建真实帧深度模板缓冲区图像属性实例
            FG\_ImageInfo\_VK depthImageInfo{};
            depthImageInfo.image = inputDepthStencil;
            depthImageInfo.initialSync = depthInitImageSync;
            depthImageInfo.finalSync = depthFinalImageSync;
    
            // 设置预测帧生成前预测帧缓冲区同步状态
            FG\_ImageSync\_VK outputColorInitImageSync{};
            outputColorInitImageSync.stages = VK\_PIPELINE\_STAGE\_ALL\_GRAPHICS\_BIT;
            outputColorInitImageSync.layout = VK\_IMAGE\_LAYOUT\_COLOR\_ATTACHMENT\_OPTIMAL;
            outputColorInitImageSync.accessMask = VK\_ACCESS\_SHADER\_WRITE\_BIT;
    
            // 设置预测帧生成后预测帧缓冲区同步状态
            FG\_ImageSync\_VK outputColorFinalImageSync{};
            outputColorFinalImageSync.stages = VK\_PIPELINE\_STAGE\_TRANSFER\_BIT;
            outputColorFinalImageSync.layout = VK\_IMAGE\_LAYOUT\_TRANSFER\_SRC\_OPTIMAL;
            outputColorFinalImageSync.accessMask = VK\_ACCESS\_TRANSFER\_READ\_BIT;
    
            // 创建预测帧缓冲区图像属性实例
            FG\_ImageInfo\_VK outputColorImageInfo{};
            outputColorImageInfo.image = outputColor;
            outputColorImageInfo.initialSync = outputColorInitImageSync;
            outputColorImageInfo.finalSync = outputColorFinalImageSync;
    
            // 帧生成属性配置结构体
            FG\_DispatchDescription\_VK dispatchDescription{};
            // 传入真实渲染帧颜色缓冲区属性信息
            dispatchDescription.inputColorInfo = inputColorImageInfo;
            // 传入真实渲染帧深度模板缓冲区属性信息
            dispatchDescription.inputDepthStencilInfo = depthImageInfo;
            // 传入预测帧缓冲区属性信息
            dispatchDescription.outputColorInfo = outputColorImageInfo;
    
            // 变量声明
            FG\_Mat4x4 preViewProj;
            FG\_Mat4x4 preInvViewProj;
            VkCommandBuffer vkCommandBuffer = VK\_NULL\_HANDLE;
    
            // 传入上一帧真实渲染帧视图投影矩阵
            dispatchDescription.viewProj = preViewProj;
            // 传入上一帧真实渲染帧视图投影逆矩阵
            dispatchDescription.invViewProj = preInvViewProj;
            // 传入用于录入超帧绘制指令的命令缓冲区句柄
            dispatchDescription.vkCommandBuffer = vkCommandBuffer;
            // 传入当前帧序号
            dispatchDescription.frameIdx = 0;
    
            // 生成预测帧，更新预测帧缓冲区的内存
            errorCode = HMS\_FG\_Dispatch\_VK(m\_context, &dispatchDescription);
            if (errorCode != FG\_SUCCESS) {
                return false;
            }
    
            switch (errorCode) {
                case FG\_SUCCESS: {
                    // 绘制预测帧
                    // ...
    
                    // 绘制UI
                    // ...
    
                    // 送显预测帧
                    // ...
                    break;
                }
                case FG\_COLLECTING\_PREVIOUS\_FRAMES:
                    // 传入真实帧数量未达到固定阈值，无预测帧生成，外插模式传入真实帧数量<3时返回该状态码，此时不要将预测帧送显
                    break;
                default:
                    // 预测帧生成失败
                    return false;
            }
        }
    }
    
8.  调用[HMS\_FG\_DestroyContext\_VK](https://developer.huawei.com/consumer/cn/doc/harmonyos-references/_graphics_accelerate#hms_fg_destroycontext_vk)接口销毁超帧实例，释放内存资源。
    
    // 销毁超帧上下文实例并释放内存资源
    errorCode = HMS\_FG\_DestroyContext\_VK(&m\_context);
    if (errorCode != FG\_SUCCESS) {
        return false;
    }