CANN Kit术语
==========

#### A

#### \[h2\]AIPP；AI预处理器

AIPP（AI Pre-Process）是针对AI推理输入数据进行预处理的模块，实现不同格式图片数据到NPU标准输入格式的转换，可称为“硬件图像预处理”，无需重新训练模型即可完成适配，获得较好的推理性能收益。

#### \[h2\]AscendC；CANN算子开发编程语言

华为昇腾、麒麟AI处理器提供的C++算子开发接口，封装了硬件架构抽象、编程范式及基础/高阶API，用于自定义算子开发。

#### C

#### \[h2\]CPU Twin Debugging；CPU孪生调试

在AsendC算子开发中，CPU孪生调试是一种在CPU上模拟运行算子进行调试的功能，支持自动精度比对、printf打印、DumpTensor、assert断言、gdb单步调试等调测项，可帮助开发者在NPU上板前快速定位代码逻辑和精度问题，提高算子NPU上板成功率。

#### G

#### \[h2\]GE；图引擎

图模式是神经网络模型的一种运行模式，在图模式下开发者首先将模型的计算过程构造成一张图，然后通过GE将图下发到Kirin硬件执行。相对于单个算子依次下发的方式，图模式下，GE可以通过计算图优化、多流并行、内存复用、模型下沉等技术手段，加速模型执行效率，减少模型内存占用。

#### H

#### \[h2\]Host API；主机侧接口

在Host（CPU）侧调用的API，用于自定义算子的注册、Tiling数据管理及硬件平台信息获取。

#### \[h2\]Host侧Tiling；主机侧分块

当Local Memory无法完整容纳算子输入输出时，在Host CPU上进行数据切分、分块计算的过程，即根据算子shape等信息计算切分算法参数（块大小、循环次数等）的程序。将Tiling切分算法参数传递给Kernel侧，用于指导AI Core并行数据的切分，让不擅长标量计算的AI Core专注于计算任务。

#### L

#### \[h2\]LLM Engine；大语言模型引擎

LLM Engine是基于CANN Kit的大语言模型推理解决方案，为大模型业务提供计算链路加速封装，包括多步骤高效串联、内存复用、数据零拷贝、LoRA拓展、多模态拓展等功能，助力开发者完成模型量化、NPU亲和适配和模型转换，实现高性能、低功耗的大模型部署。

#### \[h2\]LoRA；低秩适配

LoRA（Low-Rank Adaptation）是一种大模型轻量化微调技术，通过在预训练量化基模上外挂浮点LoRA分支进行特定场景训练。解决模型量化后精度下降的问题，针对特定场景（如对话、翻译等）进行模型微调，只需训练少量LoRA参数，其他基模参数冻结，大幅降低训练成本。

#### M

#### \[h2\]Maintenance Testing Debugging and Optimization；维测调优

维测调优是CANN Kit提供的对AI模型进行性能统计，并获取性能数据的能力。开发人员可分析模型和单算子的性能数据，并通过模型的层级输出对比精度来完成问题定位。

#### O

#### \[h2\]OMG；离线模型转换工具

OMG（Offline Model Generator）是CANN Kit提供的离线模型转换工具，用于将Caffe、TensorFlow、ONNX、MindSpore等框架训练的网络模型转换为达芬奇架构的离线模型（.om格式）。

#### Z

#### \[h2\]Zero Memory Copy；内存零拷贝

内存零拷贝是将存放在ION内存中的数据（如GPU纹理数据或模型输入数据）直接封装为输入输出张量进行推理的技术，无需数据拷贝，可节省内存和推理时间。