CANN/GE UDF接口列表

UDF接口列表【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge本文档主要描述UDFUser Defined Function模块对外提供的接口用户可以调用这些接口进行自定义处理函数的开发然后通过DataFlow构图在CPU上执行该处理函数。您可以在“${INSTALL_DIR}/include/flow_func”查看对应接口的头文件。${INSTALL_DIR}请替换为CANN软件安装后文件存储路径。若安装的Ascend-cann-toolkit软件包以root安装举例则安装后文件存储路径为/usr/local/Ascend/cann。接口分类及对应头文件表 1接口分类及对应头文件接口分类头文件路径简介AttrValue类attr_value.h用于获取用户设置的属性值。AscendString类ascend_string.h对String类型的封装。MetaContext类meta_context.h用于UDF上下文信息相关处理如申请tensor和获取设置的属性等操作。FlowMsg类flow_msg.h用于处理flow func输入输出的相关操作。Tensor类flow_msg.h用于执行Tensor的相关操作。MetaFlowFunc类meta_flow_func.h该类在meta_flow_func.h中定义用户继承该类进行自定义的单func处理函数的编写。MetaMultiFunc类meta_multi_func.h该类在meta_multi_func.h中定义用户继承该类进行自定义的多func处理函数的编写。FlowFuncRegistrar类meta_multi_func.h该类在meta_multi_func.h中定义是注册MetaMultiFunc的辅助模板类。MetaParams类meta_params.h该类在meta_params.h中定义在FlowFunc的多func处理函数中使用该类获取共享的变量信息。MetaRunContext类meta_run_context.h用于执行FlowFunc的多func处理函数的上下文信息相关处理如申请Tensor、设置输出、运行FlowModel等操作。OutOptions类out_options.h业务发布数据时为了携带相关的option提供了输出options的类。BalanceConfig类balance_config.h当需要均衡分发时需要设置输出数据标识和权重矩阵相关配置信息根据配置调度模块可以完成多实例之间的均衡分发。FlowBufferFactory类flow_msg.h-FlowMsgQueue类flow_msg_queue.h流式输入场景下即flow func函数入参为队列时用于flow func的输入队列队列中的数据对象为FlowMsg类。注册宏meta_flow_func.hmeta_multi_func.h-UDF日志接口flow_func_log.hflow_func_log.h提供了日志接口方便flowfunc开发中进行日志记录。错误码flow_func_defines.h-AttrValue类表 2AttrValue类接口接口名称简介AttrValue构造函数和析构函数AttrValue构造函数和析构函数。GetVal(AscendString value).md)获取string类型的属性值。GetVal(std::vector value).md)获取list string类型的属性值。GetVal(int64_t value).md)获取int类型的属性值。GetVal(std::vectorint64_t value).md)获取list int类型的属性值。GetVal(std::vectorstd::vectorint64_t value).md)获取list list int类型的属性值。GetVal(float value).md)获取float类型的属性值。GetVal(std::vector value).md)获取list float类型的属性值。GetVal(bool value).md)获取bool类型的属性值。GetVal(std::vector value).md)获取list bool类型的属性值。GetVal(TensorDataType value).md)获取TensorDataType类型的属性值。GetVal(std::vector value).md)获取list TensorDataType类型的属性值。AscendString类表 3AscendString类接口接口名称简介AscendString构造函数和析构函数AscendString构造函数和析构函数。GetString获取字符串地址。关系符重载对于AscendString对象大小比较的使用场景例如map数据结构的key进行排序通过重载以下关系符实现。GetLength获取字符串的长度。MetaContext类表 4MetaContext类接口接口名称简介MetaContext构造函数和析构函数MetaContext构造函数和析构函数。AllocTensorMsgMetaContext类根据shape和data type申请Tensor类型的msg。该函数供Proc调用。AllocEmptyDataMsgMetaContext类申请空数据的MsgType类型的message。该函数供Proc调用。SetOutputMetaContext类,tensor设置指定index的output的tensor。该函数供Proc调用。GetAttrMetaContext类获取指针根据属性名获取AttrValue类型的指针。该函数供InitMetaFlowFunc类调用。GetAttrMetaContext类获取属性值根据属性名获取对应的属性值。该函数供InitMetaFlowFunc类调用。RunFlowModelMetaContext类同步执行指定的模型。该函数供Proc调用。GetInputNumMetaContext类获取Flowfunc的输入个数。该函数供InitMetaFlowFunc类调用。GetOutputNumMetaContext类获取Flowfunc的输出个数。该函数供InitMetaFlowFunc类调用。GetWorkPathMetaContext类获取Flowfunc的工作路径。该函数供InitMetaFlowFunc类调用。GetRunningDeviceIdMetaContext类获取正在运行的设备ID。该函数供InitMetaFlowFunc类调用。GetUserDataMetaContext类获取用户数据。该函数供Proc调用。AllocTensorMsgWithAlignMetaContext类根据shape、data type和对齐大小申请Tensor类型的FlowMsg与AllocTensorMsg函数区别是AllocTensorMsg默认申请以64字节对齐此函数可以指定对齐大小方便性能调优。RaiseExceptionMetaContext类UDF主动上报异常该异常可以被同作用域内的其他UDF捕获。GetExceptionMetaContext类UDF获取异常如果开启了异常捕获功能需要在UDF中Proc函数开始位置尝试捕获异常。FlowMsg类表 5FlowMsg类接口接口名称简介FlowMsg构造函数和析构函数FlowMsg构造函数和析构函数。GetMsgTypeFlowMsg类获取FlowMsg的消息类型。GetTensorFlowMsg类获取FlowMsg中的Tensor指针。SetRetCodeFlowMsg类设置FlowMsg消息中的错误码。GetRetCodeFlowMsg类获取输入FlowMsg消息中的错误码。SetStartTimeFlowMsg类设置FlowMsg消息头中的开始时间戳。GetStartTimeFlowMsg类获取FlowMsg消息中的开始时间戳。SetEndTimeFlowMsg类设置FlowMsg消息头中的结束时间戳。GetEndTimeFlowMsg类获取FlowMsg消息中的结束时间戳。SetFlowFlagsFlowMsg类设置FlowMsg消息头中的flags。GetFlowFlagsFlowMsg类获取FlowMsg消息头中的flags。SetRouteLabel设置路由的标签。GetTransactionIdFlowMsg类获取FlowMsg消息中的事务ID事务ID从1开始计数每feed一批数据事务ID会加一可用于识别哪一批数据。GetTensorList返回FlowMsg中所有的Tensor指针列表。GetRawDataFlowMsg类获取RawData类型的数据对应的数据指针和数据大小。SetMsgTypeFlowMsg类设置FlowMsg的消息类型。SetTransactionIdFlowMsg类设置FlowMsg消息中的事务ID。Tensor类表 6Tensor类接口接口名称简介Tensor构造函数和析构函数Tensor构造函数和析构函数。GetShape获取Tensor的Shape。GetDataType获取Tensor中的数据类型。GetData获取Tensor中的数据。GetDataSize获取Tensor中的数据大小。GetElementCnt获取Tensor中的元素的个数。GetDataBufferSize获取Tensor中的对齐后的数据大小。Reshape对Tensor进行Reshape操作不改变Tensor的内容。MetaFlowFunc类表 7MetaFlowFunc类接口接口名称简介MetaFlowFunc构造函数和析构函数用户继承该类进行自定义的单func处理函数的编写。在析构函数中执行释放相关资源操作。SetContext设置flow func的上下文信息。InitMetaFlowFunc类用户自定义flow func的初始化函数。Proc用户自定义flow func的处理函数。RegisterFlowFunc注册flow func。不建议直接使用该函数建议使用MetaFlowFunc注册函数宏来注册flow func。ResetFlowFuncStateMetaFlowFunc类在故障恢复场景下快速重置FlowFunc为初始化状态。其他REGISTER_FLOW_FUNC_INNER(name, ctr, clazz)和REGISTER_FLOW_FUNC_IMPL(name, ctr, clazz)是MetaFlowFunc注册函数宏的实现不建议用户直接调用。MetaMultiFunc类表 8MetaMultiFunc类接口接口名称简介MetaMultiFunc构造函数和析构函数用户继承该类进行自定义的多func处理函数的编写。在析构函数中执行释放相关资源操作。InitMetaMultiFunc类用户自定义flow func的初始化函数。多func处理函数用户自定义多flow func的处理函数。RegisterMultiFunc注册多flow func。不建议直接使用该函数建议使用MetaMultiFunc注册函数宏来注册flow func。ResetFlowFuncStateMetaMultiFunc类在故障恢复场景下快速重置FlowFunc为初始化状态。FlowFuncRegistrar类表 9FlowFuncRegistrar类接口接口名称简介RegProcFunc注册多flow func处理函数结合MetaMultiFunc注册函数宏来注册flow func。CreateMultiFunc创建多func处理对象和处理函数框架内部使用用户不直接使用。MetaParams类表 10MetaParams类接口接口名称简介MetaParams构造函数和析构函数MetaParams构造函数和析构函数。GetName获取Flowfunc的实例名。GetAttrMetaParams类获取指针根据属性名获取AttrValue类型的指针。该函数供InitMetaFlowFunc类调用。GetAttrMetaParams类获取属性值根据属性名获取对应的属性值。该函数供InitMetaFlowFunc类调用。GetInputNumMetaParams类获取Flowfunc的输入个数。该函数供InitMetaFlowFunc类调用。GetOutputNumMetaParams类获取Flowfunc的输出个数。该函数供InitMetaFlowFunc类调用。GetWorkPathMetaParams类获取Flowfunc的工作路径。该函数供InitMetaFlowFunc类调用。GetRunningDeviceIdMetaParams类获取正在运行的设备ID。MetaRunContext类表 11MetaRunContext类接口接口名称简介MetaRunContext构造函数和析构函数MetaRunContext构造函数和析构函数。AllocTensorMsgMetaRunContext类根据shape和data type申请Tensor类型的msg。该函数供Proc调用。SetOutputMetaRunContext类,tensor设置指定index的output的tensor。该函数供Proc调用。RunFlowModelMetaRunContext类同步执行指定的模型。该函数供Proc调用。AllocEmptyDataMsgMetaRunContext类申请空数据的MsgType类型的message。GetUserDataMetaRunContext类获取用户数据。该函数供Proc调用。SetOutputMetaRunContext类,输出设置指定index和options的输出该函数供func函数调用。SetMultiOutputs批量设置指定index和options的输出该函数供func函数调用。AllocTensorMsgWithAlignMetaRunContext类根据shape、data type和对齐大小申请Tensor类型的FlowMsg与AllocTensorMsg函数区别是AllocTensorMsg默认申请以64字节对齐此函数可以指定对齐大小方便性能调优。AllocTensorListMsg根据输入的dtype shapes数组分配一块连续内存用于承载Tensor数组。RaiseExceptionMetaRunContext类UDF主动上报异常该异常可以被同作用域内的其他UDF捕获。GetExceptionMetaRunContext类UDF获取异常如果开启了异常捕获功能需要在UDF中Proc函数开始位置尝试捕获异常。AllocRawDataMsgMetaRunContext类根据输入的size申请一块连续内存用于承载RawData类型的数据。ToFlowMsg根据输入的Tensor转换成用于承载Tensor的FlowMsg。OutOptions类表 12OutOptions类接口接口名称简介OutOptions构造函数和析构函数OutOptions的构造和析构函数。MutableBalanceConfig获取或创建BalanceConfig。GetBalanceConfig获取BalanceConfig。BalanceConfig类表 13BalanceConfig类接口接口名称简介BalanceConfig构造函数和析构函数BalanceConfig的构造和析构函数。SetAffinityPolicy设置均衡分发亲和性。GetAffinityPolicy获取亲和性。SetBalanceWeight设置均衡分发权重信息。GetBalanceWeight获取均衡分发权重信息。SetDataPos设置输出数据对应权重矩阵中的位置。GetDataPos获取输出数据对应权重矩阵中的位置。FlowBufferFactory类表 14FlowBufferFactory类接口接口名称简介AllocTensorFlowBufferFactory类根据shape、data type和对齐大小申请Tensor默认申请以64字节对齐可以指定对齐大小方便性能调优。FlowMsgQueue类表 15FlowMsgQueue类接口接口名称简介FlowMsgQueue构造函数和析构函数FlowMsgQueue的构造和析构函数。Dequeue设置均衡分发亲和性。Depth获取队列的深度即获取队列可容纳元素的最大个数。Size获取队列中当前元素的个数。注册宏表 16注册宏接口名称简介MetaFlowFunc注册函数宏注册MetaFlowFunc的实现类。MetaMultiFunc注册函数宏注册MetaMultiFunc的实现类。UDF日志接口表 17UDF日志接口接口名称简介FlowFuncLogger构造函数和析构函数FlowFuncLogger构造函数和析构函数。GetLogger获取日志实现类。GetLogExtHeader获取日志扩展头信息。IsLogEnable查询对应级别和类型的日志是否开启。Error记录ERROR级别日志。Warn记录Warn级别日志。Info记录Info级别日志。Debug记录Debug级别日志。运行日志Error级别日志宏运行日志Error级别日志宏。运行日志Info级别日志宏运行日志Info级别日志宏。调试日志Error级别日志宏调试日志Error级别日志宏。调试日志Warn级别日志宏调试日志Warn级别日志宏。调试日志Info级别日志宏调试日志Info级别日志宏。调试日志Debug级别日志宏调试日志Debug级别日志宏。错误码表 18错误码错误码模块简介flowfunc提供了flowfunc的错误码供用户使用主要用于对异常逻辑的判断处理。AICPUAICPU在执行模型的过程中有可能向用户上报的错误码。【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考