昇腾GE DataFlow Python接口

DataFlow接口列表【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge使用DataFlow Python接口构造DataFlow图进行推理。支持定义图处理点UDF处理点描述处理点之间的数据流关系支持导入TensorFlow, ONNX, MindSpore的IR文件作为图处理点计算逻辑定义。DataFlow构图接口表 1DataFlow构图接口接口名称简介dataflow.FlowDataDataFlow Graph中的数据节点每个FlowData对应一个输入。FlowNodeDataFlow Graph中的计算节点。add_process_point给FlowNode添加映射的pp当前一个FlowNode仅能添加一个pp添加后会默认将FlowNode的输入输出和pp的输入输出按顺序进行映射。map_input给FlowNode映射输入表示将FlowNode的第node_input_index个输入给到ProcessPoint的第pp_input_index个输入并且给ProcessPoint的该输入设置上attr里的所有属性返回映射好的FlowNode节点。该函数可选不被调用时会默认按顺序去映射FlowNode和ProcessPoint的输入。map_output给FlowNode映射输出表示将pp的第pp_output_index个输出给到FlowNode的第node_output_index个输出返回映射好的FlowNode节点。set_attr设置FlowNode的属性。call调用FlowNode进行计算。set_balance_scatter设置节点balance scatter属性具有balance scatter属性的UDF可以使用balance options设置负载均衡输出。set_balance_gather设置节点balance gather属性具有balance gather属性的UDF可以使用balance options设置负载均衡亲和输出。set_alias设置节点别名使用option:ge.experiment.data_flow_deploy_info_path指定节点部署位置时flow_node_list字段可使用别名进行指定。dataflow.FlowFlag设置FlowMsg消息头中的flags。FlowGraphDataFlow的graph由输入节点FlowData和计算节点FlowNode构成。set_contains_n_mapping_node设置FlowGraph是否包含n_mapping节点。set_inputs_align_attrs设置FlowGraph中的输入对齐属性。set_exception_catch设置用户异常捕获功能是否开启。dataflow.FlowOutput描述FlowNode的输出。dataflow.Framework设置原始网络模型的框架类型。FuncProcessPointFuncProcessPoint的构造函数返回一个FuncProcessPoint对象。set_init_param设置FuncProcessPoint的初始化参数。add_invoked_closure添加FuncProcessPoint调用的GraphProcessPoint或者FlowGraphProcessPoint返回添加好的FuncProcessPoint。GraphProcessPointGraphProcessPoint构造函数返回一个GraphProcessPoint对象。fnode根据当前的GraphProcessPoint生成一个FlowNode返回一个FlowNode对象。dataflow.FlowGraphProcessPointGraphProcessPoint构造函数返回一个GraphProcessPoint对象。TensorTensor的构造函数。numpy将Tensor转换到numpy的ndarray。dataflow.TensorDescTensor的描述函数。dataflow.alloc_tensor根据shape、data type以及对齐大小申请dataflow tensor。dataflow.utils.generate_deploy_template根据FlowGraph生成指定部署位置的option:ge.experiment.data_flow_deploy_info_path所需要的文件的模板。register注册自定义类型对应的序列化、反序列化、计算size的函数可结合feedfetch接口使用用于feed/fetch任意Python类型。registered判断消息类型ID是否被注册过。get_msg_typedataflow根据类型定义获取注册的消息类型ID。get_serialize_func根据消息类型ID获取注册的序列化函数。get_deserialize_func根据消息类型ID获取注册的反序列化函数。get_size_func根据消息类型ID获取注册的计算序列化内存大小的函数。deserialize_from_file从序列化的pickle文件进行反序列化恢复Python对象。pyflow支持将函数作为pipeline任务在本地或者远端运行。method对于复杂场景支持将类作为pipeline任务在本地或者远端运行。npu_model如果UDF部署在host侧执行时数据需要从device拷贝到本地进行运算。对于PyTorch场景如果计算全在device侧输入输出也是在device侧执行时数据需要从device拷贝到host执行后PyTorch再将数据搬到device侧影响执行性能使用npu_model可以优化为不搬移数据即直接下沉到device执行的方式触发执行。dataflow.CountBatchCountBatch功能是指基于UDF为计算处理点将多个数据按batchSize组成batch。该功能应用于dataflow异步场景。dataflow.TimeBatchTimeBatch功能是基于UDF为前提的。正常模型每次处理一个数据当需要一次处理一批数据时就需要将这批数据组成一个Batch。最基本的Batch方式是将这批N个数据直接拼接然后shape前加N而某些场景需要将某段或者某几段时间数据组成一个batch并且按特定的维度拼接则可以通过使用TimeBatch功能来组Batch。DataFlow运行接口表 2DataFlow运行接口接口名称简介dataflow.init初始化dataflow时的options。FlowInfoDataFlow的flow信息。set_user_data设置用户信息。get_user_datadataflow获取用户信息。user_data获取用户信息。data_size获取user_data的长度。start_time以属性方式读取和设置FlowInfo的开始时间。end_time以属性方法读取和设置FlowInfo的结束时间。flow_flags以属性方法读取和设置FlowInfo的flow_flags。transaction_id以属性方式读写事务ID。feed_data将数据输入到Graph。feed将数据输入到Graph支持可序列化的任意的输入。fetch_data获取Graph输出数据。fetch获取Graph输出数据。支持可序列化的任意的输出。dataflow.finalize释放dataflow初始化的资源。dataflow.get_running_device_idUDF执行时获取当前UDF的运行device_id, 信息来源和UDF部署位置的配置。dataflow.get_running_instance_idUDF执行时获取当前UDF的运行实例ID该信息来源于data_flow_deploy_info.json中的logic_device_list配置。dataflow.get_running_instance_numUDF执行时获取当前UDF的运行实例个数该信息来源于data_flow_deploy_info.json中的logic_device_list配置。模块dataflow module公共接口的命名空间类class CountBatchCountBatch属性的类class FlowData输入节点类class FlowFlag数据标记类class FlowGraphdataflow的图类class FlowInfo指定输入输出数据携带的信息类class FlowNode计算节点类class FlowOutput计算节点的输出类class FrameworkIR文件的框架类型的枚举类class FuncProcessPointUDF处理点类class GraphProcessPoint图处理点类class Tensor张量数据类class TensorDesc张量的描述类class TimeBatchTimeBatch属性的类函数init(...)dataflow的资源初始化方法finalize(...)dataflow的资源释放方法其他成员表 3其他成员名称简介DT_FLOATdf.data_type.DType的对象32位单精度浮点数DT_FLOAT16df.data_type.DType的对象16位半精度浮点数DT_INT8df.data_type.DType的对象有符号8位整数DT_INT16df.data_type.DType的对象有符号16位整数DT_UINT16df.data_type.DType的对象无符号16位整数DT_UINT8df.data_type.DType的对象无符号8位整数DT_INT32df.data_type.DType的对象有符号32位整数DT_INT64df.data_type.DType的对象有符号64位整数DT_UINT32df.data_type.DType的对象无符号32位整数DT_UINT64df.data_type.DType的对象无符号64位整数DT_BOOLdf.data_type.DType的对象布尔类型DT_DOUBLEdf.data_type.DType的对象64位双精度浮点数DT_STRINGdf.data_type.DType的对象字符串类型【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考