CANN/ge LLM-DataDist C++接口列表

# LLM-DataDist-interface-list【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/geLLM-DataDist大模型分布式集群和数据加速组件提供了集群KV数据管理能力支持全量图和增量图分离部署。支持的产品形态如下Atlas A2 推理系列产品Atlas A3 训练系列产品/Atlas A3 推理系列产品LLM-DataDist V1 C 接口计划废弃相关头文件不再随ge_compiler安装如需使用LLM-DataDist头文件请安装toolkit与hixl。接口对应的库文件是libllm_engine.so。LLM-DataDist-interface-list如下。表 1LLM-DataDist接口接口名称简介LLMDataDist-constructor创建LLM-DataDist对象。~LlmDataDist-destructorLLM-DataDist对象析构函数。Initialize初始化LLM-DataDist。Finalize释放LLM-DataDist。SetRole设置当前LLM-DataDist的角色。LinkLlmClusters建链。UnlinkLlmClusters断链。PullKvCache以连续内存方式拉取KV Cache。PullKvBlocks以block列表的方式拉取KV Cache。CopyKvCache以连续内存方式拷贝KV Cache。CopyKvBlocks以block列表的方式拷贝KV Cache。PushKvCache推送Cache到远端节点仅当角色为Prompt时可调用。PushKvBlocks通过block列表的方式推送Cache到远端节点仅当角色为Prompt时可调用。AllocateCache分配Cache。DeallocateCache释放Cache。【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考