昇腾GE LLM数据分发链路状态检查API

# check_link_status【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge产品支持情况Atlas A3 训练系列产品/Atlas A3 推理系列产品支持Atlas A2 推理系列产品支持Atlas A2 训练系列产品不支持函数功能可快速检测链路状态是否正常。函数原型check_link_status(remote_cluster_id: int)参数说明参数名称数据类型取值说明remote_cluster_idint远程集群ID。调用示例from llm_datadist import LLMDataDist, LLMRole, LLMStatusCode, LLMClusterInfo ... try: data_dist.check_link_status(remote_cluster_id0) except LLMException as ex: print(fcheck_link_status exception:{ex.status_code}) raise ex kv_cache_manager data_dist.kv_cache_manager ... kv_cache_manager.pull_cache(prompt_cache_key, local_kv_cache, batch_index0)返回值正常情况下无返回值。运行失败会抛出LLMException异常。参数错误可能抛出TypeError或ValueError。约束说明只有Client侧可以调用。调用失败如果异常error-code是不可恢复error-code需重新建链。调用失败时需持续调用该接口直至成功才能调用pull_cache、pull_blocks等接口。该接口如果和pull_cache、pull_blocks等接口并发可能抛出LLMException异常error-code为LLM_LINK_BUSY。超时时间由llm.SyncKvCacheWaitTime配置项指定。【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考