11-03 内存拷贝与设置【免费下载链接】runtime本项目提供CANN运行时组件和维测功能组件。项目地址: https://gitcode.com/cann/runtime本章节描述 Host-Device 间及 Device-Device 间的内存拷贝与内存设置接口。aclError aclrtMemcpy(void *dst, size_t destMax, const void *src, size_t count, aclrtMemcpyKind kind)实现内存复制。aclError aclrtMemcpyAsync(void *dst, size_t destMax, const void *src, size_t count, aclrtMemcpyKind kind, aclrtStream stream)实现内存复制。aclError aclrtMemcpyAsyncWithCondition(void *dst, size_t destMax, const void *src, size_t count, aclrtMemcpyKind kind, aclrtStream stream)实现内存复制。aclError aclrtMemcpyBatch(void **dsts, size_t *destMaxs, void **srcs, size_t *sizes, size_t numBatches, aclrtMemcpyBatchAttr *attrs, size_t *attrsIndexes, size_t numAttrs, size_t *failIndex)实现批量内存复制。aclError aclrtMemcpyBatchAsync(void **dsts, size_t *destMaxs, void **srcs, size_t *sizes, size_t numBatches, aclrtMemcpyBatchAttr *attrs, size_t *attrsIndexes, size_t numAttrs, size_t *failIndex, aclrtStream stream)实现批量内存复制。aclError aclrtMemcpyBatchV2(void **dsts, size_t *destMaxs, void **srcs, size_t *sizes, size_t numBatches, aclrtMemcpyBatchAttr *attrs, size_t *attrsIndexes, size_t numAttrs)实现批量内存复制。aclError aclrtMemcpyBatchAsyncV2(void **dsts, size_t *destMaxs, void **srcs, size_t *sizes, size_t numBatches, aclrtMemcpyBatchAttr *attrs, size_t *attrsIndexes, size_t numAttrs, aclrtStream stream)实现批量内存复制。aclError aclrtMemcpy2d(void *dst, size_t dpitch, const void *src, size_t spitch, size_t width, size_t height, aclrtMemcpyKind kind)实现同步内存复制主要用于矩阵数据的复制。aclError aclrtMemcpy2dAsync(void *dst, size_t dpitch, const void *src, size_t spitch, size_t width, size_t height, aclrtMemcpyKind kind, aclrtStream stream)实现异步内存复制主要用于矩阵数据的复制。异步接口。aclError aclrtGetMemcpyDescSize(aclrtMemcpyKind kind, size_t *descSize)获取当前Device的内存复制描述符占用的内存大小。aclError aclrtSetMemcpyDesc(void *desc, aclrtMemcpyKind kind, void *srcAddr, void *dstAddr, size_t count, void *config)设置内存复制描述符此接口调用完成后会将源地址目的地址、内存复制长度记录到内存复制描述符中。aclError aclrtMemcpyAsyncWithDesc(void *desc, aclrtMemcpyKind kind, aclrtStream stream)使用内存复制描述符二级指针方式进行内存复制。异步接口。aclError aclrtMemcpyAsyncWithOffset(void **dst, size_t destMax, size_t dstDataOffset, const void **src, size_t count, size_t srcDataOffset, aclrtMemcpyKind kind, aclrtStream stream)实现内存复制适用于基地址是二级指针、有地址偏移的场景。异步接口。aclError aclrtMemset(void *devPtr, size_t maxCount, int32_t value, size_t count)初始化内存将内存中的内容设置为指定的值。aclError aclrtMemsetAsync(void *devPtr, size_t maxCount, int32_t value, size_t count, aclrtStream stream)初始化内存将内存中的内容设置为指定的值。异步接口。aclrtMemcpyaclError aclrtMemcpy(void *dst, size_t destMax, const void *src, size_t count, aclrtMemcpyKind kind)产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明实现内存复制。参数说明参数名输入/输出说明dst输入目的内存地址指针。destMax输入目的内存地址的最大内存长度单位Byte。src输入源内存地址指针。count输入内存复制的长度单位Byte。kind输入内存复制的类型预留参数配置枚举值中的值无效系统内部会根据源内存地址指针、目的内存地址指针判断是否可以将源地址的数据复制到目的地址如果不可以则系统会返回报错。类型定义请参见aclrtMemcpyKind。返回值说明返回0表示成功返回其他值表示失败请参见aclError。约束说明本接口会立刻进行内存复制函数内部不会进行隐式的device同步或流同步。如果执行两个Device间的内存复制需先调用aclrtDeviceCanAccessPeer接口查询两个Device间是否支持数据交互、调用aclrtDeviceEnablePeerAccess接口开启两个Device间的数据交互功能再调用本接口进行内存复制。该约束适用以下型号Ascend 950PR/Ascend 950DTAtlas A2 训练系列产品/Atlas A2 推理系列产品aclrtMemcpyAsyncaclError aclrtMemcpyAsync(void *dst, size_t destMax, const void *src, size_t count, aclrtMemcpyKind kind, aclrtStream stream)产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明实现内存复制。本接口中的Host内存支持锁页内存例如通过aclrtMallocHost接口申请的内存、非锁页内存通过malloc接口申请的内存。当Host内存是锁页内存时本接口是异步接口调用接口成功仅表示任务下发成功不表示任务执行成功调用本接口后需调用同步等待接口例如aclrtSynchronizeStream确保内存复制的任务已执行完成当Host内存是非锁页内存时本接口在内存复制任务完成后才返回。参数说明参数名输入/输出说明dst输入目的内存地址指针。destMax输入目的内存地址的最大内存长度单位Byte。src输入源内存地址指针。count输入内存复制的长度单位Byte。kind输入内存复制的类型。类型定义请参见aclrtMemcpyKind。stream输入指定执行内存复制任务的Stream。类型定义请参见aclrtStream。返回值说明返回0表示成功返回其他值表示失败请参见aclError。约束说明Ascend EP形态下本接口不支持异步Host内的内存复制功能若传入的kind为ACL_MEMCPY_HOST_TO_HOST时接口返回报错ACL_ERROR_RT_FEATURE_NOT_SUPPORT 。aclrtMemcpyAsyncWithConditionaclError aclrtMemcpyAsyncWithCondition(void *dst, size_t destMax, const void *src, size_t count, aclrtMemcpyKind kind, aclrtStream stream)产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明实现内存复制。本接口中的Host内存支持锁页内存例如通过aclrtMallocHost接口申请的内存、非锁页内存通过malloc接口申请的内存。当Host内存是非锁页内存时本接口在内存复制任务完成后才返回当Host内存是锁页内存时本接口是异步接口调用接口成功仅表示任务下发成功不表示任务执行成功调用本接口后需调用同步等待接口例如aclrtSynchronizeStream确保内存复制的任务已执行完成。参数说明参数名输入/输出说明dst输入目的内存地址指针。destMax输入目的内存地址的最大内存长度单位Byte。src输入源内存地址指针。count输入内存复制的长度单位Byte。kind输入内存复制的类型。类型定义请参见aclrtMemcpyKind。stream输入指定执行内存复制任务的Stream。类型定义请参见aclrtStream。返回值说明返回0表示成功返回其他值表示失败请参见aclError。约束说明Ascend EP形态下本接口不支持异步Host内的内存复制功能若传入的kind为ACL_MEMCPY_HOST_TO_HOST时接口返回报错ACL_ERROR_RT_FEATURE_NOT_SUPPORT 。aclrtMemcpyBatchaclError aclrtMemcpyBatch(void **dsts, size_t *destMaxs, void **srcs, size_t *sizes, size_t numBatches, aclrtMemcpyBatchAttr *attrs, size_t *attrsIndexes, size_t numAttrs, size_t *failIndex)须知本接口为试验特性后续版本可能会存在变更不支持应用于商用产品中。产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明实现批量内存复制。本接口中的Host内存支持锁页内存例如通过aclrtMallocHost接口申请的内存、非锁页内存通过malloc接口申请的内存。参数说明参数名输入/输出说明dsts输入目的内存地址数组。destMaxs输入内存复制最大长度数组用于存放每一段要复制的内存的最大长度单位Byte。srcs输入源内存地址数组。sizes输入内存复制长度数组用于存放每一段要复制的内存大小单位Byte。numBatches输入dsts、srcs和sizes数组的长度。attrs输入内存复制属性数组。类型定义请参见aclrtMemcpyBatchAttr。attrsIndexes输入内存复制属性索引数组用于指定attrs数组中每个条目适用的复制范围。attrs[k]中指定的属性将应用于从attrsIndexes[k]到attrsIndexes[k1] - 1的复制操作同时attrs[numAttrs-1]将应用于从attrsIndexes[numAttrs-1]到numBatches - 1的复制操作。numAttrs输入attrs和attrsIndexes数组的长度。failIndex输出用于发生错误时指示出错的复制项下标仅支持对内存属性和复制方向的校验。若错误不涉及特定复制操作该值将为SIZE_MAX。返回值说明返回0表示成功返回其他值表示失败请参见aclError。约束说明批次内的内存拷贝是无序的不会按照数组中元素的顺序拷贝。将srcs中指定的数据复制到dsts中指定的内存区域每个复制操作的大小由sizes指定dsts、srcs、sizes这三个数组必须具有numBatches指定的相同长度。批处理中的每个复制操作必须与attrs数组中指定的属性集相关联attrs数组中的每个条目可应用于多个复制操作具体通过attrsIndexes数组指定对应属性条目生效的起始复制索引。attrs和attrsIndexes这两个数组必须具有numAttrs指定的相同长度。例如若批处理包含dsts/srcs/sizes列出的10个复制操作其中前6个使用一组属性后4个使用另一组属性则numAttrs为2attrsIndexes为{0,6}attrs包含两组属性。注意attrsIndexes的首个条目必须为0且每个条目必须大于前一个条目最后一个条目应小于numBatches。此外numAttrs必须小于等于numBatches。批量内存复制的方向仅支持“从Host到Device”或者“从Device到Host”中的一种。aclrtMemcpyBatchAsyncaclError aclrtMemcpyBatchAsync(void **dsts, size_t *destMaxs, void **srcs, size_t *sizes, size_t numBatches, aclrtMemcpyBatchAttr *attrs, size_t *attrsIndexes, size_t numAttrs, size_t *failIndex, aclrtStream stream)须知本接口为试验特性后续版本可能会存在变更不支持应用于商用产品中。产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明实现批量内存复制。本接口中的Host内存支持锁页内存例如通过aclrtMallocHost接口申请的内存、非锁页内存通过malloc接口申请的内存。当Host内存是非锁页内存时本接口在内存复制任务完成后才返回当Host内存是锁页内存时本接口是异步接口调用接口成功仅表示任务下发成功不表示任务执行成功调用本接口后需调用同步等待接口例如aclrtSynchronizeStream确保内存复制的任务已执行完成。参数说明参数名输入/输出说明dsts输入目的内存地址数组。destMaxs输入内存复制最大长度数组用于存放每一段要复制的内存的最大长度单位Byte。srcs输入源内存地址数组。sizes输入内存复制长度数组用于存放每一段要复制的内存大小单位Byte。numBatches输入dsts、srcs和sizes数组的长度。attrs输入内存复制属性数组。类型定义请参见aclrtMemcpyBatchAttr。attrsIndexes输入内存复制属性索引数组用于指定attrs数组中每个条目适用的复制范围。attrs[k]中指定的属性将应用于从attrsIndexes[k]到attrsIndexes[k1] - 1的复制操作同时attrs[numAttrs-1]将应用于从attrsIndexes[numAttrs-1]到numBatches - 1的复制操作。numAttrs输入attrs和attrsIndexes数组的长度。failIndex输出用于发生错误时指示出错的复制项下标仅支持对内存属性和复制方向的校验。若错误不涉及特定复制操作该值将为SIZE_MAX。stream输入指定执行内存复制任务的Stream。类型定义请参见aclrtStream。返回值说明返回0表示成功返回其他值表示失败请参见aclError。约束说明批次内的内存拷贝是无序的不会按照数组中元素的顺序拷贝。将srcs中指定的数据复制到dsts中指定的内存区域每个复制操作的大小由sizes指定dsts、srcs、sizes这三个数组必须具有numBatches指定的相同长度。批处理中的每个复制操作必须与attrs数组中指定的属性集相关联attrs数组中的每个条目可应用于多个复制操作具体通过attrsIndexes数组指定对应属性条目生效的起始复制索引。attrs和attrsIndexes这两个数组必须具有numAttrs指定的相同长度。例如若批处理包含dsts/srcs/sizes列出的10个复制操作其中前6个使用一组属性后4个使用另一组属性则numAttrs为2attrsIndexes为{0,6}attrs包含两组属性。注意attrsIndexes的首个条目必须为0且每个条目必须大于前一个条目最后一个条目应小于numBatches。此外numAttrs必须小于等于numBatches。批量内存复制的方向仅支持“从Host到Device”或者“从Device到Host”中的一种。aclrtMemcpyBatchV2aclError aclrtMemcpyBatchV2(void **dsts, size_t *destMaxs, void **srcs, size_t *sizes, size_t numBatches, aclrtMemcpyBatchAttr *attrs, size_t *attrsIndexes, size_t numAttrs)须知本接口为试验特性后续版本可能会存在变更不支持应用于商用产品中。产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明实现批量内存复制。本接口中的Host内存支持锁页内存例如通过aclrtMallocHost接口申请的内存、非锁页内存通过malloc接口申请的内存。与aclrtMemcpyBatch接口相比本接口不再通过failIndex参数返回失败的复制项下标。参数说明参数名输入/输出说明dsts输入目的内存地址数组。destMaxs输入内存复制最大长度数组用于存放每一段要复制的内存的最大长度单位Byte。srcs输入源内存地址数组。sizes输入内存复制长度数组用于存放每一段要复制的内存大小单位Byte。numBatches输入dsts、srcs和sizes数组的长度。attrs输入内存复制属性数组。类型定义请参见aclrtMemcpyBatchAttr。attrsIndexes输入内存复制属性索引数组用于指定attrs数组中每个条目适用的复制范围。attrs[k]中指定的属性将应用于从attrsIndexes[k]到attrsIndexes[k1] - 1的复制操作同时attrs[numAttrs-1]将应用于从attrsIndexes[numAttrs-1]到numBatches - 1的复制操作。numAttrs输入attrs和attrsIndexes数组的长度。返回值说明返回0表示成功返回其他值表示失败请参见aclError。约束说明批次内的内存拷贝是无序的不会按照数组中元素的顺序拷贝。将srcs中指定的数据复制到dsts中指定的内存区域每个复制操作的大小由sizes指定dsts、srcs、sizes这三个数组必须具有numBatches指定的相同长度。批处理中的每个复制操作必须与attrs数组中指定的属性集相关联attrs数组中的每个条目可应用于多个复制操作具体通过attrsIndexes数组指定对应属性条目生效的起始复制索引。attrs和attrsIndexes这两个数组必须具有numAttrs指定的相同长度。例如若批处理包含dsts/srcs/sizes列出的10个复制操作其中前6个使用一组属性后4个使用另一组属性则numAttrs为2attrsIndexes为{0,6}attrs包含两组属性。注意attrsIndexes的首个条目必须为0且每个条目必须大于前一个条目最后一个条目应小于numBatches。此外numAttrs必须小于等于numBatches。批量内存复制的方向仅支持“从Host到Device”或者“从Device到Host”中的一种。aclrtMemcpyBatchAsyncV2aclError aclrtMemcpyBatchAsyncV2(void **dsts, size_t *destMaxs, void **srcs, size_t *sizes, size_t numBatches, aclrtMemcpyBatchAttr *attrs, size_t *attrsIndexes, size_t numAttrs, aclrtStream stream)须知本接口为试验特性后续版本可能会存在变更不支持应用于商用产品中。产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明实现批量内存复制。本接口中的Host内存支持锁页内存例如通过aclrtMallocHost接口申请的内存、非锁页内存通过malloc接口申请的内存。当Host内存是非锁页内存时本接口在内存复制任务完成后才返回当Host内存是锁页内存时本接口是异步接口调用接口成功仅表示任务下发成功不表示任务执行成功调用本接口后需调用同步等待接口例如aclrtSynchronizeStream确保内存复制的任务已执行完成。与aclrtMemcpyBatchAsync接口相比本接口不再通过failIndex参数返回失败的复制项下标。参数说明参数名输入/输出说明dsts输入目的内存地址数组。destMaxs输入内存复制最大长度数组用于存放每一段要复制的内存的最大长度单位Byte。srcs输入源内存地址数组。sizes输入内存复制长度数组用于存放每一段要复制的内存大小单位Byte。numBatches输入dsts、srcs和sizes数组的长度。attrs输入内存复制属性数组。类型定义请参见aclrtMemcpyBatchAttr。attrsIndexes输入内存复制属性索引数组用于指定attrs数组中每个条目适用的复制范围。attrs[k]中指定的属性将应用于从attrsIndexes[k]到attrsIndexes[k1] - 1的复制操作同时attrs[numAttrs-1]将应用于从attrsIndexes[numAttrs-1]到numBatches - 1的复制操作。numAttrs输入attrs和attrsIndexes数组的长度。stream输入指定执行内存复制任务的Stream。类型定义请参见aclrtStream。返回值说明返回0表示成功返回其他值表示失败请参见aclError。约束说明批次内的内存拷贝是无序的不会按照数组中元素的顺序拷贝。将srcs中指定的数据复制到dsts中指定的内存区域每个复制操作的大小由sizes指定dsts、srcs、sizes这三个数组必须具有numBatches指定的相同长度。批处理中的每个复制操作必须与attrs数组中指定的属性集相关联attrs数组中的每个条目可应用于多个复制操作具体通过attrsIndexes数组指定对应属性条目生效的起始复制索引。attrs和attrsIndexes这两个数组必须具有numAttrs指定的相同长度。例如若批处理包含dsts/srcs/sizes列出的10个复制操作其中前6个使用一组属性后4个使用另一组属性则numAttrs为2attrsIndexes为{0,6}attrs包含两组属性。注意attrsIndexes的首个条目必须为0且每个条目必须大于前一个条目最后一个条目应小于numBatches。此外numAttrs必须小于等于numBatches。批量内存复制的方向仅支持“从Host到Device”或者“从Device到Host”中的一种。aclrtMemcpy2daclError aclrtMemcpy2d(void *dst, size_t dpitch, const void *src, size_t spitch, size_t width, size_t height, aclrtMemcpyKind kind)产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明实现同步内存复制主要用于矩阵数据的复制。参数说明参数名输入/输出说明dst输入目的内存地址指针。dpitch输入目的内存中相邻两列向量的地址距离。src输入源内存地址指针。spitch输入源内存中相邻两列向量的地址距离。width输入待复制的数据宽度。height输入待复制的数据高度。kind输入内存复制的类型。类型定义请参见aclrtMemcpyKind。返回值说明返回0表示成功返回其他值表示失败请参见aclError。约束说明当前仅支持ACL_MEMCPY_HOST_TO_DEVICE类型和ACL_MEMCPY_DEVICE_TO_HOST类型的内存复制。参考资源本接口的内存复制示意图aclrtMemcpy2dAsyncaclError aclrtMemcpy2dAsync(void *dst, size_t dpitch, const void *src, size_t spitch, size_t width, size_t height, aclrtMemcpyKind kind, aclrtStream stream)产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明实现异步内存复制主要用于矩阵数据的复制。异步接口。本接口中的Host内存支持锁页内存例如通过aclrtMallocHost接口申请的内存、非锁页内存通过malloc接口申请的内存。当Host内存是非锁页内存时本接口在内存复制任务完成后才返回当Host内存是锁页内存时本接口是异步接口调用接口成功仅表示任务下发成功不表示任务执行成功调用本接口后需调用同步等待接口例如aclrtSynchronizeStream确保内存复制的任务已执行完成。参数说明参数名输入/输出说明dst输入目的内存地址指针。dpitch输入目的内存中相邻两列向量的地址距离。src输入源内存地址指针。spitch输入源内存中相邻两列向量的地址距离。width输入待复制的数据宽度。width最大设置为5000000且必须小于或等于dpitch和spitch。height输入待复制的数据高度。height最大设置为5102410245242880否则接口返回失败。kind输入内存复制的类型。类型定义请参见aclrtMemcpyKind。stream输入指定执行内存复制任务的Stream。类型定义请参见aclrtStream。返回值说明返回0表示成功返回其他值表示失败请参见aclError。约束说明本接口仅支持ACL_MEMCPY_HOST_TO_DEVICE、ACL_MEMCPY_DEVICE_TO_HOST或ACL_MEMCPY_DEVICE_TO_DEVICE内存复制类型且不同型号支持的类型不同。对于不支持的内存复制类型接口返回ACL_ERROR_INVALID_PARAM。ACL_MEMCPY_HOST_TO_DEVICE、ACL_MEMCPY_DEVICE_TO_HOST类型以下型号支持Ascend 950PR/Ascend 950DTAtlas A3 训练系列产品/Atlas A3 推理系列产品Atlas A2 训练系列产品/Atlas A2 推理系列产品ACL_MEMCPY_DEVICE_TO_DEVICE类型以下型号支持Ascend 950PR/Ascend 950DTAtlas A3 训练系列产品/Atlas A3 推理系列产品Atlas A2 训练系列产品/Atlas A2 推理系列产品参考资源本接口的内存复制示意图aclrtGetMemcpyDescSizeaclError aclrtGetMemcpyDescSize(aclrtMemcpyKind kind, size_t *descSize)产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明获取当前Device的内存复制描述符占用的内存大小。本接口需与其它关键接口配合使用以便实现内存复制详细描述请参见aclrtMemcpyAsyncWithDesc。参数说明参数名输入/输出说明kind输入内存复制的类型。类型定义请参见aclrtMemcpyKind。当前仅支持ACL_MEMCPY_INNER_DEVICE_TO_DEVICE表示Device内的内存复制。descSize输出内存大小单位Byte。返回值说明返回0表示成功返回其他值表示失败请参见aclError。aclrtSetMemcpyDescaclError aclrtSetMemcpyDesc(void *desc, aclrtMemcpyKind kind, void *srcAddr, void *dstAddr, size_t count, void *config)产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明设置内存复制描述符此接口调用完成后会将源地址目的地址、内存复制长度记录到内存复制描述符中。本接口需与其它关键接口配合使用以便实现内存复制详细描述请参见aclrtMemcpyAsyncWithDesc。参数说明参数名输入/输出说明desc输出内存复制描述符地址指针。需先调用aclrtGetMemcpyDescSize接口获取内存描述符所需的内存大小再申请Device内存后例如aclrtMalloc接口将Device内存地址作为入参传入此处。kind输入内存复制的类型。类型定义请参见aclrtMemcpyKind。当前仅支持ACL_MEMCPY_INNER_DEVICE_TO_DEVICE表示Device内的内存复制。srcAddr输入源内存地址指针。由用户申请内存并管理内存。dstAddr输入目的内存地址指针。由用户申请内存并管理内存。count输入内存复制的长度单位Byte。config输入预留参数当前固定传NULL。返回值说明返回0表示成功返回其他值表示失败请参见aclError。aclrtMemcpyAsyncWithDescaclError aclrtMemcpyAsyncWithDesc(void *desc, aclrtMemcpyKind kind, aclrtStream stream)产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明使用内存复制描述符二级指针方式进行内存复制。异步接口。本接口需与以下其它关键接口配合使用以便实现内存复制调用aclrtGetMemcpyDescSize接口获取内存描述符所需的内存大小。申请Device内存用于存放内存描述符。申请源内存、目的内存分别用于存放复制前后的数据。调用aclrtSetMemcpyDesc接口将源内存地址、目的内存地址等信息设置到内存描述符中。调用aclrtMemcpyAsyncWithDesc接口实现内存复制。参数说明参数名输入/输出说明desc输入内存复制描述符地址指针Device侧内存地址。此处需先调用aclrtSetMemcpyDesc接口设置内存复制描述符再将内存复制描述符地址指针作为入参传入本接口。kind输入内存复制的类型。类型定义请参见aclrtMemcpyKind。当前仅支持ACL_MEMCPY_INNER_DEVICE_TO_DEVICE表示Device内的内存复制。stream输入指定执行内存复制任务的Stream。类型定义请参见aclrtStream。返回值说明返回0表示成功返回其他值表示失败请参见aclError。aclrtMemcpyAsyncWithOffsetaclError aclrtMemcpyAsyncWithOffset(void **dst, size_t destMax, size_t dstDataOffset, const void **src, size_t count, size_t srcDataOffset, aclrtMemcpyKind kind, aclrtStream stream)产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明实现内存复制适用于基地址是二级指针、有地址偏移的场景。异步接口。参数说明参数名输入/输出说明dst输入目的内存地址指针。destMax输入目的内存地址的最大内存长度单位Byte。dstDataOffset输入目的内存地址偏移。src输入源内存地址指针。count输入内存复制的长度单位Byte。srcDataOffset输入源内存地址偏移。kind输入内存复制的类型。类型定义请参见aclrtMemcpyKind。当前kind只支持ACL_MEMCPY_INNER_DEVICE_TO_DEVICEDevice内的内存复制。stream输入指定执行内存复制任务的Stream。类型定义请参见aclrtStream。返回值说明返回0表示成功返回其他值表示失败请参见aclError。aclrtMemsetaclError aclrtMemset(void *devPtr, size_t maxCount, int32_t value, size_t count)产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明初始化内存将内存中的内容设置为指定的值。要初始化的内存支持在Host侧或Device侧系统根据地址判定是Host还是Device。如果Host内存不是用acl接口例如aclrtMallocHost申请的将会导致未定义的行为。参数说明参数名输入/输出说明devPtr输入内存起始地址的指针。maxCount输入内存的最大长度单位Byte。value输入设置的值。count输入需要设置为指定值的内存长度单位Byte。返回值说明返回0表示成功返回其他值表示失败请参见aclError。约束说明本接口会立刻进行内存初始化函数内部不会进行隐式的device同步或流同步。aclrtMemsetAsyncaclError aclrtMemsetAsync(void *devPtr, size_t maxCount, int32_t value, size_t count, aclrtStream stream)产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明初始化内存将内存中的内容设置为指定的值。异步接口。要初始化的内存支持在Host侧或Device侧系统根据地址判定是Host还是Device。如果Host内存不是用acl接口例如aclrtMallocHost申请的将会导致未定义的行为。参数说明参数名输入/输出说明devPtr输入内存起始地址的指针。maxCount输入内存的最大长度单位Byte。value输入设置的值。count输入需要设置为指定值的内存长度单位Byte。stream输入指定执行内存初始化任务的Stream。类型定义请参见aclrtStream。返回值说明返回0表示成功返回其他值表示失败请参见aclError。【免费下载链接】runtime本项目提供CANN运行时组件和维测功能组件。项目地址: https://gitcode.com/cann/runtime创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
CANN/runtime内存拷贝设置API
发布时间：2026/7/16 7:55:19
11-03 内存拷贝与设置【免费下载链接】runtime本项目提供CANN运行时组件和维测功能组件。项目地址: https://gitcode.com/cann/runtime本章节描述 Host-Device 间及 Device-Device 间的内存拷贝与内存设置接口。aclError aclrtMemcpy(void *dst, size_t destMax, const void *src, size_t count, aclrtMemcpyKind kind)实现内存复制。aclError aclrtMemcpyAsync(void *dst, size_t destMax, const void *src, size_t count, aclrtMemcpyKind kind, aclrtStream stream)实现内存复制。aclError aclrtMemcpyAsyncWithCondition(void *dst, size_t destMax, const void *src, size_t count, aclrtMemcpyKind kind, aclrtStream stream)实现内存复制。aclError aclrtMemcpyBatch(void **dsts, size_t *destMaxs, void **srcs, size_t *sizes, size_t numBatches, aclrtMemcpyBatchAttr *attrs, size_t *attrsIndexes, size_t numAttrs, size_t *failIndex)实现批量内存复制。aclError aclrtMemcpyBatchAsync(void **dsts, size_t *destMaxs, void **srcs, size_t *sizes, size_t numBatches, aclrtMemcpyBatchAttr *attrs, size_t *attrsIndexes, size_t numAttrs, size_t *failIndex, aclrtStream stream)实现批量内存复制。aclError aclrtMemcpyBatchV2(void **dsts, size_t *destMaxs, void **srcs, size_t *sizes, size_t numBatches, aclrtMemcpyBatchAttr *attrs, size_t *attrsIndexes, size_t numAttrs)实现批量内存复制。aclError aclrtMemcpyBatchAsyncV2(void **dsts, size_t *destMaxs, void **srcs, size_t *sizes, size_t numBatches, aclrtMemcpyBatchAttr *attrs, size_t *attrsIndexes, size_t numAttrs, aclrtStream stream)实现批量内存复制。aclError aclrtMemcpy2d(void *dst, size_t dpitch, const void *src, size_t spitch, size_t width, size_t height, aclrtMemcpyKind kind)实现同步内存复制主要用于矩阵数据的复制。aclError aclrtMemcpy2dAsync(void *dst, size_t dpitch, const void *src, size_t spitch, size_t width, size_t height, aclrtMemcpyKind kind, aclrtStream stream)实现异步内存复制主要用于矩阵数据的复制。异步接口。aclError aclrtGetMemcpyDescSize(aclrtMemcpyKind kind, size_t *descSize)获取当前Device的内存复制描述符占用的内存大小。aclError aclrtSetMemcpyDesc(void *desc, aclrtMemcpyKind kind, void *srcAddr, void *dstAddr, size_t count, void *config)设置内存复制描述符此接口调用完成后会将源地址目的地址、内存复制长度记录到内存复制描述符中。aclError aclrtMemcpyAsyncWithDesc(void *desc, aclrtMemcpyKind kind, aclrtStream stream)使用内存复制描述符二级指针方式进行内存复制。异步接口。aclError aclrtMemcpyAsyncWithOffset(void **dst, size_t destMax, size_t dstDataOffset, const void **src, size_t count, size_t srcDataOffset, aclrtMemcpyKind kind, aclrtStream stream)实现内存复制适用于基地址是二级指针、有地址偏移的场景。异步接口。aclError aclrtMemset(void *devPtr, size_t maxCount, int32_t value, size_t count)初始化内存将内存中的内容设置为指定的值。aclError aclrtMemsetAsync(void *devPtr, size_t maxCount, int32_t value, size_t count, aclrtStream stream)初始化内存将内存中的内容设置为指定的值。异步接口。aclrtMemcpyaclError aclrtMemcpy(void *dst, size_t destMax, const void *src, size_t count, aclrtMemcpyKind kind)产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明实现内存复制。参数说明参数名输入/输出说明dst输入目的内存地址指针。destMax输入目的内存地址的最大内存长度单位Byte。src输入源内存地址指针。count输入内存复制的长度单位Byte。kind输入内存复制的类型预留参数配置枚举值中的值无效系统内部会根据源内存地址指针、目的内存地址指针判断是否可以将源地址的数据复制到目的地址如果不可以则系统会返回报错。类型定义请参见aclrtMemcpyKind。返回值说明返回0表示成功返回其他值表示失败请参见aclError。约束说明本接口会立刻进行内存复制函数内部不会进行隐式的device同步或流同步。如果执行两个Device间的内存复制需先调用aclrtDeviceCanAccessPeer接口查询两个Device间是否支持数据交互、调用aclrtDeviceEnablePeerAccess接口开启两个Device间的数据交互功能再调用本接口进行内存复制。该约束适用以下型号Ascend 950PR/Ascend 950DTAtlas A2 训练系列产品/Atlas A2 推理系列产品aclrtMemcpyAsyncaclError aclrtMemcpyAsync(void *dst, size_t destMax, const void *src, size_t count, aclrtMemcpyKind kind, aclrtStream stream)产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明实现内存复制。本接口中的Host内存支持锁页内存例如通过aclrtMallocHost接口申请的内存、非锁页内存通过malloc接口申请的内存。当Host内存是锁页内存时本接口是异步接口调用接口成功仅表示任务下发成功不表示任务执行成功调用本接口后需调用同步等待接口例如aclrtSynchronizeStream确保内存复制的任务已执行完成当Host内存是非锁页内存时本接口在内存复制任务完成后才返回。参数说明参数名输入/输出说明dst输入目的内存地址指针。destMax输入目的内存地址的最大内存长度单位Byte。src输入源内存地址指针。count输入内存复制的长度单位Byte。kind输入内存复制的类型。类型定义请参见aclrtMemcpyKind。stream输入指定执行内存复制任务的Stream。类型定义请参见aclrtStream。返回值说明返回0表示成功返回其他值表示失败请参见aclError。约束说明Ascend EP形态下本接口不支持异步Host内的内存复制功能若传入的kind为ACL_MEMCPY_HOST_TO_HOST时接口返回报错ACL_ERROR_RT_FEATURE_NOT_SUPPORT 。aclrtMemcpyAsyncWithConditionaclError aclrtMemcpyAsyncWithCondition(void *dst, size_t destMax, const void *src, size_t count, aclrtMemcpyKind kind, aclrtStream stream)产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明实现内存复制。本接口中的Host内存支持锁页内存例如通过aclrtMallocHost接口申请的内存、非锁页内存通过malloc接口申请的内存。当Host内存是非锁页内存时本接口在内存复制任务完成后才返回当Host内存是锁页内存时本接口是异步接口调用接口成功仅表示任务下发成功不表示任务执行成功调用本接口后需调用同步等待接口例如aclrtSynchronizeStream确保内存复制的任务已执行完成。参数说明参数名输入/输出说明dst输入目的内存地址指针。destMax输入目的内存地址的最大内存长度单位Byte。src输入源内存地址指针。count输入内存复制的长度单位Byte。kind输入内存复制的类型。类型定义请参见aclrtMemcpyKind。stream输入指定执行内存复制任务的Stream。类型定义请参见aclrtStream。返回值说明返回0表示成功返回其他值表示失败请参见aclError。约束说明Ascend EP形态下本接口不支持异步Host内的内存复制功能若传入的kind为ACL_MEMCPY_HOST_TO_HOST时接口返回报错ACL_ERROR_RT_FEATURE_NOT_SUPPORT 。aclrtMemcpyBatchaclError aclrtMemcpyBatch(void **dsts, size_t *destMaxs, void **srcs, size_t *sizes, size_t numBatches, aclrtMemcpyBatchAttr *attrs, size_t *attrsIndexes, size_t numAttrs, size_t *failIndex)须知本接口为试验特性后续版本可能会存在变更不支持应用于商用产品中。产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明实现批量内存复制。本接口中的Host内存支持锁页内存例如通过aclrtMallocHost接口申请的内存、非锁页内存通过malloc接口申请的内存。参数说明参数名输入/输出说明dsts输入目的内存地址数组。destMaxs输入内存复制最大长度数组用于存放每一段要复制的内存的最大长度单位Byte。srcs输入源内存地址数组。sizes输入内存复制长度数组用于存放每一段要复制的内存大小单位Byte。numBatches输入dsts、srcs和sizes数组的长度。attrs输入内存复制属性数组。类型定义请参见aclrtMemcpyBatchAttr。attrsIndexes输入内存复制属性索引数组用于指定attrs数组中每个条目适用的复制范围。attrs[k]中指定的属性将应用于从attrsIndexes[k]到attrsIndexes[k1] - 1的复制操作同时attrs[numAttrs-1]将应用于从attrsIndexes[numAttrs-1]到numBatches - 1的复制操作。numAttrs输入attrs和attrsIndexes数组的长度。failIndex输出用于发生错误时指示出错的复制项下标仅支持对内存属性和复制方向的校验。若错误不涉及特定复制操作该值将为SIZE_MAX。返回值说明返回0表示成功返回其他值表示失败请参见aclError。约束说明批次内的内存拷贝是无序的不会按照数组中元素的顺序拷贝。将srcs中指定的数据复制到dsts中指定的内存区域每个复制操作的大小由sizes指定dsts、srcs、sizes这三个数组必须具有numBatches指定的相同长度。批处理中的每个复制操作必须与attrs数组中指定的属性集相关联attrs数组中的每个条目可应用于多个复制操作具体通过attrsIndexes数组指定对应属性条目生效的起始复制索引。attrs和attrsIndexes这两个数组必须具有numAttrs指定的相同长度。例如若批处理包含dsts/srcs/sizes列出的10个复制操作其中前6个使用一组属性后4个使用另一组属性则numAttrs为2attrsIndexes为{0,6}attrs包含两组属性。注意attrsIndexes的首个条目必须为0且每个条目必须大于前一个条目最后一个条目应小于numBatches。此外numAttrs必须小于等于numBatches。批量内存复制的方向仅支持“从Host到Device”或者“从Device到Host”中的一种。aclrtMemcpyBatchAsyncaclError aclrtMemcpyBatchAsync(void **dsts, size_t *destMaxs, void **srcs, size_t *sizes, size_t numBatches, aclrtMemcpyBatchAttr *attrs, size_t *attrsIndexes, size_t numAttrs, size_t *failIndex, aclrtStream stream)须知本接口为试验特性后续版本可能会存在变更不支持应用于商用产品中。产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明实现批量内存复制。本接口中的Host内存支持锁页内存例如通过aclrtMallocHost接口申请的内存、非锁页内存通过malloc接口申请的内存。当Host内存是非锁页内存时本接口在内存复制任务完成后才返回当Host内存是锁页内存时本接口是异步接口调用接口成功仅表示任务下发成功不表示任务执行成功调用本接口后需调用同步等待接口例如aclrtSynchronizeStream确保内存复制的任务已执行完成。参数说明参数名输入/输出说明dsts输入目的内存地址数组。destMaxs输入内存复制最大长度数组用于存放每一段要复制的内存的最大长度单位Byte。srcs输入源内存地址数组。sizes输入内存复制长度数组用于存放每一段要复制的内存大小单位Byte。numBatches输入dsts、srcs和sizes数组的长度。attrs输入内存复制属性数组。类型定义请参见aclrtMemcpyBatchAttr。attrsIndexes输入内存复制属性索引数组用于指定attrs数组中每个条目适用的复制范围。attrs[k]中指定的属性将应用于从attrsIndexes[k]到attrsIndexes[k1] - 1的复制操作同时attrs[numAttrs-1]将应用于从attrsIndexes[numAttrs-1]到numBatches - 1的复制操作。numAttrs输入attrs和attrsIndexes数组的长度。failIndex输出用于发生错误时指示出错的复制项下标仅支持对内存属性和复制方向的校验。若错误不涉及特定复制操作该值将为SIZE_MAX。stream输入指定执行内存复制任务的Stream。类型定义请参见aclrtStream。返回值说明返回0表示成功返回其他值表示失败请参见aclError。约束说明批次内的内存拷贝是无序的不会按照数组中元素的顺序拷贝。将srcs中指定的数据复制到dsts中指定的内存区域每个复制操作的大小由sizes指定dsts、srcs、sizes这三个数组必须具有numBatches指定的相同长度。批处理中的每个复制操作必须与attrs数组中指定的属性集相关联attrs数组中的每个条目可应用于多个复制操作具体通过attrsIndexes数组指定对应属性条目生效的起始复制索引。attrs和attrsIndexes这两个数组必须具有numAttrs指定的相同长度。例如若批处理包含dsts/srcs/sizes列出的10个复制操作其中前6个使用一组属性后4个使用另一组属性则numAttrs为2attrsIndexes为{0,6}attrs包含两组属性。注意attrsIndexes的首个条目必须为0且每个条目必须大于前一个条目最后一个条目应小于numBatches。此外numAttrs必须小于等于numBatches。批量内存复制的方向仅支持“从Host到Device”或者“从Device到Host”中的一种。aclrtMemcpyBatchV2aclError aclrtMemcpyBatchV2(void **dsts, size_t *destMaxs, void **srcs, size_t *sizes, size_t numBatches, aclrtMemcpyBatchAttr *attrs, size_t *attrsIndexes, size_t numAttrs)须知本接口为试验特性后续版本可能会存在变更不支持应用于商用产品中。产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明实现批量内存复制。本接口中的Host内存支持锁页内存例如通过aclrtMallocHost接口申请的内存、非锁页内存通过malloc接口申请的内存。与aclrtMemcpyBatch接口相比本接口不再通过failIndex参数返回失败的复制项下标。参数说明参数名输入/输出说明dsts输入目的内存地址数组。destMaxs输入内存复制最大长度数组用于存放每一段要复制的内存的最大长度单位Byte。srcs输入源内存地址数组。sizes输入内存复制长度数组用于存放每一段要复制的内存大小单位Byte。numBatches输入dsts、srcs和sizes数组的长度。attrs输入内存复制属性数组。类型定义请参见aclrtMemcpyBatchAttr。attrsIndexes输入内存复制属性索引数组用于指定attrs数组中每个条目适用的复制范围。attrs[k]中指定的属性将应用于从attrsIndexes[k]到attrsIndexes[k1] - 1的复制操作同时attrs[numAttrs-1]将应用于从attrsIndexes[numAttrs-1]到numBatches - 1的复制操作。numAttrs输入attrs和attrsIndexes数组的长度。返回值说明返回0表示成功返回其他值表示失败请参见aclError。约束说明批次内的内存拷贝是无序的不会按照数组中元素的顺序拷贝。将srcs中指定的数据复制到dsts中指定的内存区域每个复制操作的大小由sizes指定dsts、srcs、sizes这三个数组必须具有numBatches指定的相同长度。批处理中的每个复制操作必须与attrs数组中指定的属性集相关联attrs数组中的每个条目可应用于多个复制操作具体通过attrsIndexes数组指定对应属性条目生效的起始复制索引。attrs和attrsIndexes这两个数组必须具有numAttrs指定的相同长度。例如若批处理包含dsts/srcs/sizes列出的10个复制操作其中前6个使用一组属性后4个使用另一组属性则numAttrs为2attrsIndexes为{0,6}attrs包含两组属性。注意attrsIndexes的首个条目必须为0且每个条目必须大于前一个条目最后一个条目应小于numBatches。此外numAttrs必须小于等于numBatches。批量内存复制的方向仅支持“从Host到Device”或者“从Device到Host”中的一种。aclrtMemcpyBatchAsyncV2aclError aclrtMemcpyBatchAsyncV2(void **dsts, size_t *destMaxs, void **srcs, size_t *sizes, size_t numBatches, aclrtMemcpyBatchAttr *attrs, size_t *attrsIndexes, size_t numAttrs, aclrtStream stream)须知本接口为试验特性后续版本可能会存在变更不支持应用于商用产品中。产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明实现批量内存复制。本接口中的Host内存支持锁页内存例如通过aclrtMallocHost接口申请的内存、非锁页内存通过malloc接口申请的内存。当Host内存是非锁页内存时本接口在内存复制任务完成后才返回当Host内存是锁页内存时本接口是异步接口调用接口成功仅表示任务下发成功不表示任务执行成功调用本接口后需调用同步等待接口例如aclrtSynchronizeStream确保内存复制的任务已执行完成。与aclrtMemcpyBatchAsync接口相比本接口不再通过failIndex参数返回失败的复制项下标。参数说明参数名输入/输出说明dsts输入目的内存地址数组。destMaxs输入内存复制最大长度数组用于存放每一段要复制的内存的最大长度单位Byte。srcs输入源内存地址数组。sizes输入内存复制长度数组用于存放每一段要复制的内存大小单位Byte。numBatches输入dsts、srcs和sizes数组的长度。attrs输入内存复制属性数组。类型定义请参见aclrtMemcpyBatchAttr。attrsIndexes输入内存复制属性索引数组用于指定attrs数组中每个条目适用的复制范围。attrs[k]中指定的属性将应用于从attrsIndexes[k]到attrsIndexes[k1] - 1的复制操作同时attrs[numAttrs-1]将应用于从attrsIndexes[numAttrs-1]到numBatches - 1的复制操作。numAttrs输入attrs和attrsIndexes数组的长度。stream输入指定执行内存复制任务的Stream。类型定义请参见aclrtStream。返回值说明返回0表示成功返回其他值表示失败请参见aclError。约束说明批次内的内存拷贝是无序的不会按照数组中元素的顺序拷贝。将srcs中指定的数据复制到dsts中指定的内存区域每个复制操作的大小由sizes指定dsts、srcs、sizes这三个数组必须具有numBatches指定的相同长度。批处理中的每个复制操作必须与attrs数组中指定的属性集相关联attrs数组中的每个条目可应用于多个复制操作具体通过attrsIndexes数组指定对应属性条目生效的起始复制索引。attrs和attrsIndexes这两个数组必须具有numAttrs指定的相同长度。例如若批处理包含dsts/srcs/sizes列出的10个复制操作其中前6个使用一组属性后4个使用另一组属性则numAttrs为2attrsIndexes为{0,6}attrs包含两组属性。注意attrsIndexes的首个条目必须为0且每个条目必须大于前一个条目最后一个条目应小于numBatches。此外numAttrs必须小于等于numBatches。批量内存复制的方向仅支持“从Host到Device”或者“从Device到Host”中的一种。aclrtMemcpy2daclError aclrtMemcpy2d(void *dst, size_t dpitch, const void *src, size_t spitch, size_t width, size_t height, aclrtMemcpyKind kind)产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明实现同步内存复制主要用于矩阵数据的复制。参数说明参数名输入/输出说明dst输入目的内存地址指针。dpitch输入目的内存中相邻两列向量的地址距离。src输入源内存地址指针。spitch输入源内存中相邻两列向量的地址距离。width输入待复制的数据宽度。height输入待复制的数据高度。kind输入内存复制的类型。类型定义请参见aclrtMemcpyKind。返回值说明返回0表示成功返回其他值表示失败请参见aclError。约束说明当前仅支持ACL_MEMCPY_HOST_TO_DEVICE类型和ACL_MEMCPY_DEVICE_TO_HOST类型的内存复制。参考资源本接口的内存复制示意图aclrtMemcpy2dAsyncaclError aclrtMemcpy2dAsync(void *dst, size_t dpitch, const void *src, size_t spitch, size_t width, size_t height, aclrtMemcpyKind kind, aclrtStream stream)产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明实现异步内存复制主要用于矩阵数据的复制。异步接口。本接口中的Host内存支持锁页内存例如通过aclrtMallocHost接口申请的内存、非锁页内存通过malloc接口申请的内存。当Host内存是非锁页内存时本接口在内存复制任务完成后才返回当Host内存是锁页内存时本接口是异步接口调用接口成功仅表示任务下发成功不表示任务执行成功调用本接口后需调用同步等待接口例如aclrtSynchronizeStream确保内存复制的任务已执行完成。参数说明参数名输入/输出说明dst输入目的内存地址指针。dpitch输入目的内存中相邻两列向量的地址距离。src输入源内存地址指针。spitch输入源内存中相邻两列向量的地址距离。width输入待复制的数据宽度。width最大设置为5000000且必须小于或等于dpitch和spitch。height输入待复制的数据高度。height最大设置为5102410245242880否则接口返回失败。kind输入内存复制的类型。类型定义请参见aclrtMemcpyKind。stream输入指定执行内存复制任务的Stream。类型定义请参见aclrtStream。返回值说明返回0表示成功返回其他值表示失败请参见aclError。约束说明本接口仅支持ACL_MEMCPY_HOST_TO_DEVICE、ACL_MEMCPY_DEVICE_TO_HOST或ACL_MEMCPY_DEVICE_TO_DEVICE内存复制类型且不同型号支持的类型不同。对于不支持的内存复制类型接口返回ACL_ERROR_INVALID_PARAM。ACL_MEMCPY_HOST_TO_DEVICE、ACL_MEMCPY_DEVICE_TO_HOST类型以下型号支持Ascend 950PR/Ascend 950DTAtlas A3 训练系列产品/Atlas A3 推理系列产品Atlas A2 训练系列产品/Atlas A2 推理系列产品ACL_MEMCPY_DEVICE_TO_DEVICE类型以下型号支持Ascend 950PR/Ascend 950DTAtlas A3 训练系列产品/Atlas A3 推理系列产品Atlas A2 训练系列产品/Atlas A2 推理系列产品参考资源本接口的内存复制示意图aclrtGetMemcpyDescSizeaclError aclrtGetMemcpyDescSize(aclrtMemcpyKind kind, size_t *descSize)产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明获取当前Device的内存复制描述符占用的内存大小。本接口需与其它关键接口配合使用以便实现内存复制详细描述请参见aclrtMemcpyAsyncWithDesc。参数说明参数名输入/输出说明kind输入内存复制的类型。类型定义请参见aclrtMemcpyKind。当前仅支持ACL_MEMCPY_INNER_DEVICE_TO_DEVICE表示Device内的内存复制。descSize输出内存大小单位Byte。返回值说明返回0表示成功返回其他值表示失败请参见aclError。aclrtSetMemcpyDescaclError aclrtSetMemcpyDesc(void *desc, aclrtMemcpyKind kind, void *srcAddr, void *dstAddr, size_t count, void *config)产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明设置内存复制描述符此接口调用完成后会将源地址目的地址、内存复制长度记录到内存复制描述符中。本接口需与其它关键接口配合使用以便实现内存复制详细描述请参见aclrtMemcpyAsyncWithDesc。参数说明参数名输入/输出说明desc输出内存复制描述符地址指针。需先调用aclrtGetMemcpyDescSize接口获取内存描述符所需的内存大小再申请Device内存后例如aclrtMalloc接口将Device内存地址作为入参传入此处。kind输入内存复制的类型。类型定义请参见aclrtMemcpyKind。当前仅支持ACL_MEMCPY_INNER_DEVICE_TO_DEVICE表示Device内的内存复制。srcAddr输入源内存地址指针。由用户申请内存并管理内存。dstAddr输入目的内存地址指针。由用户申请内存并管理内存。count输入内存复制的长度单位Byte。config输入预留参数当前固定传NULL。返回值说明返回0表示成功返回其他值表示失败请参见aclError。aclrtMemcpyAsyncWithDescaclError aclrtMemcpyAsyncWithDesc(void *desc, aclrtMemcpyKind kind, aclrtStream stream)产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明使用内存复制描述符二级指针方式进行内存复制。异步接口。本接口需与以下其它关键接口配合使用以便实现内存复制调用aclrtGetMemcpyDescSize接口获取内存描述符所需的内存大小。申请Device内存用于存放内存描述符。申请源内存、目的内存分别用于存放复制前后的数据。调用aclrtSetMemcpyDesc接口将源内存地址、目的内存地址等信息设置到内存描述符中。调用aclrtMemcpyAsyncWithDesc接口实现内存复制。参数说明参数名输入/输出说明desc输入内存复制描述符地址指针Device侧内存地址。此处需先调用aclrtSetMemcpyDesc接口设置内存复制描述符再将内存复制描述符地址指针作为入参传入本接口。kind输入内存复制的类型。类型定义请参见aclrtMemcpyKind。当前仅支持ACL_MEMCPY_INNER_DEVICE_TO_DEVICE表示Device内的内存复制。stream输入指定执行内存复制任务的Stream。类型定义请参见aclrtStream。返回值说明返回0表示成功返回其他值表示失败请参见aclError。aclrtMemcpyAsyncWithOffsetaclError aclrtMemcpyAsyncWithOffset(void **dst, size_t destMax, size_t dstDataOffset, const void **src, size_t count, size_t srcDataOffset, aclrtMemcpyKind kind, aclrtStream stream)产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明实现内存复制适用于基地址是二级指针、有地址偏移的场景。异步接口。参数说明参数名输入/输出说明dst输入目的内存地址指针。destMax输入目的内存地址的最大内存长度单位Byte。dstDataOffset输入目的内存地址偏移。src输入源内存地址指针。count输入内存复制的长度单位Byte。srcDataOffset输入源内存地址偏移。kind输入内存复制的类型。类型定义请参见aclrtMemcpyKind。当前kind只支持ACL_MEMCPY_INNER_DEVICE_TO_DEVICEDevice内的内存复制。stream输入指定执行内存复制任务的Stream。类型定义请参见aclrtStream。返回值说明返回0表示成功返回其他值表示失败请参见aclError。aclrtMemsetaclError aclrtMemset(void *devPtr, size_t maxCount, int32_t value, size_t count)产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明初始化内存将内存中的内容设置为指定的值。要初始化的内存支持在Host侧或Device侧系统根据地址判定是Host还是Device。如果Host内存不是用acl接口例如aclrtMallocHost申请的将会导致未定义的行为。参数说明参数名输入/输出说明devPtr输入内存起始地址的指针。maxCount输入内存的最大长度单位Byte。value输入设置的值。count输入需要设置为指定值的内存长度单位Byte。返回值说明返回0表示成功返回其他值表示失败请参见aclError。约束说明本接口会立刻进行内存初始化函数内部不会进行隐式的device同步或流同步。aclrtMemsetAsyncaclError aclrtMemsetAsync(void *devPtr, size_t maxCount, int32_t value, size_t count, aclrtStream stream)产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明初始化内存将内存中的内容设置为指定的值。异步接口。要初始化的内存支持在Host侧或Device侧系统根据地址判定是Host还是Device。如果Host内存不是用acl接口例如aclrtMallocHost申请的将会导致未定义的行为。参数说明参数名输入/输出说明devPtr输入内存起始地址的指针。maxCount输入内存的最大长度单位Byte。value输入设置的值。count输入需要设置为指定值的内存长度单位Byte。stream输入指定执行内存初始化任务的Stream。类型定义请参见aclrtStream。返回值说明返回0表示成功返回其他值表示失败请参见aclError。【免费下载链接】runtime本项目提供CANN运行时组件和维测功能组件。项目地址: https://gitcode.com/cann/runtime创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
相关文章
CANN/cann-recipes-infer hc_post后处理算子
custom-npu_hc_post 【免费下载链接】cann-recipes-infer 本项目针对LLM与多模态模型推理业务中的典型模型、加速算法，提供基于CANN平台的优化样例 项目地址: https://gitcode.com/cann/cann-recipes-infer 产品支持情况 产品是否支持Atlas A3 推理系列产品…
EDA/IP行业动态解析：云端工具、DFM流程与IP集成优化
1. 行业动态速览：EDA/IP领域的近期要闻又到了每周梳理行业动态的时候。作为一名在芯片设计和EDA工具领域摸爬滚打了十几年的工程师，我习惯性地会关注各大厂商和联盟发布的最新消息。这不仅仅是看个热闹，更是为了把握技术风向，了解…
如何两台atlas-a2服务器物理机，基于vllm-ascend部署qwen3.5 397b-w8a8-mtp大模型
配置 两台8*64的昇腾910b4服务器物理机，未做任何虚拟化，已经通过交换机进行互联 模型和镜像下载 模型： https://modelscope.cn/models/Eco-Tech/Qwen3.5-35B-A3B-w8a8-mtp 镜像（不是openeuler系统就下不带openeuler的ÿ…
Aneiang.Yarp v2.3.0.25：让 AI 成为你的 API 网关运维副驾驶
凌晨三点，告警响了 你被一条钉钉消息吵醒—— payment-service 集群熔断器已打开 你翻了个身，打开笔记本电脑。按照常规操作，你需要： 打开 Dashboard → 找到熔断器面板 → 查看 payment-service 当前状态 → 翻代理日志找错误 …
具身智能三层神经系统：大脑、操作小脑与运动小脑的工程实现
1. 项目概述：具身智能不是“装了AI的遥控车”，而是长出神经系统的活体机器“机器人的大脑、操作小脑和运动小脑：具身智能的‘神经系统’”——这个标题一出来，我就在实验室里多泡了三天，把去年拆解过的七款主流具身智能…
《C语言的前世今生：一部塑造现代编程世界的进化史》
在如今Python、Java、Go等高级语言百花齐放的时代，很多新手初学者都会疑惑一个问题：明明有更简洁、更易用的编程语言，为什么各大高校、硬核技术岗位，至今依旧把C语言作为编程入门的必修课？答案很简单：绝大多…
IP协议基本原理IPV4地址划分ARP协议
IP协议概述IP协议的核心功能标识节点和链路：用唯一的IP地址标识每一个节点；用唯一的IP网络号标识每一个链路。寻址和转发（路由）：确定节点所在网络的位置，选择适当路径将IP包转发到目的节点。适应各种数据链…
VLA三模块实战指南：扩散生成、工作记忆与几何先验
1. 为什么这三篇VLA论文值得从业者逐行精读：不是又一套“端到端”口号，而是具身智能落地的三块关键拼图最近刷到“原力灵机 VLA 3 篇：LLaDA-VLA、MemoryVLA、GeoVLA”这个标题时，我下意识点开又关掉——过去两年里，“V…
Win10/Win11 BitLocker恢复密钥获取与问题解决指南
1. BitLocker恢复密钥问题概述最近遇到Win10/Win11系统开机突然提示需要输入BitLocker恢复密钥的情况越来越常见。这种加密保护机制本是为了保障数据安全，但当系统检测到"可疑活动"时就会触发恢复流程，给正常使用带来困扰。根据微软官方文档&a…
VS Code 高效配置与个性化定制全攻略
1. VS Code 高效配置基础作为一款轻量级但功能强大的代码编辑器，VS Code 的默认配置已经能满足基本需求，但通过合理调整设置可以大幅提升编码效率。我使用 VS Code 已经有五年多时间，期间尝试过各种配置方案，总结出这套适合大多数…
HarmonyOS 应用开发《掌上英语》第19篇:3D 翻转动画实现——ArkTS 动画系统全解析
3D 翻转动画实现——ArkTS 动画系统全解析引言 在移动应用中，卡片翻转动画是最受欢迎的交互动效之一，它能给用户带来直观的"物理世界"操作感。在我们的英语学习 App 的单词学习页面（CourseHomePage.ets）中，就…
BiSheng JDK-build性能调优：构建速度提升30%的优化策略
BiSheng JDK-build性能调优：构建速度提升30%的优化策略 【免费下载链接】bishengjdk-build BiSheng JDK build and test scripts - common across all releases/versions 项目地址: https://gitcode.com/openeuler/bishengjdk-build 前往项目官网免费下载&am…
MQ-2 烟雾传感器 ESP32-S3 驱动实战：ADC 读取与阈值校准 3 步完成
MQ-2 烟雾传感器 ESP32-S3 驱动实战：ADC 读取与阈值校准 3 步完成在智能家居和工业安全监测领域，烟雾检测是一个至关重要的环节。MQ-2 作为一款高性价比的半导体烟雾传感器，因其对多种可燃气体（如液化气、丙烷、氢气等）…
SPEC CPU 2006 v1.0.1 基准测试实战：ARM/X86/MIPS 三平台配置与 3 轮测试结果解读
SPEC CPU 2006 跨平台基准测试深度实战：ARM/X86/MIPS 架构配置优化与结果分析方法论在当今多元化的计算架构时代，如何客观评估不同处理器平台的真实性能成为系统工程师和性能优化专家的核心挑战。SPEC CPU 2006 作为业界公认的计算密集型基准测试套件&am…
每天60s读懂世界：2026年7月11日重点要闻解读
🔥 个人主页：杨利杰YJlio❄️ 个人专栏：《Windows 疑难杂症与工单复盘案例库》 《Sysinternals实战教程》《WINDOWS教程》 《Windows PowerShell 实战》 《人工智能实战合集》《超简单：用Python让Excel飞起来》🌟…
FAE放射组学分析工具：医学影像特征探索的完整解决方案
FAE放射组学分析工具：医学影像特征探索的完整解决方案 【免费下载链接】FAE FeAture Explorer 项目地址: https://gitcode.com/gh_mirrors/fae/FAE 你是否曾经面对海量医学影像数据感到无从下手？想要从CT、MRI等影像中提取有价值的定量特征&#…
0.69B参数实现中文多模态AI：揭秘Qwen3-SmVL模型融合技术的完整实战指南
0.69B参数实现中文多模态AI：揭秘Qwen3-SmVL模型融合技术的完整实战指南 【免费下载链接】happy-llm 📚 从零开始构建大模型 项目地址: https://gitcode.com/GitHub_Trending/ha/happy-llm 还在为大型多模态模型动辄数十亿参数、显存占用高而烦恼&…
解锁AMD Ryzen处理器性能潜力的SMU调试神器：从新手到专家的完整指南
解锁AMD Ryzen处理器性能潜力的SMU调试神器：从新手到专家的完整指南 【免费下载链接】SMUDebugTool A dedicated tool to help write/read various parameters of Ryzen-based systems, such as manual overclock, SMU, PCI, CPUID, MSR and Power Table. 项目地址…