news 2026/9/10 18:07:05

CANN/ge:注册外部分配器API

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
CANN/ge:注册外部分配器API

RegisterExternalAllocator

【免费下载链接】geGE(Graph Engine)是面向昇腾的图编译器和执行器,提供了计算图优化、多流并行、内存复用和模型下沉等技术手段,加速模型执行效率,减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力,并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge

产品支持情况

产品

是否支持

Atlas A3 训练系列产品 / Atlas A3 推理系列产品

Atlas A2 训练系列产品 / Atlas A2 推理系列产品

头文件/库文件

  • 头文件:#include <ge/ge_api_v2.h>
  • 库文件:libge_runner_v2.so

功能说明

用户将自己的Allocator注册给GE,适用于使用用户的内存池场景。

此接口需要配合LoadGraph、RunGraphWithStreamAsync接口使用,并且需要在LoadGraph接口调用前注册。

函数原型

Status RegisterExternalAllocator(const void *const stream, AllocatorPtr allocator) const

参数说明

参数名

输入/输出

说明

stream

输入

指定Allocator注册在哪个Stream上。

allocator

输入

用户Allocator对象的智能指针。Allocator基于Allocator派生。

返回值说明

参数名

类型

说明

-

Status

SUCCESS:设置成功。

FAILED:设置失败。

约束说明

  • 对于同一条流,多次调用本接口,以最后一次注册为准。

  • 对于不同流,如果用户使用同一个Allocator,不可以多条流并发执行,在执行下一条Stream前,需要对上一Stream做流同步。

  • 将Allocator中的内存释放给操作系统前,需要先调用acl接口“aclrtSynchronizeStream”执行流同步,确保Stream中的任务已执行完成。

    acl接口详细说明请参见《应用开发指南 (C&C++)》。

【免费下载链接】geGE(Graph Engine)是面向昇腾的图编译器和执行器,提供了计算图优化、多流并行、内存复用和模型下沉等技术手段,加速模型执行效率,减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力,并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/9/10 18:06:48

Python入门避坑指南:从环境配置到实战项目全解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

作者头像 李华
网站建设 2026/9/10 18:06:05

代码智能体怎么测才靠谱?PRDBench互评机制深度解析与实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

作者头像 李华
网站建设 2026/9/10 18:05:29

GM(1,1)灰色预测模型:小样本时间序列的Python实战指南

简介&#xff1a;本资源是一套面向数据分析初学者与Python实践者的灰色预测模型入门实践包&#xff0c;聚焦小样本、含噪声、非平稳时间序列的建模与预测问题&#xff0c;特别适用于科研数据预研、课程实验及工程场景中的短期趋势推演。压缩包共6个文件&#xff08;5个Python脚…

作者头像 李华
网站建设 2026/9/10 18:04:40

职场新人必看:10个高效法则,让你快速适应并脱颖而出

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

作者头像 李华
网站建设 2026/9/10 18:03:59

Axure UML元件库:提升原型设计效率的关键工具

1. 项目概述&#xff1a;Axure UML元件库的价值与应用场景Axure作为产品经理和交互设计师的核心工具&#xff0c;其元件库的丰富程度直接决定了原型设计的效率和质量。这套针对UML建模场景深度优化的元件资源包&#xff0c;解决了传统Axure元件在系统建模时的三大痛点&#xff…

作者头像 李华