news 2026/5/16 16:52:23

如何理解算子开发中的Shape形状,介绍张量描述符中的形状和数据排布格式

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
如何理解算子开发中的Shape形状,介绍张量描述符中的形状和数据排布格式

在华为算子开发中,形状(Shape)是张量(Tensor)的一个核心属性,用于描述张量在各个维度上的大小。 它以元组或列表的形式表示,例如 (3, 4) 或 (2, 3, 4),其中每个数字对应一个维度的元素个数。

形状的维度数量由元组中元素的个数决定,例如形状 (4, 20, 20, 3) 表示一个四维张量。 在物理意义上,形状定义了数据的布局,例如在图像处理中,形状 (4, 20, 20, 3) 可以解释为包含4张20x20像素的彩色图片(每个像素由3个颜色通道组成)。

在算子开发中,正确理解形状对于实现算子逻辑至关重要,因为它影响数据访问模式和内存布局。 例如,在华为CANN框架中,形状与数据排布格式(如NCHW或NC1HWC0)结合使用,以优化计算性能。

形状(Shape)

张量的形状,以(D0, D1, … ,Dn-1)的形式表示,D0到Dn是任意的正整数。

如形状(3,4)表示第一维有3个元素,第二维有4个元素,(3,4)表示一个3行4列的矩阵数组。

形状的第一个元素对应张量最外层中括号中的元素个数,形状的第二个元素对应张量中从左边开始数第二个中括号中的元素个数,依此类推。例如:

物理含义我们应该怎么理解呢?假设我们有这样一个shape=(4, 20, 20, 3)。

假设有一些照片,每个像素点都由红/绿/蓝3色组成,即shape里面3的含义,照片的宽和高都是20,也就是20*20=400个像素,总共有4张的照片,这就是shape=(4, 20, 20, 3)的物理含义。


如果体现在编程上,可以简单把shape理解为操作Tensor的各层循环,比如我们要对shape=(4, 20, 20, 3)的A tensor进行操作,循环语句如下:

produceA{for(i,0,4){for(j,0,20){for(p,0,20){for(q,0,3){A[((((((i*20)+j)*20)+p)*3)+q)]=a_tensor[((((((i*20)+j)*20)+p)*3)+q)]}}}}}

Shape推导(Shape Inference)

Shape推导是图模式下的核心环节。开发者可以通过两种方式实现:

Follow模式

若输出Shape与某输入Shape完全一致,可使用Follow接口快速表达:

this->Output("y1").ParamType(REQUIRED).Follow("x1",FollowType::SHAPE);

自定义InferShape函数

对于输出Shape与输入Shape存在复杂关系的算子,如Reshape,需编写自定义InferShape函数:

ge::graphStatusInferShapeForReshape(InferShapeContext*context){constgert::Shape*x_shape=context->GetInputShape(0);constgert::Tensor*shape_tensor=context->GetInputTensor(1);gert::Shape*output_shape=context->GetOutputShape(0);if(!x_shape||!shape_tensor||!output_shape)returnge::GRAPH_FAILED;auto reshape_size=static_cast<int32_t>(shape_tensor->GetShapeSize());if(shape_tensor->GetDataType()==ge::DT_INT32){int32_t*reshape_data=shape_tensor->GetData<int32_t>();returnReshapeInferShapeImpl<int32_t>(reshape_data,*x_shape,*output_shape,reshape_size);}else{int64_t*reshape_data=shape_tensor->GetData<int64_t>();returnReshapeInferShapeImpl<int64_t>(reshape_data,*x_shape,*output_shape,reshape_size);}}

数据依赖算子

部分算子在Shape推导时,需要依赖输入的真实值,如Reshape依赖shape输入。此类输入需通过ValueDepend(REQUIRED)声明:

this->Input("shape").ParamType(REQUIRED).ValueDepend(REQUIRED);

动态Shape与ShapeRange推导

有些算子(如Unique)的输出Shape在编译阶段无法确定,必须在执行时才能得出。这时需要ShapeRange推导,用于预估最大输出内存:

ge::graphStatusUniqueInferShapeRangeFunc(gert::InferShapeRangeContext*context){auto x_shape_range=context->GetInputShapeRange(0U);auto y_shape_range=context->GetOutputShapeRange(0U);y_shape_range->GetMax()->SetDim(0,x_shape_range->GetMax()->GetDim(0));y_shape_range->GetMin()->SetDim(0,x_shape_range->GetMin()->GetDim(0));returnge::GRAPH_SUCCESS;}

通过ShapeRange推导,框架可以安全地为动态输出分配内存,保证算子执行的正确性。


昇腾训练营报名链接:
https://www.hiascend.com/developer/activities/cann20252#cann-camp-2502-intro

训练营简介:2025年昇腾CANN训练营第二季,基于CANN开源开放全场景,推出0基础入门系列、码力全开特辑、开发者案例等专题课程,助力不同阶段开发者快速提升算子开发技能。获得Ascend C算子中级认证,即可领取精美证书,完成社区任务更有机会赢取华为手机,平板、开发板等大奖

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/5/15 12:15:58

Langchain-Chatchat能否用于法律文书智能检索?案例分享

Langchain-Chatchat能否用于法律文书智能检索&#xff1f;案例分享 在律师事务所的某个深夜&#xff0c;一位年轻律师正为第二天的庭审准备材料。他需要确认“民间借贷利率保护上限”是否有新的司法解释出台&#xff0c;于是打开电脑&#xff0c;在一堆PDF文件、内部备忘录和历…

作者头像 李华
网站建设 2026/5/8 2:48:46

多传感器数据对齐与空间特征融合技术解析

多传感器数据对齐与空间特征融合技术解析 【免费下载链接】OpenPCDet 项目地址: https://gitcode.com/gh_mirrors/ope/OpenPCDet 在自动驾驶3D感知系统中&#xff0c;激光雷达与摄像头的数据融合是提升检测性能的关键环节。OpenPCDet工具箱通过精心设计的坐标转换机制&…

作者头像 李华
网站建设 2026/5/13 12:17:55

JAX多精度推理的完整实践:动态精度控制的终极指南

JAX多精度推理的完整实践&#xff1a;动态精度控制的终极指南 【免费下载链接】jax Composable transformations of PythonNumPy programs: differentiate, vectorize, JIT to GPU/TPU, and more 项目地址: https://gitcode.com/gh_mirrors/jax/jax 深度学习模型推理时面…

作者头像 李华
网站建设 2026/5/14 11:53:06

FaceFusion镜像日志监控系统搭建:运维可视化的最佳实践

FaceFusion镜像日志监控系统搭建&#xff1a;运维可视化的最佳实践在AI换脸技术逐渐从实验室走向生产环境的今天&#xff0c;FaceFusion这类基于深度学习的应用已广泛应用于影视合成、虚拟主播和数字人交互场景。随着部署规模扩大&#xff0c;服务不再只是“跑起来就行”——稳…

作者头像 李华
网站建设 2026/5/16 10:53:23

c#DataTable类

在 C# 的ADO.NET中&#xff0c;DataTable是内存中的数据表&#xff0c;是DataSet的核心组成部分&#xff0c;也可独立使用。它模拟了关系型数据库中 “表” 的结构&#xff0c;包含列定义&#xff08;DataColumn&#xff09;、行数据&#xff08;DataRow&#xff09;、约束&…

作者头像 李华
网站建设 2026/5/14 13:27:04

Langchain-Chatchat如何处理超长PDF文档?技术细节曝光

Langchain-Chatchat如何处理超长PDF文档&#xff1f;技术细节曝光 在企业知识管理的日常中&#xff0c;你是否曾面对这样的情境&#xff1a;一份长达百页的合同或制度文件摆在面前&#xff0c;领导突然问&#xff1a;“这份文档里关于供应商退出机制是怎么规定的&#xff1f;”…

作者头像 李华