/** * Copyright (c) Huawei Technologies Co., Ltd. 2024. All rights reserved. * * Licensed under the Apache License, Version 2.0 (the "License"); * you may not use this file except in compliance with the License. * You may obtain a copy of the License at * * http://www.apache.org/licenses/LICENSE-2.0 * * Unless required by applicable law or agreed to in writing, software * distributed under the License is distributed on an "AS IS" BASIS, * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. * See the License for the specific language governing permissions and * limitations under the License. */ #ifndef OP_API_INC_GROUPED_MATMUL_H #define OP_API_INC_GROUPED_MATMUL_H #include "aclnn/aclnn_base.h" #ifdef __cplusplus extern "C" { #endif /** * @brief aclnnGroupedMatmul的第一段接口,根据具体的计算流程,计算workspace大小。 * @domain aclnn_ops_infer * * @param [in] x: 表示公式中的x,数据类型支持FLOAT16,BFLOAT16数据类型,数据格式支持ND,支持的最大长度为128个。 * @param [in] weight: 表示公式中的weight,数据类型支持FLOAT16,BFLOAT16数据类型,数据格式支持ND,支持的最大长度为128个。 * @param [in] biasOptional: 表示公式中的bias,数据类型支持FLOAT16,BFLOAT16数据类型,数据格式支持ND,支持的最大长度为128个。 * @param [in] scaleOptional: 表示量化参数,数据类型支持UINT64数据类型,数据格式支持ND,支持的最大长度为128个。 * @param [in] offsetOptional: 表示量化参数,数据类型支持FLOAT32数据类型,数据格式支持ND,支持的最大长度为128个。 * @param [in] antiquantScaleOptional: 表示伪量化参数,数据类型支持FLOAT16,BFLOAT16数据类型,数据格式支持ND,支持的最大长度为128个。 * @param [in] antiquantOffsetOptional: 表示伪量化参数,数据类型支持FLOAT16,BFLOAT16数据类型,数据格式支持ND,支持的最大长度为128个。 * @param [in] groupListOptional: 可选参数,代表输入和输出M轴上的索引情况,数据类型支持INT64,支持的最大长度为128个。 * @param [in] splitItem: 整数型参数,代表输入和输出是否要做tensor切分,1代表输入需要切分,输出不需要切分;2代表输入不需要切分, * 输出需要切分;3代表输入和输出都需要切分。 * @param [out] y: 表示公式中的y,数据类型支持FLOAT16,BFLOAT16数据类型,数据格式支持ND,支持的最大长度为128个。 * @param [out] workspaceSize: 返回用户需要在npu device侧申请的workspace大小。 * @param [out] executor: 返回op执行器,包含算子计算流程。 * @return aclnnStatus: 返回状态码。 */ aclnnStatus aclnnGroupedMatmulGetWorkspaceSize(const aclTensorList *x, const aclTensorList *weight, const aclTensorList *biasOptional, const aclTensorList *scaleOptional, const aclTensorList *offsetOptional, const aclTensorList *antiquantScaleOptional, const aclTensorList *antiquantOffsetOptional, const aclIntArray *groupListOptional, int64_t splitItem, const aclTensorList *y, uint64_t *workspaceSize, aclOpExecutor **executor); /** * @brief aclnnGroupedMatmul的第二段接口,用于执行计算。 * @param [in] workspace: 在npu device侧申请的workspace内存起址。 * @param [in] workspaceSize: 在npu device侧申请的workspace大小,由第一段接口aclnnGtTensorGetWorkspaceSize获取。 * @param [in] stream: acl stream流。 * @param [in] executor: op执行器,包含了算子计算流程。 * @return aclnnStatus: 返回状态码。 */ aclnnStatus aclnnGroupedMatmul(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream); #ifdef __cplusplus } #endif #endif