Skip to content
Open
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
9 changes: 9 additions & 0 deletions infiniop/ops/README.md
Original file line number Diff line number Diff line change
Expand Up @@ -12,3 +12,12 @@
- [`Softmax`](/infiniop/ops/softmax/README.md)
- [`Sub`](/infiniop/ops/sub/README.md)
- [`SwiGLU`](/infiniop/ops/swiglu/README.md)
- [`Exp`](/infiniop/ops/exp/README.md)
- [`Sin`](/infiniop/ops/sin/README.md)
- [`Cos`](/infiniop/ops/cos/README.md)
- [`LeakyReLU`](/infiniop/ops/leakyrelu/README.md)
- [`Tanh`](/infiniop/ops/tanh/README.md)
- [`Sigmoid Backward`](/infiniop/ops/sigmoid_backward/README.md)
- [`HardSwish`](/infiniop/ops/hardswish/README.md)
- [`Cast`](/infiniop/ops/cast/README.md)
- [`Where`](/infiniop/ops/where/README.md)
143 changes: 143 additions & 0 deletions infiniop/ops/cast/README.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,143 @@

# `Cast`

`Cast`,即**数据类型转换**算子,为单目逐元素算子。其计算可被表述为:

$$
output = \text{Cast}(input, dtype_{dst})
$$

其中:
- `input`:输入张量;
- `dtype_{dst}`:目标数据类型;
- `output`:输出张量,为 `input` 转换到目标类型后的结果。

## 已支持的类型转换

- **整型 <-> 整型**
- **无符号整型 <-> 无符号整型**
- **浮点型 <-> 浮点型**
- **整型 -> 浮点型**
- **无符号整型 -> 浮点型**
- **无符号整型 -> 整型**

## 接口

### 计算

```c
infiniStatus_t infiniopCast(
infiniopCastDescriptor_t desc,
void *workspace,
size_t workspace_size,
void *output,
const void *input,
void *stream
);
```

<div style="background-color: lightblue; padding: 1px;"> 参数: </div>

- `desc`:
已使用 `infiniopCreateCastDescriptor()` 初始化的算子描述符;
- `workspace`:
指向算子计算所需的额外工作空间;
- `workspace_size`:
`workspace` 的大小,单位:字节;
- `output`:
输出张量。张量限制见[创建算子描述](#创建算子描述)部分;
- `input`:
输入张量。张量限制见[创建算子描述](#创建算子描述)部分;
- `stream`:
计算流/队列;

<div style="background-color: lightblue; padding: 1px;"> 返回值:</div>

- [`INFINI_STATUS_SUCCESS`], [`INFINI_STATUS_BAD_PARAM`], [`INFINI_STATUS_INSUFFICIENT_WORKSPACE`], [`INFINI_STATUS_DEVICE_TYPE_NOT_SUPPORTED`], [`INFINI_STATUS_INTERNAL_ERROR`],[`INFINI_STATUS_BAD_TENSOR_DTYPE`].

### 创建算子描述

```c
infiniopCreateCastDescriptor(
infiniopHandle_t handle,
infiniopCastDescriptor_t *desc_ptr,
infiniopTensorDescriptor_t output_desc,
infiniopTensorDescriptor_t input_desc
);
```

<div style="background-color: lightblue; padding: 1px;"> 参数:</div>

- `handle`:
`infiniopHandle_t` 类型的硬件控柄。详情请看:[`InfiniopHandle_t`]。
- `desc_ptr`:
`infiniopCastDescriptor_t` 指针,指向将被初始化的算子描述符地址;
- `output_desc` - { dTout | (d1,...,dn) | (...) }:
算子计算参数 `output` 的张量描述。
- `input_desc` - { dTin | (d1,...,dn) | (...) }:
算子计算参数 `input` 的张量描述,支持多向广播。

参数限制:

- `dTout` 或 `dTin`: (`Float16`, `Float32`, `Float64`, `Int32`, `Int64`, `UInt32`, `UInt64`) 之一。
- 输入 `input` 的形状需与 `output` 相同。`input` 涉及多向广播时需调整步长以匹配多向广播的映射关系。
- 不支持原位计算,即计算时 `output` 不可以和 `input` 指向同一地址。
- 计算输出参数 `output` 不能进行广播(`output` 的步长不能涉及广播设置,即步长不能有 0)

<div style="background-color: lightblue; padding: 1px;"> 返回值:</div>

- [`INFINI_STATUS_SUCCESS`], [`INFINI_STATUS_BAD_PARAM`], [`INFINI_STATUS_BAD_TENSOR_SHAPE`], [`INFINI_STATUS_BAD_TENSOR_DTYPE`], [`INFINI_STATUS_BAD_TENSOR_STRIDES`], [`INFINI_STATUS_DEVICE_TYPE_NOT_SUPPORTED`].

### 计算额外工作空间

```c
infiniStatus_t infiniopGetCastWorkspaceSize(
infiniopCastDescriptor_t desc,
size_t *size
);
```

<div style="background-color: lightblue; padding: 1px;"> 参数:</div>

- `desc`:
已使用 `infiniopGetCastWorkspaceSize()` 初始化的算子描述符;
- `size`:
额外空间大小的计算结果的写入地址;

<div style="background-color: lightblue; padding: 1px;"> 返回值:</div>

- [`INFINI_STATUS_SUCCESS`], [`INFINI_STATUS_NULL_POINTER`], [`INFINI_STATUS_DEVICE_TYPE_NOT_SUPPORTED`].

### 销毁算子描述符

```c
infiniStatus_t infiniopDestroyCastDescriptor(
infiniopCastDescriptor_t desc
);
```

<div style="background-color: lightblue; padding: 1px;"> 参数: </div>

- `desc`:
输入。 待销毁的算子描述符;

<div style="background-color: lightblue; padding: 1px;"> 返回值: </div>

- [`INFINI_STATUS_SUCCESS`], [`INFINI_STATUS_DEVICE_TYPE_NOT_SUPPORTED`].

## 已知问题


<!-- 链接 -->
[`InfiniopHandle_t`]: /infiniop/handle/README.md

[`INFINI_STATUS_SUCCESS`]: /common/status/README.md#INFINI_STATUS_SUCCESS
[`INFINI_STATUS_BAD_PARAM`]: /common/status/README.md#INFINI_STATUS_BAD_PARAM
[`INFINI_STATUS_INSUFFICIENT_WORKSPACE`]: /common/status/README.md#INFINI_STATUS_INSUFFICIENT_WORKSPACE
[`INFINI_STATUS_DEVICE_TYPE_NOT_SUPPORTED`]: /common/status/README.md#INFINI_STATUS_DEVICE_TYPE_NOT_SUPPORTED
[`INFINI_STATUS_INTERNAL_ERROR`]: /common/status/README.md#INFINI_STATUS_INTERNAL_ERROR
[`INFINI_STATUS_NULL_POINTER`]: /common/status/README.md#INFINI_STATUS_NULL_POINTER
[`INFINI_STATUS_BAD_TENSOR_SHAPE`]: /common/status/README.md#INFINI_STATUS_BAD_TENSOR_SHAPE
[`INFINI_STATUS_BAD_TENSOR_DTYPE`]: /common/status/README.md#INFINI_STATUS_BAD_TENSOR_DTYPE
[`INFINI_STATUS_BAD_TENSOR_STRIDES`]: /common/status/README.md#INFINI_STATUS_BAD_TENSOR_STRIDES
129 changes: 129 additions & 0 deletions infiniop/ops/cos/README.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,129 @@

# `Cos`

`Cos`, 即**余弦**算子,为单目逐元素算子。其计算可被表述为:

$$ output = \cos(input) $$

其中 `input` 为输入,`output` 为输出。

## 接口

### 计算

```c
infiniStatus_t infiniopCos(
infiniopCosDescriptor_t desc,
void *workspace,
size_t workspace_size,
void *output,
const void *input,
void *stream
);
```

<div style="background-color: lightblue; padding: 1px;"> 参数: </div>

- `desc`:
已使用 `infiniopCreateCosDescriptor()` 初始化的算子描述符;
- `workspace`:
指向算子计算所需的额外工作空间;
- `workspace_size`:
`workspace` 的大小,单位:字节;
- `output`:
输出张量。张量限制见[创建算子描述](#创建算子描述)部分;
- `input`:
输入张量。张量限制见[创建算子描述](#创建算子描述)部分;
- `stream`:
计算流/队列;

<div style="background-color: lightblue; padding: 1px;"> 返回值:</div>

- [`INFINI_STATUS_SUCCESS`], [`INFINI_STATUS_BAD_PARAM`], [`INFINI_STATUS_INSUFFICIENT_WORKSPACE`], [`INFINI_STATUS_DEVICE_TYPE_NOT_SUPPORTED`], [`INFINI_STATUS_INTERNAL_ERROR`],[`INFINI_STATUS_BAD_TENSOR_DTYPE`].

### 创建算子描述

```c
infiniopCreateCosDescriptor(
infiniopHandle_t handle,
infiniopCosDescriptor_t *desc_ptr,
infiniopTensorDescriptor_t output_desc,
infiniopTensorDescriptor_t input_desc
);
```

<div style="background-color: lightblue; padding: 1px;"> 参数:</div>

- `handle`:
`infiniopHandle_t` 类型的硬件控柄。详情请看:[`InfiniopHandle_t`]。
- `desc_ptr`:
`infiniopCosDescriptor_t` 指针,指向将被初始化的算子描述符地址;
- `output_desc` - { dT | (d1,...,dn) | (...) }:
算子计算参数 `output` 的张量描述,支持原位计算。
- `input_desc` - { dT | (d1,...,dn) | (...) }:
算子计算参数 `input` 的张量描述,支持原位计算,支持多向广播。

参数限制:

- `dT`: (`Float16`, `Float32`, `Float64`, `BFloat16`) 之一。
- 输入 `input` 的形状需与 `output` 相同。`input` 涉及多向广播时需调整步长以匹配多向广播的映射关系。
- 支持原位计算,即计算时 `output` 可以和 `input` 指向同一地址。
- 计算输出参数 `output` 不能进行广播(`output` 的步长不能涉及广播设置,即步长不能有 0)

<div style="background-color: lightblue; padding: 1px;"> 返回值:</div>

- [`INFINI_STATUS_SUCCESS`], [`INFINI_STATUS_BAD_PARAM`], [`INFINI_STATUS_BAD_TENSOR_SHAPE`], [`INFINI_STATUS_BAD_TENSOR_DTYPE`], [`INFINI_STATUS_BAD_TENSOR_STRIDES`], [`INFINI_STATUS_DEVICE_TYPE_NOT_SUPPORTED`].

### 计算额外工作空间

```c
infiniStatus_t infiniopGetCosWorkspaceSize(
infiniopCosDescriptor_t desc,
size_t *size
);
```

<div style="background-color: lightblue; padding: 1px;"> 参数:</div>

- `desc`:
已使用 `infiniopGetCosWorkspaceSize()` 初始化的算子描述符;
- `size`:
额外空间大小的计算结果的写入地址;

<div style="background-color: lightblue; padding: 1px;"> 返回值:</div>

- [`INFINI_STATUS_SUCCESS`], [`INFINI_STATUS_NULL_POINTER`], [`INFINI_STATUS_DEVICE_TYPE_NOT_SUPPORTED`].

### 销毁算子描述符

```c
infiniStatus_t infiniopDestroyCosDescriptor(
infiniopCosDescriptor_t desc
);
```

<div style="background-color: lightblue; padding: 1px;"> 参数: </div>

- `desc`:
输入。 待销毁的算子描述符;

<div style="background-color: lightblue; padding: 1px;"> 返回值: </div>

- [`INFINI_STATUS_SUCCESS`], [`INFINI_STATUS_DEVICE_TYPE_NOT_SUPPORTED`].

## 已知问题


<!-- 链接 -->
[`InfiniopHandle_t`]: /infiniop/handle/README.md

[`INFINI_STATUS_SUCCESS`]: /common/status/README.md#INFINI_STATUS_SUCCESS
[`INFINI_STATUS_BAD_PARAM`]: /common/status/README.md#INFINI_STATUS_BAD_PARAM
[`INFINI_STATUS_INSUFFICIENT_WORKSPACE`]: /common/status/README.md#INFINI_STATUS_INSUFFICIENT_WORKSPACE
[`INFINI_STATUS_DEVICE_TYPE_NOT_SUPPORTED`]: /common/status/README.md#INFINI_STATUS_DEVICE_TYPE_NOT_SUPPORTED
[`INFINI_STATUS_INTERNAL_ERROR`]: /common/status/README.md#INFINI_STATUS_INTERNAL_ERROR
[`INFINI_STATUS_NULL_POINTER`]: /common/status/README.md#INFINI_STATUS_NULL_POINTER
[`INFINI_STATUS_BAD_TENSOR_SHAPE`]: /common/status/README.md#INFINI_STATUS_BAD_TENSOR_SHAPE
[`INFINI_STATUS_BAD_TENSOR_DTYPE`]: /common/status/README.md#INFINI_STATUS_BAD_TENSOR_DTYPE
[`INFINI_STATUS_BAD_TENSOR_STRIDES`]: /common/status/README.md#INFINI_STATUS_BAD_TENSOR_STRIDES
Loading