相容性矩陣¶
下表顯示了互斥的特性以及在某些硬體上的支援情況。
所使用的符號具有以下含義
- ✅ = 完全相容
- 🟠 = 部分相容
- ❌ = 不相容
- ❔ = 未知或待定
注意
請檢視帶連結的 ❌ 或 🟠 符號,以瞭解不支援的特性/硬體組合的跟蹤問題。
特性 x 特性¶
| 功能 | CP | APC | LoRA | SD | CUDA 圖 | 池化 | 編解碼 | logP | 提示 logP | 非同步輸出 | 多步 | mm | 最佳選擇 | 束搜尋 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| CP | ✅ | |||||||||||||
| APC | ✅ | ✅ | ||||||||||||
| LoRA | ✅ | ✅ | ✅ | |||||||||||
| SD | ✅ | ✅ | ❌ | ✅ | ||||||||||
| CUDA 圖 | ✅ | ✅ | ✅ | ✅ | ✅ | |||||||||
| 池化 | ❌ | ❌ | ❌ | ❌ | ❌ | ✅ | ||||||||
| 編解碼 | ❌ | ❌ | ❌ | ❌ | ✅ | ✅ | ✅ | |||||||
| logP | ✅ | ✅ | ✅ | ✅ | ✅ | ❌ | ✅ | ✅ | ||||||
| 提示 logP | ✅ | ✅ | ✅ | ✅ | ✅ | ❌ | ✅ | ✅ | ✅ | |||||
| 非同步輸出 | ✅ | ✅ | ✅ | ❌ | ✅ | ❌ | ❌ | ✅ | ✅ | ✅ | ||||
| 多步 | ❌ | ✅ | ❌ | ❌ | ✅ | ❌ | ❌ | ✅ | ✅ | ✅ | ✅ | |||
| mm | ✅ | 🟠 | 🟠 | ❔ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ❔ | ✅ | ||
| 最佳選擇 | ✅ | ✅ | ✅ | ❌ | ✅ | ❌ | ✅ | ✅ | ✅ | ❔ | ❌ | ✅ | ✅ | |
| 束搜尋 | ✅ | ✅ | ✅ | ❌ | ✅ | ❌ | ✅ | ✅ | ✅ | ❔ | ❌ | ❔ | ✅ | ✅ |
特性 x 硬體¶
| 功能 | Volta | Turing | Ampere | Ada | Hopper | CPU | AMD | TPU |
|---|---|---|---|---|---|---|---|---|
| CP | ❌ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| APC | ❌ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| LoRA | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| SD | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ❌ |
| CUDA 圖 | ✅ | ✅ | ✅ | ✅ | ✅ | ❌ | ✅ | ❌ |
| 池化 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ❔ | ❌ |
| 編解碼 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ❌ | ❌ |
| mm | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ❌ |
| logP | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ❌ |
| 提示 logP | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ❌ |
| 非同步輸出 | ✅ | ✅ | ✅ | ✅ | ✅ | ❌ | ❌ | ❌ |
| 多步 | ✅ | ✅ | ✅ | ✅ | ✅ | ❌ | ✅ | ❌ |
| 最佳選擇 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ❌ |
| 束搜尋 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ❌ |
注意
請參考 透過 NxD 推理後端支援的特性 以瞭解 AWS Neuron 硬體上支援的特性