AMD · Scheda tecnica

AMD Radeon Instinct MI300X

AMD Radeon Instinct MI300X: architettura CDNA 3.0, 192 GB di memoria HBM3, TDP dichiarato di 750 W. Nessun campione Blender con almeno 10 test compatibili disponibile.

Confronta questa GPU

AMD · AMD Radeon Instinct MI300X
Illustrazione generica. Fotografia verificata non ancora disponibile.

VRAM / memoria

192 GB

TDP dichiarato

750 W

FP32 teorici

81,72 TFLOPS

Banda memoria

10.300 GB/s

Identità e architettura

Architettura: CDNA 3.0
Generazione: Radeon Instinct(MIx)
Data riportata dalla fonte: 2023-12-06
Chip: Aqua Vanjaram
Fonderia: TSMC
Processo produttivo: 5 nm
Transistor: 153 miliardi
Superficie chip: 1.017 mm²

Memoria

Capacità memoria: 192 GB
Tipo memoria: HBM3
Memoria unificata: No
Banda memoria: 10.300 GB/s
Bus memoria: 8.192 bit
Clock memoria: 2.525 MHz

Calcolo e potenza

Unità shader: 19.456
Tensor Core NVIDIA: N.A. (terminologia NVIDIA)
Unità ray tracing (vendor-specific): 0 · AMD
Clock base: 1.000 MHz
Clock boost: 2.100 MHz
FP16 teorici: 653,7 TFLOPS
FP32 teorici: 81,72 TFLOPS
FP64 teorici: 81,72 TFLOPS
TDP dichiarato: 750 W
Interfaccia: PCIe 5.0 x16

API e compatibilità

CUDA Compute Capability: N.A. (terminologia NVIDIA)
DirectX: —
Vulkan: —
OpenGL: —
OpenCL: 3.0
Shader model: —

FP32 e FP16 sono capacità teoriche, non prestazioni nei giochi. «—» indica un dato assente. «N.A.» indica terminologia non applicabile, non assenza di accelerazione AI. I Tensor Core sono NVIDIA; le unità ray tracing hanno definizioni specifiche del produttore e non sono equivalenti automaticamente.

Benchmark Blender

Non ci sono test Blender associati con corrispondenza univoca a questa GPU.

Questa GPU può usare ROCm?

ROCm 7.2.3 · Linux · Supporto ufficiale condizionato

Matrice per workload di calcolo su Linux, non per grafica o Windows. Il supporto richiede le distribuzioni, i kernel e i driver previsti dalla documentazione di questa versione.

AMD Instinct MI300X GPU supports all Supported operating systems listed below.

Requisiti AMD e restrizioni complete

Hardware AMD · documentazione ROCm 7.2.3

Specifiche hardware, non una certificazione di supporto software. GiB, MiB e KiB mantengono le unità binarie della fonte; la wavefront può essere 32 oppure 64.

Architettura AMD: CDNA3
LLVM / GFX target: gfx942
Compute Units: 304
Wavefront: 64 threads
Memoria riportata da AMD: 192 GiB
LDS: 64 KiB
Cache L2: 32 MiB
Cache L3: 256 MiB
GFX IP major: 9
GFX IP minor: 4

MLPerf · benchmark AI per configurazione

Configurazioni MLPerf contenenti AMD Radeon Instinct MI300X

Risultati dell’intero sistema, mai divisi per il numero di GPU. Modello, scenario, precisione, categoria, versione e software devono essere compatibili per un confronto: questa non è una classifica della GPU. Risultati inferiti e conteggi incoerenti restano fuori da questa tabella.

39 risultati di configurazione

Sistema e acceleratori	Workload e protocollo	Risultato del sistema	Software e fonte
MangoBoost Mi300X (8x MI300X, LLMBoost) AMD Instinct MI300X 192GB HBM3 8 acceleratori/nodo · 1 nodi Totale dichiarato: 8 AMD EPYC 9534	llama2-70b-99 Offline · fp8 v6.0 · closed · datacenter Accuratezza riportata ROUGE1: 44.4213 ROUGE2: 22.0278 ROUGEL: 28.6475 TOKENS_PER_SAMPLE: 296.1	27.598,7 Tokens/s	Ubuntu 22.04.5 LTS (jammy) Software stack ROCm 6.10.5 MLCommons · 6.0-0069
PowerEdge XE9680 (8x MI300X) AMD Instinct MI300X 192GB HBM3 8 acceleratori/nodo · 1 nodi Totale dichiarato: 8 Intel(R) Xeon(R) Platinum 8470	llama2-70b-99 Offline · fp8 v6.0 · closed · datacenter Accuratezza riportata ROUGE1: 44.4421 ROUGE2: 22.0546 ROUGEL: 28.6036 TOKENS_PER_SAMPLE: 301.2	27.072,5 Tokens/s	Ubuntu 22.04.5 LTS Software stack vLLM 0.9.0.2.dev108+g71faa1880.d20260213, Pytorch 2.7.0+gitf717b2a, ROCm 6.4.1 MLCommons · 6.0-0019
MangoBoost Mi300X (8x MI300X, LLMBoost) AMD Instinct MI300X 192GB HBM3 8 acceleratori/nodo · 1 nodi Totale dichiarato: 8 AMD EPYC 9534	llama2-70b-99 Server · fp8 v6.0 · closed · datacenter Accuratezza riportata ROUGE1: 44.4718 ROUGE2: 22.0358 ROUGEL: 28.668 TOKENS_PER_SAMPLE: 295.1	25.463,1 Tokens/s	Ubuntu 22.04.5 LTS (jammy) Software stack ROCm 6.10.5 MLCommons · 6.0-0069
PowerEdge XE9680 (8x MI300X) AMD Instinct MI300X 192GB HBM3 8 acceleratori/nodo · 1 nodi Totale dichiarato: 8 Intel(R) Xeon(R) Platinum 8470	llama2-70b-99 Server · fp8 v6.0 · closed · datacenter Accuratezza riportata ROUGE1: 44.4296 ROUGE2: 22.0707 ROUGEL: 28.6339 TOKENS_PER_SAMPLE: 301.2	24.467,7 Tokens/s	Ubuntu 22.04.5 LTS Software stack vLLM 0.9.0.2.dev108+g71faa1880.d20260213, Pytorch 2.7.0+gitf717b2a, ROCm 6.4.1 MLCommons · 6.0-0019
MangoBoost Mi300X (8x MI300X, LLMBoost) AMD Instinct MI300X 192GB HBM3 8 acceleratori/nodo · 1 nodi Totale dichiarato: 8 AMD EPYC 9534	llama2-70b-99.9 Offline · fp8 v6.0 · closed · datacenter Accuratezza riportata ROUGE1: 44.4213 ROUGE2: 22.0278 ROUGEL: 28.6475 TOKENS_PER_SAMPLE: 296.1	27.598,7 Tokens/s	Ubuntu 22.04.5 LTS (jammy) Software stack ROCm 6.10.5 MLCommons · 6.0-0069
PowerEdge XE9680 (8x MI300X) AMD Instinct MI300X 192GB HBM3 8 acceleratori/nodo · 1 nodi Totale dichiarato: 8 Intel(R) Xeon(R) Platinum 8470	llama2-70b-99.9 Offline · fp8 v6.0 · closed · datacenter Accuratezza riportata ROUGE1: 44.4421 ROUGE2: 22.0546 ROUGEL: 28.6036 TOKENS_PER_SAMPLE: 301.2	27.072,5 Tokens/s	Ubuntu 22.04.5 LTS Software stack vLLM 0.9.0.2.dev108+g71faa1880.d20260213, Pytorch 2.7.0+gitf717b2a, ROCm 6.4.1 MLCommons · 6.0-0019
MangoBoost Mi300X (8x MI300X, LLMBoost) AMD Instinct MI300X 192GB HBM3 8 acceleratori/nodo · 1 nodi Totale dichiarato: 8 AMD EPYC 9534	llama2-70b-99.9 Server · fp8 v6.0 · closed · datacenter Accuratezza riportata ROUGE1: 44.4718 ROUGE2: 22.0358 ROUGEL: 28.668 TOKENS_PER_SAMPLE: 295.1	25.463,1 Tokens/s	Ubuntu 22.04.5 LTS (jammy) Software stack ROCm 6.10.5 MLCommons · 6.0-0069
PowerEdge XE9680 (8x MI300X) AMD Instinct MI300X 192GB HBM3 8 acceleratori/nodo · 1 nodi Totale dichiarato: 8 Intel(R) Xeon(R) Platinum 8470	llama2-70b-99.9 Server · fp8 v6.0 · closed · datacenter Accuratezza riportata ROUGE1: 44.4296 ROUGE2: 22.0707 ROUGEL: 28.6339 TOKENS_PER_SAMPLE: 301.2	24.467,7 Tokens/s	Ubuntu 22.04.5 LTS Software stack vLLM 0.9.0.2.dev108+g71faa1880.d20260213, Pytorch 2.7.0+gitf717b2a, ROCm 6.4.1 MLCommons · 6.0-0019
Dell Poweredge XE9680 AMD Instinct MI300X 192GB HBM3 8 acceleratori/nodo · 1 nodi Intel Xeon 8462Y+	llama2-70b-99 Interactive · fp8 v5.1 · closed · datacenter Accuratezza riportata ROUGE1: 44.4425 ROUGE2: 22.0529 ROUGEL: 28.6077 TOKENS_PER_SAMPLE: 300.8	8.455,14 Tokens/s	Ubuntu 24.04 LTS Software stack vLLM 0.6.5.dev964+mlperf50, Pytorch 2.7.0a0+git3a58512, ROCm 6.3.1 MLCommons · 5.1-0027
Supermicro AS-8125GS-TNMR2 AMD Instinct MI300X 192GB HBM3 8 acceleratori/nodo · 1 nodi AMD EPYC 9575F	llama2-70b-99 Interactive · fp8 v5.1 · closed · datacenter Accuratezza riportata ROUGE1: 44.4542 ROUGE2: 22.0419 ROUGEL: 28.6112 TOKENS_PER_SAMPLE: 301.1	8.840,42 Tokens/s	Ubuntu 24.04 LTS Software stack vLLM 0.9.0.2.dev108+g71faa1880.d20250730.rocm641, Pytorch 2.7.0+gitf717b2a, ROCm 6.4.1.60401-83~22.04 MLCommons · 5.1-0001

Sistema e acceleratori

Workload e protocollo

Risultato del sistema

Software e fonte

MangoBoost Mi300X (8x MI300X, LLMBoost)

AMD Instinct MI300X 192GB HBM3

8 acceleratori/nodo · 1 nodi

Totale dichiarato: 8

AMD EPYC 9534

llama2-70b-99

Offline · fp8

v6.0 · closed · datacenter

Accuratezza riportata

ROUGE1: 44.4213 ROUGE2: 22.0278 ROUGEL: 28.6475 TOKENS_PER_SAMPLE: 296.1

27.598,7

Tokens/s

Ubuntu 22.04.5 LTS (jammy)

Software stack

ROCm 6.10.5

MLCommons · 6.0-0069

PowerEdge XE9680 (8x MI300X)

AMD Instinct MI300X 192GB HBM3

8 acceleratori/nodo · 1 nodi

Totale dichiarato: 8

Intel(R) Xeon(R) Platinum 8470

llama2-70b-99

Offline · fp8

v6.0 · closed · datacenter

Accuratezza riportata

ROUGE1: 44.4421 ROUGE2: 22.0546 ROUGEL: 28.6036 TOKENS_PER_SAMPLE: 301.2

27.072,5

Tokens/s

Ubuntu 22.04.5 LTS

Software stack

vLLM 0.9.0.2.dev108+g71faa1880.d20260213, Pytorch 2.7.0+gitf717b2a, ROCm 6.4.1

MLCommons · 6.0-0019

MangoBoost Mi300X (8x MI300X, LLMBoost)

AMD Instinct MI300X 192GB HBM3

8 acceleratori/nodo · 1 nodi

Totale dichiarato: 8

AMD EPYC 9534

llama2-70b-99

Server · fp8

v6.0 · closed · datacenter

Accuratezza riportata

ROUGE1: 44.4718 ROUGE2: 22.0358 ROUGEL: 28.668 TOKENS_PER_SAMPLE: 295.1

25.463,1

Tokens/s

Ubuntu 22.04.5 LTS (jammy)

Software stack

ROCm 6.10.5

MLCommons · 6.0-0069

PowerEdge XE9680 (8x MI300X)

AMD Instinct MI300X 192GB HBM3

8 acceleratori/nodo · 1 nodi

Totale dichiarato: 8

Intel(R) Xeon(R) Platinum 8470

llama2-70b-99

Server · fp8

v6.0 · closed · datacenter

Accuratezza riportata

ROUGE1: 44.4296 ROUGE2: 22.0707 ROUGEL: 28.6339 TOKENS_PER_SAMPLE: 301.2

24.467,7

Tokens/s

Ubuntu 22.04.5 LTS

Software stack

vLLM 0.9.0.2.dev108+g71faa1880.d20260213, Pytorch 2.7.0+gitf717b2a, ROCm 6.4.1

MLCommons · 6.0-0019

MangoBoost Mi300X (8x MI300X, LLMBoost)

AMD Instinct MI300X 192GB HBM3

8 acceleratori/nodo · 1 nodi

Totale dichiarato: 8

AMD EPYC 9534

llama2-70b-99.9

Offline · fp8

v6.0 · closed · datacenter

Accuratezza riportata

ROUGE1: 44.4213 ROUGE2: 22.0278 ROUGEL: 28.6475 TOKENS_PER_SAMPLE: 296.1

27.598,7

Tokens/s

Ubuntu 22.04.5 LTS (jammy)

Software stack

ROCm 6.10.5

MLCommons · 6.0-0069

PowerEdge XE9680 (8x MI300X)

AMD Instinct MI300X 192GB HBM3

8 acceleratori/nodo · 1 nodi

Totale dichiarato: 8

Intel(R) Xeon(R) Platinum 8470

llama2-70b-99.9

Offline · fp8

v6.0 · closed · datacenter

Accuratezza riportata

ROUGE1: 44.4421 ROUGE2: 22.0546 ROUGEL: 28.6036 TOKENS_PER_SAMPLE: 301.2

27.072,5

Tokens/s

Ubuntu 22.04.5 LTS

Software stack

vLLM 0.9.0.2.dev108+g71faa1880.d20260213, Pytorch 2.7.0+gitf717b2a, ROCm 6.4.1

MLCommons · 6.0-0019

MangoBoost Mi300X (8x MI300X, LLMBoost)

AMD Instinct MI300X 192GB HBM3

8 acceleratori/nodo · 1 nodi

Totale dichiarato: 8

AMD EPYC 9534

llama2-70b-99.9

Server · fp8

v6.0 · closed · datacenter

Accuratezza riportata

ROUGE1: 44.4718 ROUGE2: 22.0358 ROUGEL: 28.668 TOKENS_PER_SAMPLE: 295.1

25.463,1

Tokens/s

Ubuntu 22.04.5 LTS (jammy)

Software stack

ROCm 6.10.5

MLCommons · 6.0-0069

PowerEdge XE9680 (8x MI300X)

AMD Instinct MI300X 192GB HBM3

8 acceleratori/nodo · 1 nodi

Totale dichiarato: 8

Intel(R) Xeon(R) Platinum 8470

llama2-70b-99.9

Server · fp8

v6.0 · closed · datacenter

Accuratezza riportata

ROUGE1: 44.4296 ROUGE2: 22.0707 ROUGEL: 28.6339 TOKENS_PER_SAMPLE: 301.2

24.467,7

Tokens/s

Ubuntu 22.04.5 LTS

Software stack

vLLM 0.9.0.2.dev108+g71faa1880.d20260213, Pytorch 2.7.0+gitf717b2a, ROCm 6.4.1

MLCommons · 6.0-0019

Dell Poweredge XE9680

AMD Instinct MI300X 192GB HBM3

8 acceleratori/nodo · 1 nodi

Intel Xeon 8462Y+

llama2-70b-99

Interactive · fp8

v5.1 · closed · datacenter

Accuratezza riportata

ROUGE1: 44.4425 ROUGE2: 22.0529 ROUGEL: 28.6077 TOKENS_PER_SAMPLE: 300.8

8.455,14

Tokens/s

Ubuntu 24.04 LTS

Software stack

vLLM 0.6.5.dev964+mlperf50, Pytorch 2.7.0a0+git3a58512, ROCm 6.3.1

MLCommons · 5.1-0027

Supermicro AS-8125GS-TNMR2

AMD Instinct MI300X 192GB HBM3

8 acceleratori/nodo · 1 nodi

AMD EPYC 9575F

llama2-70b-99

Interactive · fp8

v5.1 · closed · datacenter

Accuratezza riportata

ROUGE1: 44.4542 ROUGE2: 22.0419 ROUGEL: 28.6112 TOKENS_PER_SAMPLE: 301.1

8.840,42

Tokens/s

Ubuntu 24.04 LTS

Software stack

vLLM 0.9.0.2.dev108+g71faa1880.d20250730.rocm641, Pytorch 2.7.0+gitf717b2a, ROCm 6.4.1.60401-83~22.04

MLCommons · 5.1-0001

1 / 4

Fonti e divergenze

Ogni specifica conserva fonte, data di acquisizione e confidenza del matching. La confidenza non è una certificazione della correttezza del valore.

Open GPU DB — 29 attributi selezionati

AMD ROCm hardware specifications 7.2.3 — 10 attributi selezionati

Mostra provenance campo per campo

Specifica	Fonte	Acquisizione	Matching
Architettura	Open GPU DB	17/09/2026	90%
device_type	Open GPU DB	17/09/2026	90%
Generazione	Open GPU DB	17/09/2026	90%
Banda memoria	Open GPU DB	17/09/2026	90%
Capacità memoria	Open GPU DB	17/09/2026	90%
Tipo memoria	Open GPU DB	17/09/2026	90%
Memoria unificata	Open GPU DB	17/09/2026	90%
name	Open GPU DB	17/09/2026	90%
Data riportata dalla fonte	Open GPU DB	17/09/2026	90%
OpenCL	Open GPU DB	17/09/2026	90%
Clock base	Open GPU DB	17/09/2026	90%
Clock boost	Open GPU DB	17/09/2026	90%
Interfaccia	Open GPU DB	17/09/2026	90%
Chip	Open GPU DB	17/09/2026	90%
Superficie chip	Open GPU DB	17/09/2026	90%
Fonderia	Open GPU DB	17/09/2026	90%
FP16 teorici	Open GPU DB	17/09/2026	90%
FP32 teorici	Open GPU DB	17/09/2026	90%
FP64 teorici	Open GPU DB	17/09/2026	90%
Bus memoria	Open GPU DB	17/09/2026	90%
Clock memoria	Open GPU DB	17/09/2026	90%
Processo produttivo	Open GPU DB	17/09/2026	90%
Unità ray tracing (vendor-specific)	Open GPU DB	17/09/2026	90%
Unità shader	Open GPU DB	17/09/2026	90%
TDP dichiarato	Open GPU DB	17/09/2026	90%
Tensor Core NVIDIA	Open GPU DB	17/09/2026	90%
Transistor	Open GPU DB	17/09/2026	90%
status	Open GPU DB	17/09/2026	90%
vendor	Open GPU DB	17/09/2026	90%
rocm.architecture	AMD ROCm hardware specifications 7.2.3	17/09/2026	98%
rocm.compute_units	AMD ROCm hardware specifications 7.2.3	17/09/2026	98%
rocm.gfx_ip_major	AMD ROCm hardware specifications 7.2.3	17/09/2026	98%
rocm.gfx_ip_minor	AMD ROCm hardware specifications 7.2.3	17/09/2026	98%
rocm.l2_cache_mib	AMD ROCm hardware specifications 7.2.3	17/09/2026	98%
rocm.l3_cache_mib	AMD ROCm hardware specifications 7.2.3	17/09/2026	98%
rocm.lds_kib	AMD ROCm hardware specifications 7.2.3	17/09/2026	98%
rocm.llvm_target	AMD ROCm hardware specifications 7.2.3	17/09/2026	98%
rocm.vram_gib	AMD ROCm hardware specifications 7.2.3	17/09/2026	98%
rocm.wavefront_size	AMD ROCm hardware specifications 7.2.3	17/09/2026	98%