Mini PCs AI x86 Compactos
Sistemas de IA baseados em x86 num chassi compacto.
| Foto | Produto | Preço | Capacidade |
|---|
Compreender a capacidade do modelo
A capacidade do modelo refere-se ao número de parâmetros que um modelo de IA contém (ex: 70B = 70 mil milhões de parâmetros). Modelos maiores geralmente requerem mais memória e poder de computação, mas podem oferecer raciocínio e qualidade de saída melhorados.
Precisão (FP16 / FP8 / FP4) afeta a quantidade de memória que uma determinada capacidade de modelo requer: formatos de precisão mais baixa reduzem aproximadamente para metade os requisitos de memória a cada passo (FP16 → FP8 → FP4), com algum custo na precisão da saída.
| Tamanho do modelo | Memória típica (FP16) | Memória típica (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |