Você baixa um modelo de 70 bilhões de parâmetros, manda carregar e recebe CUDA out of memory em três segundos. Troca por uma versão quantizada, o modelo entra, e a geração sai a dois tokens por segundo, mais devagar do que você lê. Aumenta o contexto para processar um contrato inteiro e o erro de VRAM volta, com o mesmo modelo de antes.

O problema não é o modelo nem a biblioteca. Descobrir quanta VRAM para rodar LLM local você precisa é uma conta simples que quase ninguém explica: parâmetros vezes bytes por parâmetro, mais o cache de atenção, que cresce com o contexto. Quem faz essa conta acerta a placa na primeira tentativa. Quem não faz compra 24 GB achando que roda 70B e descobre o contrário depois da nota fiscal.

Este guia traz a fórmula, a tabela por faixa de modelo cruzada com quantização, o custo real de mandar parte do modelo para a RAM, quando duas placas resolvem e o caso corporativo: rodar local para o dado sensível não sair da empresa.

A conta base: parâmetros vezes bytes por parâmetro

Um modelo de linguagem é uma pilha de matrizes de números. Cada número é um parâmetro, e o espaço que ele ocupa depende do formato numérico usado para guardá-lo. Reduzir esse formato é o que se chama de quantização, a alavanca mais poderosa para caber em uma placa menor.

O Q4 não ocupa exatamente meio byte porque os formatos GGUF mais usados guardam algumas camadas em precisão maior e carregam metadados de escala, o que leva a média real para 4,5 a 5 bits por peso. Por isso 0,55 byte serve melhor como referência de compra que o 0,5 teórico.

A fórmula fica assim: VRAM dos pesos = parâmetros x bytes por parâmetro. Um modelo de 8 bilhões em FP16 ocupa 16 GB só de pesos, e em Q4 cai para perto de 4,5 GB. É a diferença entre precisar de 24 GB e caber com folga em 8 GB.

O overhead que ninguém soma: o KV cache

Peso não é tudo. Durante a geração, o modelo guarda as chaves e os valores de atenção de cada token já processado, para não recalcular a sequência a cada palavra nova. Esse é o KV cache, e ele cresce de forma linear com o tamanho da janela de contexto. A fórmula é 2 x camadas x cabeças de KV x dimensão da cabeça x bytes x tokens, sendo o 2 as duas matrizes, chave e valor. Em um modelo de 8 bilhões com 32 camadas e atenção agrupada, dá por volta de 0,125 MB por token em 16 bits; em um de 70 bilhões com 80 camadas, cerca de 0,33 MB.

Repare na terceira coluna: em 128 mil tokens, o cache de um modelo de 70B sozinho ocupa mais memória que o modelo inteiro em Q4. É por isso que tanta gente carrega o modelo sem erro e mesmo assim quebra ao analisar um documento longo. Se o seu uso é revisar processos, laudos, contratos ou bases de código inteiras, dimensione pelo contexto de produção, não pelo do tutorial. Somando de 10 a 15 por cento para ativações, buffers e driver, a conta final é: pesos + KV cache do seu contexto + 15 por cento.

Tabela de VRAM por faixa de modelo e quantização

Os números saem da fórmula, com a coluna prática já somando KV cache de 8 mil tokens e overhead. São faixas: o valor exato varia com a arquitetura e o motor de inferência.

Duas observações mudam a decisão de compra. A primeira: modelos de mistura de especialistas, os MoE, ativam só uma fração dos parâmetros por token, mas todos os pesos precisam estar na memória, então a economia é de tempo de processamento, não de VRAM. Um modelo de 235 bilhões com 22 bilhões ativos continua exigindo memória compatível com os 235 bilhões.

A segunda: a perda de qualidade da quantização não é uniforme. Acima de 30 bilhões de parâmetros, o Q4 preserva praticamente toda a capacidade original; na faixa de 7 a 8 bilhões, perde alguns pontos em matemática e em código. Se o seu modelo é pequeno, prefira Q8 e compre a VRAM correspondente. A visão geral de quantização da Hugging Face detalha cada esquema.

Quanta VRAM para rodar LLM local em cada classe de placa

Com a conta feita, a escolha de hardware deixa de ser lista de benchmark e vira degrau de memória, que é exatamente como a linha profissional RTX PRO Blackwell da NVIDIA está organizada.

A escolha entre GeForce e linha profissional não se resume a GB: memória com correção de erro, certificação de driver, consumo controlado para duas placas no mesmo gabinete e garantia estendida pesam em ambiente corporativo e em licitação, recorte tratado no comparativo entre GeForce RTX e placas profissionais para machine learning.

Offload para RAM: o modelo cabe, a velocidade não

Quando o modelo não cabe na VRAM, motores como o llama.cpp deixam parte das camadas na memória do sistema. O modelo carrega e responde, o que dá a impressão de problema resolvido. Não é. A geração é limitada por largura de banda, e a diferença entre as duas memórias é brutal: a VRAM de uma placa profissional atual trabalha entre 1.000 e 1.800 GB por segundo, e o tráfego prático pelo PCIe fica em dezenas de GB por segundo. A cada token, os pesos fora da placa atravessam esse gargalo.

Um benchmark público de offload no llama.cpp com um modelo de 14 bilhões em Q4_K_M mede o tamanho do estrago, movendo apenas 8 das 48 camadas para a CPU.

Offload não é meio-termo, é precipício: 17 por cento do modelo fora da placa custou 71 por cento do desempenho. Para estimar o teto de velocidade, divida a largura de banda pelo tamanho do modelo carregado. Um modelo de 42 GB em uma placa de 1.800 GB por segundo passa de 40 tokens por segundo; o mesmo modelo em DDR5 de dois canais, na casa de 80 GB por segundo, não chega a dois.

Duas GPUs: quando soma e quando não soma

Para inferência, duas placas somam bem: o motor divide as camadas entre elas e um modelo de 70B em Q4 roda em duas placas de 24 GB. A ressalva é que as placas de workstation atuais não trazem ponte NVLink, então a comunicação passa pelo PCIe; como na divisão por camadas o tráfego entre placas é pequeno, o impacto é aceitável.

Para treino e fine-tuning a lógica muda. O padrão mais comum é paralelismo de dados, em que cada placa recebe uma cópia inteira do modelo e um pedaço diferente do lote, o que acelera a época mas não aumenta o modelo que cabe: duas placas de 24 GB continuam limitadas a 24 GB. Se o limitante é o tamanho do modelo, uma placa maior vence duas menores, porque simplifica a configuração e consome menos energia; se é o tempo de processamento de um modelo que já cabe, ou o atendimento de vários usuários, duas placas menores saem mais baratas. O dimensionamento de CPU, RAM e linhas PCIe que sustenta essa escolha está no guia sobre o que priorizar em hardware para IA e ciência de dados.

O caso corporativo: o dado que não pode sair da rede

Boa parte das empresas que procuram máquina local não está atrás de economia de API, e sim de não enviar informação para fora. Escritório com peça processual, hospital com prontuário, indústria com projeto não publicado, órgão público com dado de cidadão: mandar o texto para uma API de terceiro é transferir dado para um operador externo, muitas vezes fora do país, e assumir a responsabilidade por esse tratamento.

A LGPD trata saúde, biometria, origem racial e convicção política como dados pessoais sensíveis, com exigências mais rígidas de base legal e controle. Um modelo na rede interna elimina a transferência: o texto entra e sai da mesma máquina, o log fica no seu servidor e não há cláusula de terceiro para auditar.

Aí a pergunta sobre quanta VRAM para rodar LLM local vira especificação de projeto. Um assistente interno de consulta a documentos, com modelo de 30B a 70B em Q4, contexto de 32 mil tokens e três a cinco usuários simultâneos, pede uma placa de 48 a 96 GB. É o raciocínio do dimensionamento de workstations para empresas e ciência de dados e a base do guia de workstation para inteligência artificial, que cobre treino e fine-tuning.

Configuração Zenion recomendada

A Zenion parte do modelo que você precisa rodar e do contexto de produção, não de uma lista fixa de peças. Três pontos de partida cobrem quase tudo:

• Zenion Render, placa de 24 a 32 GB. Modelos de 8B a 32B em Q4, prototipagem, embeddings e difusão de imagem local. RAM de 64 GB e NVMe rápido para trocar de modelo sem espera.
• Zenion Supreme, placa de 48 a 72 GB. 70B em Q4 com contexto longo, time pequeno e dois modelos residentes. É a configuração mais comum em assistente interno de documentos com dado sensível.
• Zenion Infinite, 96 GB ou duas placas. MoE de 120B, fine-tuning com QLoRA, inferência multiusuário e pesquisa. Exige projeto de energia e fluxo de ar para operação contínua.

O roteiro é sempre o mesmo: definir o modelo, medir o contexto real, aplicar a fórmula e escolher a placa um degrau acima do resultado.

Perguntas frequentes

Quantos GB de VRAM preciso para rodar um modelo de 7B?
Em Q4, de 6 a 7 GB no total, contando pesos e contexto de 8 mil tokens. Uma placa de 8 GB roda e uma de 12 GB roda com folga. Em FP16, o mesmo modelo pede 16 GB só de pesos.

Quanta VRAM para rodar um modelo de 70B localmente?
Em Q4, de 45 a 48 GB somando pesos, cache e overhead, o que aponta para uma placa de 48 GB ou duas de 24 GB. Em INT8 sobe para cerca de 75 GB e em FP16 passa de 140 GB, faixa que exige várias placas.

Dá para rodar LLM local sem placa de vídeo dedicada?
Dá, com modelos pequenos e paciência. A geração fica limitada pela banda da memória do sistema, em poucos tokens por segundo mesmo em Q4: serve para teste, não para uso profissional.

Q4 perde muita qualidade em relação ao FP16?
Acima de 30 bilhões de parâmetros a diferença não aparece em uso conversacional nem em busca sobre documentos. Na faixa de 7 a 8 bilhões, a perda é perceptível em matemática e código, e vale usar Q8.

Duas placas de 24 GB equivalem a uma de 48 GB?
Para inferência, quase sempre sim, porque o motor divide as camadas entre elas. Para treino com paralelismo de dados, não: cada placa carrega uma cópia inteira do modelo e o teto continua nos 24 GB.

Quanta RAM do sistema preciso além da VRAM?
A referência é ter pelo menos o dobro da VRAM em memória do sistema, para carregar e converter modelos sem estourar. Com 48 GB de VRAM, 96 a 128 GB evitam travamento na carga.

Antes de comprar, meça o seu contexto real

A decisão cabe em quatro números: quantos parâmetros tem o modelo, em qual precisão ele roda, quantos tokens de contexto o seu trabalho usa de verdade e quantas pessoas consultam a máquina ao mesmo tempo. Com eles, a fórmula entrega a VRAM alvo e a tabela de classes entrega a placa.

Se você tem os números mas não quer virar isso em lista de peças sozinho, a equipe da Zenion faz o dimensionamento como parte do projeto, testando o modelo que você usa antes de fechar a configuração. Vale conversar sobre as workstations profissionais da Zenion com o nome do modelo e o tamanho médio dos seus documentos em mãos.