Quanta VRAM para rodar LLM local: guia e tabela
Você baixa um modelo de 70 bilhões de parâmetros, manda carregar e recebe CUDA out of memory em três segundos. Troca por uma versão quantizada, o modelo entra, e a geração sai a dois tokens por segundo, mais devagar do que você lê. Aumenta o contexto para processar um contrato inteiro e o erro de […]
CPU ou GPU para Machine Learning: onde alocar a verba
Existe um jeito clássico de gastar mal o dinheiro de um projeto de IA: colocar quase tudo na placa de vídeo mais forte que o orçamento aguenta, montar o resto da máquina com o que sobrou e descobrir três semanas depois que a época de treino demora quase o mesmo tempo. A GPU nova está […]
O Impacto da Inteligência Artificial no Hardware: Por Que os Preços e Prazos das Workstations Estão Mudando?
PC para SolidWorks: dicas para escolher uma workstation potente e eficiente.