Placas gráficas para IA local 61 produtos

Para usar modelos de IA em local, a memória da placa gráfica (VRAM) é o primeiro fator: o modelo tem de caber por inteiro para responder com fluidez. Como orientação, um modelo de 7 ou 8 mil milhões de parâmetros quantizado a 4 bits cabe em cerca de 8 GB, e com 16 GB ou mais já executa modelos médios ou gera imagens com folga.

A maioria das ferramentas de IA local está otimizada para CUDA, a plataforma da NVIDIA; as placas gráficas da AMD e da Intel funcionam com cada vez mais programas, mas convém verificar que as suas as suporta. Verifique também a fonte de alimentação recomendada, o conector de alimentação e que a placa cabe no comprimento na sua caixa.