Hardware
Largura de banda de memória
Quantos dados uma GPU consegue ler ou gravar na sua memória por segundo, geralmente medido em terabytes por segundo.
Por que isso importa
Gerar texto token a token costuma ser limitado pela largura de banda de memória, e não pela capacidade computacional bruta, por isso afeta muito a velocidade de inferência.
Termos relacionados
Quer uma resposta mais aprofundada?
Peça à Kova para explicar Largura de banda de memória no contexto da sua carga de trabalho. Conheça a Kova →