Inferentie

De meest onthullende maatstaf voor lokale AI staat niet vetgedrukt op de doos. Hij heet geheugenbandbreedte, wordt uitgedrukt in gigabytes per seconde, en bepaalt of een model soepel draait op je…