Объясняет, почему GPU при генерации токенов загружен на 100 %, но выдаёт лишь десятки токенов в секунду — из-за дисбаланса между скоростью арифметики и пропускной способностью памяти.
источник ↗Объясняет, почему GPU при генерации токенов загружен на 100 %, но выдаёт лишь десятки токенов в секунду — из-за дисбаланса между скоростью арифметики и пропускной способностью памяти.
источник ↗