9 концепций GPU-архитектуры для проектирования AI-инфраструктуры

Издание AI Oversight опубликовало разбор архитектуры GPU на примере PyTorch и vLLM, выделив 9 ключевых концепций, которые нужны при расчёте кластеров для инференса и настройке распределённого обучения. В материале разобраны вычислительные модули (SM, CUDA Cores, Tensor Cores), иерархия памяти и оптимизация под низкоточечные форматы (FP16, BF16, FP8).

Понимание этих уровней критично для снижения TTFT (Time to First Token) и стоимости генерации, когда высокоуровневые абстракции фреймворков перестают работать.