Baseten выложила бесплатную книгу об инференсе ИИ из восьми глав

Платформа Baseten выложила в открытый доступ книгу Inference Engineering из восьми глав, написанную инженером компании Филипом Кайли. Он работает в Baseten четыре года и написал книгу по интервью с инженерами компании и своим докладам. Рецензентом выступил Три Дао, автор FlashAttention.

Книга проходит путь от выбора модели и GPU до мониторинга сервиса, разбирает GPU NVIDIA поколений Hopper и Blackwell, а также движки vLLM, SGLang, TensorRT-LLM и Dynamo. Платформа, которая хостит модели Cursor, Notion и Harvey, делится своим опытом работы с инференсом в открытом доступе.