Глосарій
Мова обчислювальних потужностей.
51 термінів — від GPU і мереж до дата-центрів і моделей закупівлі, пояснених без жаргону.
Hardware
ПрискорювачЧип, призначений для прискорення певних навантажень, як-от ШІ. GPU — найвідоміші прискорювачі; серед інших — TPU та спеціалізовані ШІ-чипи.Пропускна здатність пам’ятіСкільки даних GPU може прочитати зі своєї пам’яті або записати в неї щосекунди; зазвичай вимірюється в терабайтах за секунду.A100GPU NVIDIA для дата-центрів покоління Ampere, попередник H100.B200GPU NVIDIA для дата-центрів покоління Blackwell — архітектури, що прийшла на зміну Hopper.FLOPSОперації з рухомою комою за секунду: міра чистої обчислювальної пропускної здатності, яку часто наводять у терафлопсах або петафлопсах.GPUГрафічний процесор: чип, створений для паралельного виконання багатьох обчислень. GPU — основне обладнання для навчання та запуску моделей ШІ.H100GPU NVIDIA для дата-центрів покоління Hopper, що широко використовується для навчання й інференсу ШІ. Випускається в кількох форм-факторах, зокрема SXM і PCIe.H200GPU NVIDIA покоління Hopper, що поєднує обчислювальну архітектуру H100 з більшою та швидшою пам’яттю.HBMПам’ять із високою пропускною здатністю (HBM): багатошарова пам’ять, розміщена поруч із чипом GPU, щоб дані могли дуже швидко переміщуватися до нього й від нього.MI300XПрискорювач AMD Instinct MI300X для дата-центрів, призначений для ШІ та високопродуктивних обчислень.PCIePCI Express: стандартне з’єднання між GPU та рештою сервера. GPU у форматі PCIe встановлюються як карти.SXMФорм-фактор GPU NVIDIA з роз’ємом, що монтується безпосередньо на серверну плату й розрахований на NVLink і вищу потужність.Tensor CoreСпеціалізовані блоки всередині GPU NVIDIA, що виконують матричні обчислення — основу ШІ — набагато швидше за ядра загального призначення.VRAMПам’ять на GPU, що вимірюється в гігабайтах. Вона зберігає ваги моделі, робочі дані та кеші під час роботи GPU.
Мережі
InfiniBandВисокопродуктивна мережева технологія з дуже низькою затримкою, що широко використовується для з’єднання серверів у кластерах для навчання ШІ.NVLinkВисокошвидкісне з’єднання NVIDIA, яке напряму поєднує GPU між собою всередині сервера, набагато швидше за стандартну шину PCIe.NVSwitchЧип-комутатор, що дає змогу кожному GPU в сервері з NVLink обмінюватися даними з кожним іншим GPU на повній швидкості.RoCERDMA over Converged Ethernet: спосіб отримати прямі передачі пам’яті в стилі InfiniBand у мережах Ethernet.
ШІ-навантаження
ІнференсЗапуск навченої моделі для отримання відповідей або прогнозів для користувачів.НавчанняНавчання моделі шляхом обробки великих обсягів даних і коригування її параметрів. Потребує багатьох GPU, що працюють разом днями чи тижнями.Точність (FP8, BF16, FP16)Числовий формат, що використовується для обчислень. Нижча точність, як-от FP8, потребує менше пам’яті й працює швидше ціною певної втрати числової точності.Fine-tuningПодальше навчання наявної моделі на меншому спеціалізованому наборі даних, щоб адаптувати її до завдання.KV cacheПам’ять, що зберігає проміжні результати механізму уваги, поки мовна модель генерує текст, щоб їх не доводилося обчислювати повторно.MIGMulti-Instance GPU: функція NVIDIA, що ділить один GPU на кілька ізольованих менших GPU.
Дата-центри
РегіонГеографічна зона, у якій провайдер пропонує потужності, як-от місто, агломерація чи країна.Резидентність данихВимога зберігати й обробляти дані в певній країні чи регіоні.Рідинне охолодженняВідведення тепла рідиною замість повітря — на рівні чипа або всієї стійки. Справляється з набагато вищою щільністю потужності, ніж повітряне.Щільність стійокСкільки потужності може подати й відвести у вигляді тепла кожна серверна стійка; вимірюється в кіловатах на стійку.ColocationОренда простору, енергоживлення та охолодження в чужому дата-центрі для розміщення власного обладнання.Megawatt (MW)Одиниця потужності, що дорівнює мільйону ватів. Потужність дата-центру зазвичай описують у мегаватах доступної потужності.PUEКоефіцієнт ефективності використання енергії: загальне енергоспоживання об’єкта, поділене на енергію, яку споживає ІТ-обладнання. Значення, ближче до 1, означає, що менше енергії витрачається на накладні потреби, як-от охолодження.TDPРозрахункова теплова потужність: кількість тепла, на виділення якої розрахований чип, і приблизно потужність, яку він споживає під навантаженням, у ватах.
Закупівля обчислювальних потужностей
ВузолОдин сервер у кластері. Вузол GPU зазвичай містить кілька GPU, найчастіше вісім.Зарезервовані потужностіЗобов’язання використовувати обчислювальні потужності протягом фіксованого строку, часто кількох місяців, в обмін на нижчу ціну або гарантовану доступність.Строк із зобов’язаннямПеріод, за який покупець погоджується платити за потужності, наприклад один, три чи дванадцять місяців.Bare metalОренда цілого фізичного сервера без шару віртуалізації між вами та обладнанням.ClusterГрупа серверів, з’єднаних швидкою мережею, щоб вони могли разом працювати над одним завданням.EgressДані, що залишають мережу провайдера; деякі провайдери стягують за них плату за гігабайт.GPU-hourОдин GPU, використаний протягом однієї години. Стандартна одиниця для порівняння цін на обчислювальні потужності.HyperscalerДуже великий хмарний провайдер, як-от великі публічні хмари, що експлуатує дата-центри в глобальному масштабі.NeocloudНовіший хмарний провайдер, що спеціалізується на GPU та ШІ-інфраструктурі, а не на хмарних сервісах загального призначення.On-demandОренда обчислювальних потужностей погодинно або похвилинно без довгострокових зобов’язань. Ви можете запускати й зупиняти, коли забажаєте, залежно від доступності.SLAУгода про рівень обслуговування: письмове зобов’язання провайдера щодо, наприклад, часу безвідмовної роботи, з компенсаціями в разі порушення.Spot (з перериванням)Вільні потужності, що пропонуються зі знижкою і які провайдер може забрати з коротким попередженням.
Kovara
Індикативна цінаПоточна оцінка, яку не опубліковано як офіційний фіксинг. Її позначено як індикативну, щоб її ніколи не сплутали з фіксингом.Клас довіриОцінка Kovara від A до D того, наскільки добре підтверджено факт: A: ретельно перевірено, B: вагомі докази, C: неповні докази, D: оцінка або не перевірено.Нормалізована цінаЦіна, перерахована в спільну одиницю, як-от долари США за GPU-hour, щоб різні пропозиції можна було порівнювати.Статус доступностіЧи є пропозиція доступною, обмеженою або недоступною, чи невідомо, якщо джерело про це не повідомляє.Compute IndexБенчмарк Kovara для цін і доступності обчислювальних потужностей, розрахований на основі незалежних внесків провайдерів за опублікованою методологією.FixingОфіційне опубліковане значення бенчмарку з Compute Index, зафіксоване разом із використаною версією методології, яке ніколи не переписується непомітно.Verified ProviderПровайдер, ідентичність якого перевірив співробітник Kovara. Статус ніколи не надається автоматично.
Бракує терміна?
Попросіть Kova пояснити що завгодно про чипи, мережі чи дата-центри або підкажіть нам, що додати.