Калькулятор видеопамяти для нейросетей

Прикиньте, сколько видеопамяти и оперативной памяти понадобится, чтобы запустить языковую модель у себя. Задайте число параметров, квантование, длину контекста и точность KV cache - калькулятор оценит объём весов и кэша и скажет, скорее всего поместится модель на вашей карте или нет. Это оценка, а не точный замер.

Веса модели8,19B x 4,89 бит / 85,0 ГБ
KV cache8 192 токенов, кэш FP161,2 ГБ
Запас1 ГБ + 5% на программу, драйвер и буферы1,3 ГБ
ИтогоQ4 (Q4_K_M)7,5 ГБ

весаKV cacheзапасобъём VRAM

Помещается в VRAM

Нужно около 7,5 ГБ из 12,0 ГБ видеопамяти. Обычно это самый быстрый вариант.

Параметры и архитектура: Qwen/Qwen3-8B на Hugging Face.

Как считается
  • Веса = число параметров x бит на параметр / 8. Бит на параметр - реальные значения GGUF-квантов llama.cpp (Q4_K_M - 4,89 бита, а не ровно 4): служебные данные кванта уже учтены.
  • KV cache = 2 (ключи и значения) x слоёв x KV-головок x размер головы x токенов контекста x байт на число (FP16 - 2). Для моделей из списка - по их config.json: слои со скользящим окном (Gemma, gpt-oss) хранят не больше окна, слои с линейным вниманием (Qwen3.5) - постоянное состояние. Для своей модели - как у типичной плотной модели того же размера (Llama 3, Qwen3).
  • Запас = 1 ГБ + 5% от весов и кэша: программа, драйвер, буферы вычислений.
  • При выгрузке в RAM системе оставляем 4 ГБ. 1 ГБ = 109 байт, объём видеокарты считаем так же - это даёт небольшой запас.
  • Не учтены визуальный модуль мультимодальных моделей (отдельный файл mmproj) и другие программы, которые занимают видеопамять. Это оценка, а не замер: точное потребление смотрите после загрузки модели.

Расчёт идёт в вашем браузере, данные никуда не отправляются.

Как прикинуть, хватит ли памяти

  1. Укажите размер модели в миллиардах параметров, например 3, 7, 8, 14, 32 или 70B. Если в списке есть готовое семейство, можно выбрать его.
  2. Выберите квантование: чем меньше бит, тем модель компактнее и обычно чуть слабее по качеству. Для старта часто берут 4 бита (Q4).
  3. Задайте длину контекста - сколько токенов модель держит в памяти разговора. Для обычного чата хватает 4 000-8 000, длинные документы требуют больше.
  4. В поле «Точность KV cache» по умолчанию стоит FP16. Варианты Q8 и Q4 уменьшают только объём кэша, веса модели при этом не меняются.
  5. Укажите объём видеопамяти вашей карты и, по желанию, оперативную память компьютера. Для Mac в списке видеокарт есть отдельные пункты «Mac с Apple Silicon».
  6. Калькулятор покажет оценку по частям: веса, кэш контекста (KV cache), запас на накладные расходы и сумму. Если сумма меньше VRAM, модель скорее всего пойдёт на видеокарте. Если видеопамяти не хватает, но хватает вместе с оперативной, часть можно выгрузить в RAM, ответы при этом будут медленнее. Если не хватает и того, и другого, возьмите модель поменьше, квант плотнее или короче контекст.

Откуда берутся цифры

Объём весов, то есть самих параметров модели, считается так:

объём весов ≈ число параметров × число бит / 8

Например, модель на 7 миллиардов параметров в 16 битах (FP16, без сжатия) занимает около 14 ГБ только на веса: 7 × 16 / 8 = 14. Та же модель в 4 битах (Q4) - уже около 3,5 ГБ. Квантование (Q2, Q3, Q4, Q5, Q6, Q8, FP16) как раз уменьшает число бит на параметр. У реальных форматов вроде Q4_K_M цифра чуть больше «чистых» 4 бит из-за служебных данных, поэтому калькулятор закладывает небольшой запас и не обещает совпадение байт в байт.

Вторая часть - кэш ключей и значений (KV cache). Он хранит уже прочитанный контекст, чтобы модель не пересчитывала его с нуля на каждом шаге. Кэш растёт вместе с длиной контекста и с размером модели: чем длиннее разговор или документ и чем больше слоёв у модели, тем больше памяти уходит на кэш. На длинном контексте он может сравняться с весами или обогнать их. Поэтому вариант, который спокойно влез при 4 000 токенах, при 32 000 может уже не поместиться.

Объём кэша ещё зависит от поля «Точность KV cache». По умолчанию кэш считается в FP16 - по 2 байта на число. Если выбрать Q8 или Q4, кэш становится компактнее, а веса остаются теми же. На длинном контексте эта разница заметнее, чем на коротком.

Сверху нужен запас на саму программу, драйвер видеокарты и служебные буферы. Обычно это ещё один-два гигабайта, иногда больше, если параллельно открыт браузер с множеством вкладок или другие тяжёлые программы.

Итог калькулятора - ориентир, а не замер. Точное потребление зависит от формата файла, движка, режима запуска и того, как программа раскладывает слои по памяти. Перед загрузкой большой модели всё равно смотрите, сколько она заняла уже после запуска.

Пойдёт ли модель на вашей видеокарте

  • Помещается в VRAM - обычно самый быстрый вариант, ответы идут с видеокарты.
  • Не хватает VRAM, но хватает вместе с RAM - модель запустится, часть слоёв уйдёт в оперативную память, скорость часто заметно падает.
  • Не хватает даже суммы - нужна модель меньшего размера, более плотный квант или более короткий контекст.

На компьютерах Mac с чипами Apple Silicon видеопамять и оперативная - общая. Если в списке видеокарт выбрать «Mac с Apple Silicon», калькулятор показывает отдельный результат: видеоядру он отводит 75% указанной памяти и сравнивает оценку модели уже с этой долей, а не со всем объёмом. В легенде это подписано как «доступно видеоядру». Если модели нужно больше этих 75%, но она ещё укладывается в память машины с запасом системе, результат будет «Впритык». Так калькулятор повторяет то, как macOS обычно отдаёт видеоядру не всю память, а примерно две трети или три четверти.

Для запуска модели на компьютере удобны Ollama и LM Studio: обе подхватывают сжатые форматы и после загрузки показывают, сколько памяти заняла модель на самом деле. Установку Ollama и подбор размера под своё железо мы разобрали в статье Ollama: как установить и запустить нейросеть на своём компьютере. Если вы ещё разбираетесь, чем модель отличается от чат-бота, начните со статьи Что такое LLM.

Частые вопросы

Сколько видеопамяти нужно для локальной нейросети?

Зависит от размера модели, квантования и длины контекста. Веса модели на 7 миллиардов параметров в 4 битах занимают примерно 3,5 ГБ, но сверху нужны кэш контекста и запас программе. На ноутбуке с 8 ГБ видеопамяти обычно комфортно идут небольшие и средние модели в 4 битах с умеренным контекстом. Калькулятор на этой странице даёт оценку по вашим числам, не готовую норму «для всех».

Как примерно посчитать размер модели?

Базовая оценка такая: число параметров умножьте на число бит и разделите на 8, получите объём весов в байтах. Для 7B в 4 битах это около 3,5 ГБ, в 16 битах - около 14 ГБ. К этому нужно добавить кэш контекста и запас. Реальный файл может быть чуть больше из-за служебных данных формата.

Почему при длинном контексте памяти нужно больше?

Потому что растёт KV cache - служебный кэш уже прочитанного текста. Он увеличивается вместе с длиной контекста и с размером модели. Веса при этом остаются теми же, меняется именно кэш. Объём кэша можно уменьшить в поле «Точность KV cache»: Q8 и Q4 делают его компактнее, чем FP16 по умолчанию. Если модель перестала помещаться после увеличения контекста, укоротите его, возьмите квант поплотнее или снизьте точность кэша.

Что делать, если видеопамяти не хватает?

Сначала попробуйте более плотный квант или модель с меньшим числом параметров, затем уменьшите длину контекста или точность KV cache. Если VRAM не хватает совсем чуть-чуть, часть слоёв можно выгрузить в оперативную память: модель запустится, но отвечать будет медленнее. Когда не хватает и VRAM, и RAM, без более слабой модели или другого компьютера не обойтись.

Чем квантование помогает сэкономить память?

Квантование уменьшает число бит на каждый параметр, поэтому веса занимают меньше места. Переход с 16 бит на 4 бита сокращает объём весов примерно в четыре раза. Качество ответов обычно падает слабее, чем объём, поэтому для локального запуска часто берут Q4. Слишком плотные варианты вроде Q2 экономят ещё больше, но ошибаются чаще.

Почему оценка калькулятора не совпадает с тем, что показывает программа?

Потому что это прикидка по формуле, а не замер конкретной модели в конкретном движке. На цифру влияют формат файла, служебные данные кванта, как программа делит слои между видеокартой и оперативной памятью, и что ещё занимает память в этот момент. Ориентируйтесь на оценку при выборе размера, а точное потребление смотрите уже после загрузки модели.

Как считать память на Mac с Apple Silicon?

У чипов M-серии память общая: отдельной видеопамяти, как у дискретной карты, нет. Выберите в списке «Mac с Apple Silicon» нужный объём - калькулятор считает, что видеоядру доступно 75% этой памяти, и сравнивает оценку модели уже с этой долей, а не со всем объёмом. Если нужно больше этих 75%, но модель ещё укладывается в память машины с запасом системе, результат будет «Впритык». Тогда лучше взять вариант поменьше, квант плотнее или короче контекст.

Другие инструменты

Калькулятор подсетей IPv4

Адрес сети, broadcast, диапазон и число хостов, маска и wildcard по IP и префиксу. Таблица масок и разбиение на подсети.

Тест мыши

Кнопки и колесо, двойной клик и дребезг, частота опроса и CPS.

Счётчик символов и слов

Символы с пробелами и без, слова, время чтения и проверка лимитов. Текст никуда не уходит.

Тест монитора

Битые пиксели на весь экран, в том числе серый цвет. Проверка герцовки на 60, 75, 120, 144, 165 и 240 Гц.