Чат-боты в браузере удобны, но у них есть три недостатка: нужен интернет, часть функций платная, а всё, что вы пишете, уходит на чужие серверы. Языковую модель можно запустить и прямо на своём компьютере. Она будет работать без сети, бесплатно и без ограничений по числу запросов, а ваши документы и переписка никуда не отправятся.

Самый простой способ это сделать — бесплатная программа LM Studio. В ней не нужна командная строка: скачали модель из каталога, нажали кнопку и общаетесь в привычном окне чата. Расскажем, какой компьютер для этого нужен и как всё настроить.

Коротко
  • Скачайте LM Studio с официального сайта lmstudio.ai — есть версии для Windows, macOS и Linux.
  • В поиске моделей выберите небольшую модель под объём своей памяти и нажмите Download.
  • Загрузите модель в окне чата и пишите — интернет больше не нужен.
  • Ориентир: файл модели должен быть заметно меньше объёма видеопамяти или оперативной памяти.
  • Локальные модели слабее больших облачных и могут ошибаться в фактах — проверяйте важное.

Какой нужен компьютер

Модель целиком загружается в память, поэтому главный ресурс — её объём. Быстрее всего работает видеопамять, но подойдёт и обычная оперативная.

  • Минимум: 8 ГБ оперативной памяти и процессор последних лет. Потянет только самые маленькие модели и будет отвечать неторопливо.
  • Комфортно: 16 ГБ оперативной памяти и видеокарта с 6–8 ГБ видеопамяти либо Mac на процессоре Apple M-серии с 16 ГБ.
  • С запасом: видеокарта с 12–24 ГБ или Mac с 32 ГБ и больше — для моделей посерьёзнее.
  • Диск: одна модель занимает от 2 до 20 ГБ. Освободите хотя бы 20–30 ГБ.

У компьютеров Mac на Apple Silicon память общая для процессора и графики, поэтому они справляются с локальными моделями особенно хорошо. Не помните, что стоит в вашем ПК? Посмотрите, как узнать характеристики компьютера и модель видеокарты.

Шаг 1. Установите LM Studio

  1. Откройте lmstudio.ai и скачайте установщик для своей системы.
  2. Запустите его и пройдите стандартную установку.
  3. При первом запуске программа может предложить сразу загрузить стартовую модель — можно согласиться или пропустить и выбрать самостоятельно.

Для личного использования программа бесплатна. Интерфейс на английском, но слов немного, и все нужные кнопки мы назовём.

Шаг 2. Выберите и скачайте модель

Нажмите на значок лупы в левой панели (раздел Discover). Откроется каталог моделей — они загружаются из открытого хранилища Hugging Face. Что означают названия:

  • Число с буквой B — количество параметров в миллиардах: 4B, 8B, 12B, 27B. Чем больше, тем умнее модель и тем больше памяти ей нужно.
  • Q4, Q5, Q8 — степень сжатия (квантизация). Q4 — разумный компромисс между качеством и размером, с него и начинайте.
  • GGUF — формат файлов для обычных компьютеров; MLX — вариант, оптимизированный под Mac.

LM Studio сама подсвечивает, поместится ли конкретный вариант в вашу память. Грубый ориентир: на 8 ГБ памяти — модели до 4B, на 16 ГБ — до 8–12B, на видеокарте с 24 ГБ — до 27–32B.

Для начала подойдут семейства Gemma от Google, Qwen, Llama, Mistral, открытая модель gpt-oss от OpenAI. С русским языком хорошо справляются Gemma и Qwen, а также модели российских команд — ищите в каталоге по словам YandexGPT, T-lite, Saiga, Vikhr. Выберите вариант и нажмите Download.

Какой размер локальной модели выбрать в зависимости от объёма памяти компьютера

Шаг 3. Запустите чат

  1. Перейдите в раздел чата (значок с сообщением в левой панели).
  2. Вверху окна нажмите на поле выбора модели и выберите скачанную. Загрузка в память займёт от нескольких секунд до минуты.
  3. Напишите вопрос в поле внизу и нажмите Enter.

Под ответом видна скорость генерации в токенах в секунду. От 15–20 — комфортно читать по мере появления текста; меньше 5 — модель великовата для вашего железа, возьмите поменьше или более сжатый вариант.

К сообщению можно прикрепить документ — PDF или текстовый файл — и задавать вопросы по его содержанию. Файл обрабатывается локально.

Шаг 4. Полезные настройки

  • System Prompt (в правой панели) — постоянная инструкция для модели: «Отвечай по-русски, кратко, по пунктам».
  • GPU Offload — какая часть модели выгружается в видеопамять. Чем больше, тем быстрее. Если программа вылетает при загрузке модели, уменьшите значение.
  • Context Length — сколько текста модель «помнит» в рамках диалога. Больше контекст — больше расход памяти.
  • Temperature — «творческость»: около 0,2–0,4 для точных ответов, 0,8 и выше для сочинительства.

Шаг 5. Локальный сервер — для продвинутых

LM Studio умеет работать как сервер, совместимый с интерфейсом OpenAI. Это нужно, чтобы подключить локальную модель к другим программам: редактору кода, заметочнику, собственным скриптам. Откройте раздел Developer и включите сервер — по умолчанию он доступен по адресу http://localhost:1234/v1.

В новых версиях программы появились одновременная обработка нескольких запросов к одной модели и отдельный фоновый режим без графического окна — для домашнего сервера или мощного компьютера в кладовке. Управлять можно из терминала:

lms ls            # список скачанных моделей
lms server start  # запустить сервер
lms chat          # чат прямо в терминале

Не открывайте порт сервера в интернет без защиты: по умолчанию он рассчитан на работу внутри вашего компьютера или домашней сети.

Команды lms в терминале: список моделей и запуск локального сервера LM Studio

Чего ждать от локальной модели

  • Она слабее облачных. Модель на 8 миллиардов параметров хорошо пересказывает, переводит, правит тексты, помогает с простым кодом, но в сложных рассуждениях уступает большим коммерческим.
  • Она не знает свежих новостей и не ищет в интернете, если это специально не настроено.
  • Она ошибается уверенным тоном. Факты, цифры, дозировки, юридические формулировки обязательно перепроверяйте по надёжным источникам.
  • Ноутбук будет греться и шуметь, а батарея — быстро садиться. Подключайте зарядку.

Если что-то не работает

  • Модель не загружается или программа закрывается — не хватает памяти. Возьмите модель меньше или вариант Q4, закройте браузер и другие тяжёлые программы.
  • Отвечает очень медленно — модель работает на процессоре. Проверьте, что в настройках включена выгрузка на видеокарту, и обновите драйвер.
  • Отвечает по-английски или с ошибками в русском — пропишите язык в System Prompt или попробуйте другую модель.
  • Каталог не открывается — проверьте подключение; скачанные ранее модели работают и без сети.

Частые вопросы

Это точно бесплатно?

Да: программа бесплатна для личного использования, открытые модели — тоже. Вы платите только за электричество.

Есть ли альтернативы LM Studio?

Да: Ollama (больше ориентирована на командную строку), Jan, GPT4All. Принцип одинаковый — скачать модель и запустить локально.

Можно ли запустить на телефоне?

Совсем маленькие модели работают и на современных смартфонах через специальные приложения, но качество и скорость заметно ниже, чем на компьютере.

© kak2.ru