Как запустить нейросеть локально на своём компьютере через LM Studio
Чат-боты в браузере удобны, но у них есть три недостатка: нужен интернет, часть функций платная, а всё, что вы пишете, уходит на чужие серверы. Языковую модель можно запустить и прямо на своём компьютере. Она будет работать без сети, бесплатно и без ограничений по числу запросов, а ваши документы и переписка никуда не отправятся.
Самый простой способ это сделать — бесплатная программа LM Studio. В ней не нужна командная строка: скачали модель из каталога, нажали кнопку и общаетесь в привычном окне чата. Расскажем, какой компьютер для этого нужен и как всё настроить.
- Скачайте LM Studio с официального сайта
lmstudio.ai— есть версии для Windows, macOS и Linux. - В поиске моделей выберите небольшую модель под объём своей памяти и нажмите Download.
- Загрузите модель в окне чата и пишите — интернет больше не нужен.
- Ориентир: файл модели должен быть заметно меньше объёма видеопамяти или оперативной памяти.
- Локальные модели слабее больших облачных и могут ошибаться в фактах — проверяйте важное.
Какой нужен компьютер
Модель целиком загружается в память, поэтому главный ресурс — её объём. Быстрее всего работает видеопамять, но подойдёт и обычная оперативная.
- Минимум: 8 ГБ оперативной памяти и процессор последних лет. Потянет только самые маленькие модели и будет отвечать неторопливо.
- Комфортно: 16 ГБ оперативной памяти и видеокарта с 6–8 ГБ видеопамяти либо Mac на процессоре Apple M-серии с 16 ГБ.
- С запасом: видеокарта с 12–24 ГБ или Mac с 32 ГБ и больше — для моделей посерьёзнее.
- Диск: одна модель занимает от 2 до 20 ГБ. Освободите хотя бы 20–30 ГБ.
У компьютеров Mac на Apple Silicon память общая для процессора и графики, поэтому они справляются с локальными моделями особенно хорошо. Не помните, что стоит в вашем ПК? Посмотрите, как узнать характеристики компьютера и модель видеокарты.
Шаг 1. Установите LM Studio
- Откройте
lmstudio.aiи скачайте установщик для своей системы. - Запустите его и пройдите стандартную установку.
- При первом запуске программа может предложить сразу загрузить стартовую модель — можно согласиться или пропустить и выбрать самостоятельно.
Для личного использования программа бесплатна. Интерфейс на английском, но слов немного, и все нужные кнопки мы назовём.
Шаг 2. Выберите и скачайте модель
Нажмите на значок лупы в левой панели (раздел Discover). Откроется каталог моделей — они загружаются из открытого хранилища Hugging Face. Что означают названия:
- Число с буквой B — количество параметров в миллиардах: 4B, 8B, 12B, 27B. Чем больше, тем умнее модель и тем больше памяти ей нужно.
- Q4, Q5, Q8 — степень сжатия (квантизация). Q4 — разумный компромисс между качеством и размером, с него и начинайте.
- GGUF — формат файлов для обычных компьютеров; MLX — вариант, оптимизированный под Mac.
LM Studio сама подсвечивает, поместится ли конкретный вариант в вашу память. Грубый ориентир: на 8 ГБ памяти — модели до 4B, на 16 ГБ — до 8–12B, на видеокарте с 24 ГБ — до 27–32B.
Для начала подойдут семейства Gemma от Google, Qwen, Llama, Mistral, открытая модель gpt-oss от OpenAI. С русским языком хорошо справляются Gemma и Qwen, а также модели российских команд — ищите в каталоге по словам YandexGPT, T-lite, Saiga, Vikhr. Выберите вариант и нажмите Download.

Шаг 3. Запустите чат
- Перейдите в раздел чата (значок с сообщением в левой панели).
- Вверху окна нажмите на поле выбора модели и выберите скачанную. Загрузка в память займёт от нескольких секунд до минуты.
- Напишите вопрос в поле внизу и нажмите Enter.
Под ответом видна скорость генерации в токенах в секунду. От 15–20 — комфортно читать по мере появления текста; меньше 5 — модель великовата для вашего железа, возьмите поменьше или более сжатый вариант.
К сообщению можно прикрепить документ — PDF или текстовый файл — и задавать вопросы по его содержанию. Файл обрабатывается локально.
Шаг 4. Полезные настройки
- System Prompt (в правой панели) — постоянная инструкция для модели: «Отвечай по-русски, кратко, по пунктам».
- GPU Offload — какая часть модели выгружается в видеопамять. Чем больше, тем быстрее. Если программа вылетает при загрузке модели, уменьшите значение.
- Context Length — сколько текста модель «помнит» в рамках диалога. Больше контекст — больше расход памяти.
- Temperature — «творческость»: около 0,2–0,4 для точных ответов, 0,8 и выше для сочинительства.
Шаг 5. Локальный сервер — для продвинутых
LM Studio умеет работать как сервер, совместимый с интерфейсом OpenAI. Это нужно, чтобы подключить локальную модель к другим программам: редактору кода, заметочнику, собственным скриптам. Откройте раздел Developer и включите сервер — по умолчанию он доступен по адресу http://localhost:1234/v1.
В новых версиях программы появились одновременная обработка нескольких запросов к одной модели и отдельный фоновый режим без графического окна — для домашнего сервера или мощного компьютера в кладовке. Управлять можно из терминала:
lms ls # список скачанных моделей
lms server start # запустить сервер
lms chat # чат прямо в терминале
Не открывайте порт сервера в интернет без защиты: по умолчанию он рассчитан на работу внутри вашего компьютера или домашней сети.

Чего ждать от локальной модели
- Она слабее облачных. Модель на 8 миллиардов параметров хорошо пересказывает, переводит, правит тексты, помогает с простым кодом, но в сложных рассуждениях уступает большим коммерческим.
- Она не знает свежих новостей и не ищет в интернете, если это специально не настроено.
- Она ошибается уверенным тоном. Факты, цифры, дозировки, юридические формулировки обязательно перепроверяйте по надёжным источникам.
- Ноутбук будет греться и шуметь, а батарея — быстро садиться. Подключайте зарядку.
Если что-то не работает
- Модель не загружается или программа закрывается — не хватает памяти. Возьмите модель меньше или вариант Q4, закройте браузер и другие тяжёлые программы.
- Отвечает очень медленно — модель работает на процессоре. Проверьте, что в настройках включена выгрузка на видеокарту, и обновите драйвер.
- Отвечает по-английски или с ошибками в русском — пропишите язык в System Prompt или попробуйте другую модель.
- Каталог не открывается — проверьте подключение; скачанные ранее модели работают и без сети.
Частые вопросы
Это точно бесплатно?
Да: программа бесплатна для личного использования, открытые модели — тоже. Вы платите только за электричество.
Есть ли альтернативы LM Studio?
Да: Ollama (больше ориентирована на командную строку), Jan, GPT4All. Принцип одинаковый — скачать модель и запустить локально.
Можно ли запустить на телефоне?
Совсем маленькие модели работают и на современных смартфонах через специальные приложения, но качество и скорость заметно ниже, чем на компьютере.
© kak2.ru



Оставить комментарий