Локальные LLM Модели
Каталог оптимизированных моделей для домашнего использования. Полная свобода, полная приватность, полный контроль.
27 миллиардов параметров с поддержкой MTP-спекулятивного декодирования и мультимодальности (mmproj). Идеальна для текстов, кода и анализа.
Многомодальный проекционный слой для визуального анализа изображений. Работает в паре с основной моделью Qwen3.8-27B.
Специализированный код-ассистент на 9 миллиардов параметров. Генерация, объяснение и отладка кода на множестве языков.
Qwen3.8-27B-GSQ-RCO-IQ3_S-mtp
27 миллиардов параметров • Квантование IQ3_S • MTP draft + Multimodal
🎯 Особенности
MTP Спекулятивное декодирование
Встроенный MTP-модуль (draft-mtp) предсказывает несколько токенов сразу, заметно ускоряя генерацию.
IQ3_S Квантование
GSQ/RCO квантизация: ~12 ГБ на диске при минимальной потере качества по сравнению с оригиналом.
Мультимодальность
Поддержка анализа изображений через mmproj-проектор в паре с основной моделью.
Длинный контекст
Контекстное окно 262 144 токена — достаточно для больших документов и длинных диалогов.
💻 Применение
Текстовый анализ
Глубокий анализ документов, статей, и других текстовых материалов.
Кодирование
Генерация, рефакторинг и объяснение кода на различных языках.
Анализ данных
Интерпретация и выводы из больших массивов данных.
Креативное письмо
Создание контента без ограничений по тематике.
📊 Технические характеристики
| Параметр | Значение |
|---|---|
| Полный размер | 27 миллиардов параметров |
| Квантование | IQ3_S (GSQ-RCO) |
| Размер квантованной модели | ~12 GB |
| Контекст | 262 144 токена |
| Скорость генерации | Высокая (MTP draft) |
mmproj-Qwen3.8-27B-BF16
Многомодальный проекционный слой • Формат BF16
🎨 Особенности
Multi-modal Projection
Проекционный слой для обработки визуальной информации.
Поддержка изображений
Анализ и интерпретация изображений совместно с текстовой моделью.
BF16 Формат
16-битный bfloat16 формат для точной обработки визуальных данных.
Комбинированная работа
Работает в паре с основной моделью Qwen3.8-27B.
🖼️ Применение
Визуальный анализ
Описание изображений, распознавание объектов и сцен.
OCR
Распознавание текста на изображениях с высокой точностью.
Визуальный код
Анализ и генерация кода для работы с изображениями.
Комбинированный AI
Создание мультимодальных приложений локально.
📊 Технические характеристики
| Параметр | Значение |
|---|---|
| Тип | Проекционный слой (Projection) |
| Формат весов | BF16 (16-бит) |
| Размер слоя | ~0.9 GB |
| Требует совместную работу | Да (с основной моделью) |
omnicoder-9b-bf16
Специализированный код-ассистент • 9 миллиардов параметров
💻 Особенности
Код-специализация
Направлена исключительно на программирование и разработку.
bf16 Формат
Бритый 16-битный формат для точной работы с числами.
Множество языков
Поддержка Python, JavaScript, C++, Java, Go, Rust и многих других.
Эффективность
Меньший размер модели при высокой специализации.
🔧 Применение
Генерация кода
Создание кода с нуля по описанию задачи.
Объяснение кода
Детальный разбор и объяснение любого кода.
Отладка
Поиск и исправление ошибок в коде.
Рефакторинг
Оптимизация и улучшение структуры кода.
📊 Поддерживаемые языки
Языки программирования
Python, JavaScript, TypeScript, Java, C++, C#, Go, Rust, PHP, Ruby
Фреймворки
React, Vue, Django, Flask, Spring, FastAPI, Laravel и др.
Системные языки
Shell, Bash, SQL, GraphQL, Terraform, Dockerfile
Технологии
AI/ML, DevOps, Web, Mobile, Embedded, Desktop
📊 Технические характеристики
| Параметр | Значение |
|---|---|
| Полный размер | 9 миллиардов параметров |
| Квантование | bf16 (бритый 16-бит) |
| Размер модели | ~10-12 GB |
| Специализация | Кодирование и разработка |
📊 Сравнение моделей
| Модель | Параметры | Квантование | VRAM | Специализация |
|---|---|---|---|---|
| Qwen3.8-27B | 27B | IQ3_S | ~12 GB | Общая (текст, код, анализ) + MTP |
| mmproj-Qwen3.8-27B | Projection | BF16 (16-bit) | ~1 GB | Визуальный анализ |
| omnicoder-9b | 9B | bf16 (16-bit) | 8-12 GB | Кодирование |
🎯 Когда использовать какую модель?
🧠 Qwen3.8-27B
Для общих задач: анализ документов, креативное письмо, комплексные задачи. MTP-декодирование ускоряет генерацию, контекст 256K токенов.
🎨 mmproj-Qwen3.8-27B
Для мультимодальных задач: анализ изображений, OCR, визуальное понимание контента. Требует совместной работы с основной моделью.
💻 omnicoder-9b
Для разработки: генерация кода, отладка, рефакторинг, изучение кода. Быстрее и эффективнее для задач программирования.
⚡ Производительность
| Метрика | Qwen3.8-27B | mmproj-Qwen3.8-27B | omnicoder-9b |
|---|---|---|---|
| Скорость токенов/сек | ~100 (с MTP) | ~25-30 | ~25-30 |
| Потребление VRAM | Высокое | Среднее | Низкое |
| Точность | Высокая | Средняя | Средняя |
| Общая эффективность | 80% | 75% | 90% |
🖥️ Требования к железу
Рекомендации для запуска локальных LLM моделей
🐌 Слабый ПК
- VRAM: 4-8 GB
- RAM: 16-24 GB
- CPU: 4-6 ядер
- omnicoder-9b (bf16)
- Qwen3.8-27B (IQ3_S, ~12 GB) — только CPU+RAM
- Скорость: низкая
⚡ Средний ПК
- VRAM: 8-12 GB
- RAM: 32 GB
- CPU: 6-8 ядер
- omnicoder-9b (bf16)
- mmproj-Qwen3.8-27B (BF16)
- Qwen3.8-27B (IQ3_S)
- Скорость: средняя
🚀 Сильный ПК
- VRAM: 16-24 GB
- RAM: 32-48 GB
- CPU: 8+ ядер
- Qwen3.8-27B (IQ3_S) + MTP
- mmproj-Qwen3.8-27B (BF16)
- omnicoder-9b (bf16)
- Скорость: высокая
📋 Детальные требования
| Модель | VRAM (GPU) | RAM (CPU) | Рекомендуемая GPU | OS |
|---|---|---|---|---|
| Qwen3.8-27B IQ3_S | 12-16 GB | 32-48 GB | RTX 3080/4070+ или мульти-GPU (split 1,1,1,1) | Win 10/11, Linux |
| mmproj-Qwen3.8-27B BF16 | ~1 GB | 16-24 GB | Любая современная GPU | Win 10/11, Linux |
| omnicoder-9b bf16 | 8-12 GB | 16-24 GB | RTX 3060/3070 | Win 10/11, Linux |
| Qwen3.8-27B + mmproj (совместно) | 14-18 GB | 32-48 GB | RTX 3090/4090 или мульти-GPU | Win 10/11, Linux |
💡 Оптимизация для CPU
Использование CPU
Модели можно запускать на CPU без GPU, но скорость будет значительно ниже. Используйте Q4_K или Q3_K квантование для экономии памяти.
Swap-память
При нехватке VRAM/RAM используйте swap-файл. Это замедлит работу, но позволит запускать модели.
Оптимизированные библиотеки
Используйте llama.cpp, MLX (Apple), или другие оптимизированные движки для лучшей производительности.
🔧 Программное обеспечение
| Компонент | Рекомендуемая версия | Примечание |
|---|---|---|
| Python | 3.10+ | Для большинства инструментов |
| llama.cpp | Latest | Основной движок для CPU/GPU |
| Ollama | Latest | Простой локальный инференс |
| LM Studio | Latest | GUI для локального запуска |
| ComfyUI | Latest | Для мультимодальных задач |
🚀 Параметры запуска модели
Команда запуска (llama-server)
./bin/llama-server \ -m 'models/Qwen3.8-27B-GSQ-RCO-GGUF/Qwen3.8-27B-GSQ-RCO-IQ3_S-mtp.gguf' \ --mmproj 'models/Qwen3.8-27B-GSQ-RCO-GGUF/mmproj-Qwen3.8-27B-BF16.gguf' \ --host 0.0.0.0 \ --port 8080 \ --spec-type draft-mtp \ --spec-draft-n-max 2 \ -ngl 99 \ --split-mode layer \ --tensor-split 1,1,1,1 \ --flash-attn on \ -c 262144 \ --cache-type-k q8_0 \ --cache-type-v q8_0 \ -b 2048 \ -ub 512 \ -t 44 \ -tb 44 \ -np 1 \ --temp 0.5 \ --top-p 0.9 \ --top-k 40 \ --min-p 0.05 \ --repeat-penalty 1.1 \ --repeat-last-n 256 \ --reasoning on \ --no-reasoning-preserve
📊 Анализ производительности железа
На основе анализа логов работы модели Qwen3.8-27B, ваша система демонстрирует выдающиеся показатели:
-
Скорость генерации (Token Generation): Благодаря MTP-спекулятивному декодированию стабильно держится в районе ~100 tokens/s. Это невероятно высокий показатель для модели такого размера, что подтверждает практически полную загрузку видеопамяти (VRAM) и эффективное распределение слоёв между GPU (
--split-mode layer --tensor-split 1,1,1,1). - Скорость обработки промпта (Prompt Processing): Достигает ~780-2200 tokens/s, что обеспечивает мгновенную реакцию модели на длинные входные данные.
-
Конфигурация: Использование 44 потоков и максимального переноса слоев на GPU (
-ngl 99) позволяет выжать максимум из доступного железа.
💡 Итог: Ваше железо идеально подходит для работы с этой моделью, обеспечивая практически мгновенный отклик и высочайшую скорость генерации.