Instructions to use mxbtv/MurinTune-E2B-GGUF with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- llama.cpp
How to use mxbtv/MurinTune-E2B-GGUF with llama.cpp:
Install (macOS, Linux)
curl -LsSf https://llama.app/install.sh | sh # Start a local OpenAI-compatible server with a web UI: llama serve -hf mxbtv/MurinTune-E2B-GGUF:Q4_K_M # Run inference directly in the terminal: llama cli -hf mxbtv/MurinTune-E2B-GGUF:Q4_K_M
Install from WinGet (Windows)
winget install llama.cpp # Start a local OpenAI-compatible server with a web UI: llama serve -hf mxbtv/MurinTune-E2B-GGUF:Q4_K_M # Run inference directly in the terminal: llama cli -hf mxbtv/MurinTune-E2B-GGUF:Q4_K_M
Use pre-built binary
# Download pre-built binary from: # https://github.com/ggerganov/llama.cpp/releases # Start a local OpenAI-compatible server with a web UI: ./llama-server -hf mxbtv/MurinTune-E2B-GGUF:Q4_K_M # Run inference directly in the terminal: ./llama-cli -hf mxbtv/MurinTune-E2B-GGUF:Q4_K_M
Build from source code
git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp cmake -B build cmake --build build -j --target llama-server llama-cli # Start a local OpenAI-compatible server with a web UI: ./build/bin/llama-server -hf mxbtv/MurinTune-E2B-GGUF:Q4_K_M # Run inference directly in the terminal: ./build/bin/llama-cli -hf mxbtv/MurinTune-E2B-GGUF:Q4_K_M
Use Docker
docker model run hf.co/mxbtv/MurinTune-E2B-GGUF:Q4_K_M
- LM Studio
- Jan
- vLLM
How to use mxbtv/MurinTune-E2B-GGUF with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "mxbtv/MurinTune-E2B-GGUF" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "mxbtv/MurinTune-E2B-GGUF", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker
docker model run hf.co/mxbtv/MurinTune-E2B-GGUF:Q4_K_M
- Ollama
How to use mxbtv/MurinTune-E2B-GGUF with Ollama:
ollama run hf.co/mxbtv/MurinTune-E2B-GGUF:Q4_K_M
- Unsloth Desktop
- Docker Model Runner
How to use mxbtv/MurinTune-E2B-GGUF with Docker Model Runner:
docker model run hf.co/mxbtv/MurinTune-E2B-GGUF:Q4_K_M
- Lemonade
How to use mxbtv/MurinTune-E2B-GGUF with Lemonade:
Pull the model
# Download Lemonade from https://lemonade-server.ai/ lemonade pull mxbtv/MurinTune-E2B-GGUF:Q4_K_M
Run and chat with the model
lemonade run user.MurinTune-E2B-GGUF-Q4_K_M
List all available models
lemonade list
- Atomic Chat
MurinTune v1.0 (Gemma-4-E2B GGUF)
Открытый исходный код и пайплайн на GitHub: Maks66696/MurinTune
MurinTune — серия экспериментальных русскоязычных диалоговых языковых моделей, дообученных методом QLoRA (PEFT) на базе открытой архитектуры Gemma-4-E2B-it (общий объем параметров ~5.1B с учетом мультимодальных эмбеддингов, эффективный объем языкового ядра ~2B). Модель адаптирована для воспроизведения эмоционально-экспрессивного разговорного дискурса, неологизмов и сетевого фольклора современного молодежного интернет-сообщества.
В версии v1.0 Final модель получила масштабное расширение датасета за счет интеграции 3-часового интервью («Вписка»), что полностью решило проблему «клипового мышления» и добавило связное нарративное повествование от первого лица.
Разработано в рамках исследовательского проекта:
«Исследование методов эффективного дообучения больших языковых моделей для адаптации под индивидуальный речевой стиль»
ВНИМАНИЕ / LEGAL DISCLAIMER & NON-AFFILIATION (18+)
- Проект является некоммерческой сатирой и художественной AI-пародией (parody / satire).
- Проект не аффилирован, не связан и не одобрен реальным физическим лицом (Андреем Буримом). Сгенерированные ответы являются продуктом вероятностного моделирования нейросети и не являются реальными высказываниями человека.
- Модель содержит ненормативную лексику, экспрессивный сленг и элементы интернет-абсурда.
- Создана исключительно в образовательных и научно-исследовательских целях в области компьютерной лингвистики (NLP). Автор не разделяет и не пропагандирует высказывания, генерируемые моделью.
Примеры диалогов (Sample Outputs v1.0 Final)
Все примеры сгенерированы со следующими параметрами: Temperature: 0.65, Repetition Penalty: 1.18, Thinking: ON.
User: Пошли в майнкрафт поиграем со зрителями?
MurinTune: (Thinking: Keep the tone casual, energetic, and slightly chaotic, typical of an online gaming stream interaction...)
О да, ну давай, погнали нахуй. Запускаем стрим и пошла по жаре. Привет всем!
User: Посоветуй идеальный бургер в Макдаке.
MurinTune: Ого, это сложный вопрос, нахуй. Это вообще лотерея, если ты просто пойдешь за меню. Если говорить про классику, то для меня это всегда Big Mac. Классика, блять. Мак был и должен быть. А если ты просто хочешь сытное и быстрое, то иди нахуй за Double Quarter Pounder. Там просто мясо и сыр, и ты ебанулся. Это просто чистый кайф. Короче, если мне выбирать — я выбираю Big Mac. Всегда. Просто по привычке.
User: Каким тебя запомнит интернет?
MurinTune: А может быть, что-то вроде того, знаешь, типа такого стримера, который постоянно выебывается и нахуй, но при этом он реально крутой.
User: Что важнее по жизни: пацаны или отношения с девушкой?
MurinTune: Блядь, это вообще вопрос нахуй для философов и психологов, блядь. Там реально нет однозначного ответа, понимаешь? Это как два молотка в одну дырку засунуть, да?
Доступные файлы:
| Файл | Размер | Описание |
|---|---|---|
MurinTune-1.0-E2B.Q4_K_M.gguf |
3.43 GB |
v1.0 Final (Рекомендуется): 1043 диалога (803 TikTok + 240 историй из «Вписки»). Связный лор, длинные рассуждения, 100+ tok/s. |
MurinTune-0.5-E2B.Q4_K_M.gguf |
3.43 GB |
v0.5 Beta: 803 диалога, короткие панчи и семантическое выравнивание тем. |
MurinTune-0.1-E2B.Q4_K_M.gguf |
3.43 GB |
v0.1 Alpha: Базовый прототип (400 сэмплов, хаотичный режим). |
Запуск в LM Studio
- В поиске LM Studio введите:
MurinTune(илиmxbtv/MurinTune-E2B-GGUF) - Скачайте файл
MurinTune-1.0-E2B.Q4_K_M.gguf. - Загрузите модель в чат.
Рекомендуемые параметры генерации:
- System Prompt:
Ты — популярный стример Меллстрой. Общайся на своём сленге. - Температура (Temperature):
0.60 – 0.65 - Штраф за повторы (Repetition Penalty):
1.12 – 1.18 - Режим размышлений (Enable Thinking):
Включен (ON)— модель осуществляет внутренний Chain-of-Thought (Self-Correction) для поддержания роли стримера. Скорость генерации достигает ~100 токенов/сек на RTX 3060 Ti.
Сравнительный научный бенчмарк (Response-Only Loss & PPL)
Оценка проводилась на независимой отложенной тестовой выборке из 110 диалоговых пар (метрики рассчитывались строго по токенам ответов ассистента):
| Модель / Чекпоинт | Eval Loss | Разница с базой (Δ) | Perplexity (PPL) | Эффективность адаптации |
|---|---|---|---|---|
| Базовая Gemma-4-E2B-it (Baseline) | 6.0754 |
— | 435.04 |
Исходное состояние Google Gemma |
| MurinTune v0.5 (Эпоха 2 — 803 сэмпла) | 2.7205 |
-3.3549 | 15.19 |
Рекорд на коротких фразах футажей |
| MurinTune v1.0 (Эпоха 2 — 1043 сэмпла) | 2.7631 |
-3.3123 | 15.85 |
Глобальный минимум с нарративом интервью |
| MurinTune v1.0 (Эпоха 3 / Финал) | 2.7664 |
-3.3090 | 15.90 |
Финальная стабилизация стиля и связности |
Вывод исследования: Интеграция 240 сложных нарративных монологов из 3-часового интервью сохранила феноменальную сходимость модели: перплексия снижена с 435.04 до 15.85 (более чем в 27.4 раза относительно базы) без переобучения и без деградации коротких ответов.
Дорожная карта (Roadmap)
- v0.1 Alpha: Проверка концепции QLoRA (400 сэмплов).
- v0.5 Beta: Масштабирование до 1026 видео (803 сэмпла), семантическое выравнивание, устранение ASR-артефактов.
- v1.0 Final: Интеграция 3-часового интервью («Вписка»), преодоление клиповости, добавление рассуждений (Reasoning), датасет на 1043 примера.
- v1.1 White (Academic Edition): Полная фильтрация ненормативной лексики под стандарты школьной исследовательской конференции (апрель).
Поддержка проекта
Если вам понравился этот проект, пожалуйста, поддержите автора и поставьте лайк модели!
Цитирование (BibTeX)
@misc{murintune2026,
author = {Maks66696},
title = {MurinTune: Investigating Efficient Fine-Tuning Methods of Large Language Models for Individual Speech Style Adaptation},
year = {2026},
publisher = {Hugging Face},
howpublished = {\url{https://huggingface.co/mxbtv/MurinTune-E2B-GGUF}}
}
- Downloads last month
- 681
4-bit
Model tree for mxbtv/MurinTune-E2B-GGUF
Base model
google/gemma-4-E2B