БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards
• Risu: https://risuai.xyz/ | https://rentry.org/ox5cw9p8
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
• GLM: https://docs.z.ai
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://aicg.neocities.org/botmaking
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 | https://rentry.org/2chaicgtavernbots4
• Бургерские боты: https://aicg.neocities.org/bots
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• OpenRouter: https://openrouter.ai/
• Арена: https://lmarena.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
Мета
• Шаблон шапки: https://rentry.org/aicg_shapka
Прошлый тред: >>1638710 (OP)
Пропущено 498 постов, 53 с картинками.
Обмена моделями тред. Первый. Экспериментальный. Под БАЗУ нейрогенерации уже созданы номерные треды
Аноним
06/01/23 Птн 16:00:02
№
Ответ
Под БАЗУ нейрогенерации уже созданы номерные треды SD и WD+NAI. Меж тем, это всего несколько моделей, тогда как только на Фэйсе их более 112 тысяч.
Этот тред для тех, кто копнул хоть немного глубже: необязательно до уровня обскурщины, выпиленной даже из даркнета, а просто за пределами того, что удостоилось своих тредов.
ИТТ делимся находками и произведенными результатами.
Собственно, главный ресурс для поиска:
https://huggingface.co/models
Пропущено 224 постов, 57 с картинками.
Чел, бля, я тебе ответил в другом треде >>1639411 →
Галлюцинации нейрослопа не слушай.
1. Suno
https://suno.com/
Вышла версия 5.5 (но для тех кто платит денюшку), качество моделей постепенно улучшается: звук, понимание концепций, набора различных жанров. Но в то же время все сильнее урезается для бесплатных юзеров: осталось только 5 бесплатных генераций в день на аккаунт, а также по заявлением некоторых анонов, модель для генерации на бесплатке (на момент создания треда использовалась 4.5) ухудшили. Спам аккаунтами пока что работает.
Купить подписку из РФ:
1. https://payment.mts.ru/tools/suno-ai
2. https://plati.market/games/suno-ai/1701/
2. Tunee
https://www.tunee.ai
Хороший звук, более-менее понимание концептов, но тоже сильно урезан для бесплатных юзеров: режет концепты в промптах, плюс произвольно определяет "цену" за каждую генерация исходя из какой-то "сложности запроса". И получается, что если с бесплатки забацаешь промпт сложнее банальщины "Make cool rock about love for youtube" он может решить что у тебя нет кредитов для такого сложного запроса и пошлет нахуй. Способов оплаты из РФ неизвестно.
3. Sonauto
https://sonauto.ai/
Как по мне, недооценённая вещь, особенно учитывая что недавно он обновился до 3.0, который очень даже разъебывает. Но он тут более ограничен тегам и понимает чисто какие-то жанровые теги, гибкости поменьше. Но зато пока что халявный и не ограничен кредитами, генерируй пока есть настроение.
4. Другие сервисы, которые можно попробовать, но сам много про них сказать не могу
https://www.wondera.ai/
https://www.beatoven.ai/
https://stableaudio.com/
https://www.loudly.com/music/ai-music-generator
https://www.elevenlabs.io
ЛОКАЛЬНЫЕ ГЕНЕРАТОРЫ
Потихоньку развиваются, стоит внимания ACE-STEP 1.5:
https://github.com/ace-step/ACE-Step-1.5
Звук уже на уровне раннего Suno ~2.0-3.0, аноны делают на нем уже приемлемые результаты и постят в тред. Если есть хотя бы 12 GB VRAM и хочется генерировать без цензуры и подписок - можете юзать.
МЁРТВЫЕ ГЕНЕРАТОРЫ
1. Udio (udio.com) - куплен Warner Bros, но затем сами Warner Bros сдали назад и откатили сделку. Но уже успели испортить, больше нельзя скачивать треки, их только доставать из буфера в 160 кбит/с. Плюс непонятно как работающая цензура, которая не дает генерировать треки с определенными тегами. Плюс уже год ебут один и тот же 1.5 allegro.
2. Riffusion, Producer.ai (producer.ai) - куплен гуглом, удалены все старые относительно норм модели, вместо этого запихали безальтернативную каловую модель, которая и промпты сложнее самых нормисных в духе "make cool rock about love" не понимает, и вокал смазывает в какую-то кашу. При этом еще и максимально дегенеративная цензура, которая режет чуть ли не любые попытки сделать просто что-то не попсовое и не "музыку для ютуб".
ПРОЧИЕ ПОЛЕЗНЫЕ УТИЛИТЫ
1. https://www.bandlab.com/mastering
Быстрый мастеринг в две кнопки, если хочешь чтобы звучало более слушабельно, но не имеешь навыков в DAW или аудиоредакторах (или лень).
2. https://morpher.ru/accentizer/
Если генерируешь музыку с лириками на русском, то очень часто случается, что твой генератор путает ударения в словах. Прежде чем пихать свою графоманию в генератор, проставь ударения в сервисе по ссылке. И уже из этого сервиса копируй текст в генератор. По крайней мере в Suno это помогает.
Прошлый тред тонет тут:
>>1601065 (OP)
Пропущено 596 постов, 305 с картинками.
>>1653724 (OP)
>>1653724 (OP)
>>1653724 (OP)
>>1653724 (OP)
Перекатил как умел. можете пинать.
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №244 /llama/
Аноним
24/06/26 Срд 20:17:40
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen
• TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Дополнительные ссылки:
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1636327 (OP)
>>1633496 (OP)
Пропущено 501 постов, 75 с картинками.
>Методичку смени, не позорься. Это уже к 2010-му было устаревшим, касательно "рядовых задач".
А как тебе рядовая задача запустить исполняемый файл даблкликом, без доп пердолинга? А запустить приложение от имени администратора? А сменить права с root:root на пользовательские? Это когда я смогу без консольки сделать? У меня на 3 устройствах Линукс с гуём, причем разным, и нигде это не делается через гуй. И это я не говорю про установку приложений из deb даблкликом, где запустив установку ты даже не сможешь понять прошла ли она успешно или обосралась в процессе. Хочешь увидеть ошибку, эджой sudo apt install ./wishmaster.deb. Ну и самая мякотка это настройка прав в целом, очень юзерфрендли. И да, я вполне могу пользоваться консольной, я и на работе только с линуксом работаю и дома у меня 2 сервера, но у меня язык не повернется сказать что Линукс это хоть в какой-то мере удобный для простого пользователя дистрибутив.
>А запустить приложение от имени администратора?
Спермокостыль. Когда приложению нужны права администратора, оно показывает окошко для ввода пароля.
>А сменить права с root:root на пользовательские?
Проблема пользователей спермокостылей. Поназапускают всякого говна от рута, а потом вилкой хомяк чистят.
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards
• Risu: https://risuai.xyz/ | https://rentry.org/ox5cw9p8
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
• GLM: https://docs.z.ai
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://aicg.neocities.org/botmaking
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 | https://rentry.org/2chaicgtavernbots4
• Бургерские боты: https://aicg.neocities.org/bots
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• OpenRouter: https://openrouter.ai/
• Арена: https://lmarena.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
Мета
• Шаблон шапки: https://rentry.org/aicg_shapka
Прошлый тред: >>1636370 (OP)
Пропущено 502 постов, 70 с картинками.
Ассистент, который к поиску прикручен? Если да, то там 3.1 FLASH
ЧТО НОВОГО АКТУАЛЬНОГО
• Krea 2
• Ideogram 4.0
• FLUX.2 klein (4b и 9b)
• Z-Image
• Flux 2
• Qwen Image / Qwen Image Edit
• Лора Lightning и Turbo для быстрой генерации за несколько шагов.
База:
→ Приложение ComfyUI https://comfy.org/
→ Примеры https://comfyui-wiki.com/ru (откуда, куда, как)
→ Модели https://civitai.red/
► Предыдущий тред >>1635170 (OP) ► https://arhivach.hk/?tags=13840
Дополнительно: https://telegra.ph/Stable-Diffusion-tred-X-01-03
Пропущено 545 постов, 215 с картинками.
> почему ты деда сгенерил
у него жена просто иногда смотрит, и он не может женщин генерить часто
ПЕ
>>1642323 (OP)
РЕ
>>1642323 (OP)
КАТ
>>1642323 (OP)
Терпи. И беги в Cumogram 4.0, чтобы перебить запах нафталина. Я вам ещё много такого принесу, чтобы разбавить однотипный 1girl-сблёв.
Залетай и будь в курсе самых последних событий и достижений в этой области!
Прошлый тред: >>1628055 (OP)
Активно репортите все нерелейтед посты кнопкой на сообщениях. Этот тред только про ИИ новости, не позволим троллям загаживать тред шитпостом и бесконечным словоблудием.
🚀 Последний обзор ИИ новостей:
📰 Главные новости ИИ
Предупреждения Anthropic о безопасности могли обернуться против них самих — правительство остановило работу их самого мощного ИИ
Anthropic заявляет, что отключает Claude Fable 5 для выполнения приказа правительства США
Директива США по экспортному контролю приостанавливает доступ иностранных граждан к Fable 5 и Mythos 5
⚠ Безопасность ИИ
SafeBreach раскрывает промпт-инъекцию в голосовом помощнике Gemini через уведомления
Google подает в суд на китайскую киберпреступную группировку, использовавшую ИИ для мошенничества в отношении «сотен тысяч жертв»
Канадская мать подает в суд на OpenAI, утверждая, что ChatGPT подтолкнул ее дочь к самоубийству
🧠 Модели
MiniMax выпускает мультимодальную модель M3 с открытыми весами и контекстом в 1 млн
Claude Fable 5 от Anthropic стоит вдвое дороже, обеспечивая лишь на 5,7 процента большую производительность
Google выпускает Gemini-SQL2: модель Gemini 3.1 Pro для преобразования текста в SQL набирает 80,04% в рейтинге одиночных моделей BIRD.
🔓 Открытый исходный код
Moonshot AI открывает исходный код модели для программирования Kimi K2.7 Code с триллионом параметров
Z.ai запускает GLM-5.2 с окном контекста в 1 миллион токенов в преддверии релиза на следующей неделе с лицензией MIT
⚖ Регулирование
Мужчина подает в суд на правоохранительные органы, утверждая, что технология распознавания лиц на базе ИИ привела к его незаконному аресту.
🧪 Исследования
Исследование Nature Medicine показывает, что LLM общего назначения превосходят специализированный клинический ИИ на медицинских бенчмарках, причем Gemini 3.1 Pro достигает 97,4 процента
🤖 Робототехника
Данные из Pokémon Go использовались для обучения ИИ, который может помогать военным дронам в зонах боевых действий
🧰 Инструменты
Новый инструмент Deezer может распознавать музыку, созданную ИИ, в Spotify, Apple Music и других сервисах
🏭 Компании
Согласно судебному иску, компания xAI Илона Маска уволила инженера за то, что он выразил обеспокоенность по поводу чат-бота Grok
💰 Бизнес
OpenAI объединяется с Visa для обеспечения безопасных платежей через ИИ-агентов
💰 Финансирование
После масштабного IPO SpaceX финансовое будущее американцев будет неразрывно связано с ИИ.
NEURA Robotics привлекает рекордные 1,4 миллиарда долларов в раунде серии C под руководством Tether для создания «экономики машин»
🔎 Мнение и анализ
В Google DeepMind обеспокоены тем, что произойдет, когда миллионы агентов начнут взаимодействовать друг с другом
Эндрю Карран утверждает, что рекурсивное самоусовершенствование позволит правительству США национализировать ИИ-лаборатории и управлять ими без участия человеческого персонала. Исследователь Андреас Кирш предупреждает, что это лишит нас человеческих информаторов.
Сообщается, что Google скрывает продвинутую внутреннюю ИИ-модель, поскольку огромные затраты на инференс делают ее коммерчески нецелесообразной. Бефф (e/acc) утверждает, что финансовые ограничения приведут к тому, что взлетное развитие ИИ выйдет на плато.
Дели Чэнь из DeepSeek утверждает, что продвинутые модели ИИ эволюционируют в дешевые и повсеместно доступные общественные блага, подобные электричеству и водоснабжению
Генеральный директор Apollo Research Мариус Хобхан утверждает, что прогресс в области ИИ за последние 12 месяцев будет самым медленным в дальнейшем
Сооснователь Hugging Face Томас Вульф утверждает, что ИИ с открытым исходным кодом необходим для устойчивости цивилизации перед лицом одностороннего корпоративного контроля над AGI
Пропущено 503 постов, 182 с картинками.
Продолжаем продолжать в треде с новостным ботом.
Или пора делится?
>>1641475 (OP)
>>1641475 (OP)
>>1641475 (OP)
С чего начать:
• Хочешь кодить с AI эффективно: Cursor или Claude Code
• Хочешь кодить в VS Code без привязки к конкретному провайдеру: Kilo Code, Cline или Roo Code + OpenRouter
• Хочешь кодить с AI локально: OpenCode, Qwen Code или Pi Coding Agent + из моделей аноны советуют Qwen3.6, подробности в llama-треде
• Хочешь приложение без кода: Lovable или bolt.new
• Хочешь автоматизировать рутину: n8n или Langflow
• Хочешь персонального ассистента: OpenClaw + API корпов или локальная модель на твоей пеке
FAQ и расширенная инфа:
https://rentry.org/2ch-agents-faq
IDE с AI:
• Cursor: https://cursor.com
• Windsurf: https://windsurf.com
• Antigravity: https://antigravity.google.com
• Zed: https://zed.dev
CLI-агенты:
• Claude Code: https://code.claude.com/docs
• Codex (OpenAI): https://github.com/openai/codex
• Pi: https://shittycodingagent.ai/
• OpenCode: https://github.com/anomalyco/opencode
• Qwen Code: https://github.com/QwenLM/qwen-code
• Gemini CLI: https://github.com/google-gemini/gemini-cli
• Kimi Code: https://www.kimi.com/code/en
• MiMo Code (Xiaomi): https://mimo.xiaomi.com/mimocode/start
Плагины для IDE:
• Kilo Code: https://kilo.ai
• Cline: https://github.com/cline/cline
• Roo Code: https://github.com/RooCodeInc/Roo-Code
• GitHub Copilot: https://github.com/features/copilot
• Continue: https://github.com/continuedev/continue
Вайб-кодинг без кода:
• Lovable: https://lovable.dev
• bolt.new: https://bolt.new
• v0: https://v0.dev
Персональные ассистенты:
• OpenClaw: https://github.com/openclaw/openclaw
• NemoClaw: https://github.com/NVIDIA/NemoClaw
• Hermes Agent: https://github.com/nousresearch/hermes-agent
• nanobot: https://github.com/HKUDS/nanobot
• PicoClaw: https://github.com/sipeed/picoclaw
Автоматизация и фреймворки:
• n8n: https://github.com/n8n-io/n8n
• Langflow: https://github.com/langflow-ai/langflow
• LangChain/LangGraph: https://github.com/langchain-ai/langchain
• CrewAI: https://github.com/crewAIInc/crewAI
• AutoGen: https://github.com/microsoft/autogen
• Agno: https://docs.agno.com/
Полезные тулзы:
• RTK: https://github.com/rtk-ai/rtk - CLI-прокси, сжимает вывод консольных команд перед попаданием в контекст агента
• Caveman: https://github.com/juliusbrussee/caveman - скилл с набором слэш-комманд, заставляет агента отвечать кратко
• ast-grep: https://github.com/ast-grep/ast-grep - структурный поиск/замена по AST, экономит токены агента при рефакторинге
Локалки и прочее API:
• OpenRouter: https://openrouter.ai
• NVIDIA Build: https://build.nvidia.com/models - бесплатно, 40 RPM, OAI-Like API, 100+ моделей включая DeepSeek/GLM/MiniMax
• OpenCode Zen: https://opencode.ai/zen - кодинг-модели, есть временно-бесплатные (DeepSeek V4 Flash, MiMo) + pay-as-you-go без наценки
• llama-тред: >>1633496 (OP)
Шаблон для переката: https://rentry.co/2ch-agents
Предыдущий тред: >>1630231 (OP)
Пропущено 555 постов, 91 с картинками.
Скорее всего его дрочили писать комменты в первую очередь для самого себя, чтобы тупить поменьше. Либо с джава-тырпрайза протекло, где такой аутизм принят.
Попроси комменты только на английском, запрети комментировать самоочевидный код. Исключения - хаки, сайд-эффекты, слишком сложные функции итп. Должно стать поменьше.
Все инидивидуально. Могу сказать как делаю я.
Дипсик удалил тебе нужное спроси почему удалил, потом просишь составить промт чтобы нужное не трогать, либо просишь его писать то что тебе надо. Сохраняешь в промт.
Потом на чистом контексте проверяешь промт, просишь указать есть ли логически ошибки, места где будут проблемы выбора.
Далее на новом контексте даешь промт просишь сделать что надо, смотришь на результат, если делает что надо ок, если не делает повторяешь итерацию.
Если совсем не хочет следовать промту, либо промт режешь либо разбиваешь на разные промты, либо сжимаешь(он сам сожмет) либо решаешь задачу по другому.
Если его тыкать в ошибки и спрашивать он признается, что промт сложный и он теряет контекст, и дает советы что можно с этим сделать, иногда они дают толк иногда нет.
Мой первый опыт, сильно не пинайте. Интересно, есть такие же, кто этим занимается?
Пропущено 9 постов, 6 с картинками.
Ксеноморф: "Хрр. Ага. Варпнулись прямо в атмосферу и пошли ниже радаров. Профи, мать их так"
Человек: "Думаешь, они прорвутся?"
Ксеноморф: "Хрр... Всегда пытаются. И каждый раз удивляются, когда мы их за жопу ловим."
Яутжа — что их сбили советские пограничники, потому что не стоило пытаться сунуться туда на охоту.
Люди — что нет смысла поднимать шум и устраивать суд, потому что в итоге всё закончилось относительно мирно.
Ксеноморфы — даже они понимают, что для того, чтобы в конечном итоге построить мир, необходимо создать стабильную систему. Не на насилии, а на строгом соблюдении границ друг друга и взаимном уважении.
Поэтому всем было гораздо проще притвориться, что это была неожиданная техническая авария на корабле во время хлорного шторма.
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №243 /llama/
Аноним
19/06/26 Птн 19:52:46
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen
• TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Дополнительные ссылки:
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1633496 (OP)
>>1630186 (OP)
Пропущено 500 постов, 63 с картинками.
Поздравляю, ты запилил 10% функционала letta https://github.com/letta-ai/letta
А мог бы просто скачать и развернуть за 5 минут, даже на винде
>>1639857 (OP)
ПЕРЕКАТ
>>1639857 (OP)
ПЕРЕКАТ
>>1639857 (OP)
Я таким страдаю периодически. Мой рецепт - opencode как фронт, в качестве модели - тюн какой-либо квена 3.6 27B в q4. На текущий момент - Melody1437 V4, до того Marvin гонял. (Moe гемма - не тянет литературного агента даже в Q8, Плотную 31B не пробовал - в 20 VRAM который был не влазила). А с плотным квеном в opencode можно обсудить сюжет, дать ему команду написать сцену по сценарию, вести диз-док с лором рассказа, поменять то-то и то-то, провести анализ на логические косяки, исправить ошибки... В общем - прямо таки работа с соавтором, в том числе интерактивная.
Правда в сети opencode тебе просто так искать не будет, но по локально сваленным в каталог файлам инфу найти и использовать - это пожалуйста.
ЧТО НОВОГО АКТУАЛЬНОГО
• Boogu-Image
• Ideogram 4.0
• FLUX.2 klein (4b и 9b)
• Z-Image
• Flux 2
• Qwen Image / Qwen Image Edit
• Лора Lightning и Turbo для быстрой генерации за несколько шагов.
База:
→ Приложение ComfyUI https://comfy.org/
→ Примеры https://comfyui-wiki.com/ru (откуда, куда, как)
→ Модели https://civitai.red/
► Предыдущий тред >>1629238 (OP) ► https://arhivach.hk/?tags=13840
Дополнительно: https://telegra.ph/Stable-Diffusion-tred-X-01-03
Пропущено 558 постов, 189 с картинками.
Без лор в Зетке Турбо еще и FP8 + Qwen 4b FP8, структурным промтом, два перса уже жирна, с Патриком выше все 3 но там баба на лицо плохо вышла.
Нужно дублировать в промте: Перс + Внешка Актера
>Без лор в Зетке Турбо
в зетке селебы существуют в виде картонных Lifesize celebrity standee, заставить эту блядину повиноваться промту это сущий пиздец. Возьми лучше лору Уолта, если есть откуда. У malcolmrey его нет сейчас, клянусь он там был раньше. Если где найдёшь, маякни я увижу... на архивах его тоже нет.
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards
• Risu: https://risuai.xyz/ | https://rentry.org/ox5cw9p8
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
• GLM: https://docs.z.ai
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://aicg.neocities.org/botmaking
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 | https://rentry.org/2chaicgtavernbots4
• Бургерские боты: https://aicg.neocities.org/bots
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• OpenRouter: https://openrouter.ai/
• Арена: https://lmarena.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
Мета
• Шаблон шапки: https://rentry.org/aicg_shapka
Прошлый тред: >>1633384 (OP)
Пропущено 504 постов, 63 с картинками.
У кого есть у тех есть. Ты че думал что во времена дума тебе тут на ложечке выложат? Или что тебя с распростертыми объятиями примут? Нет конечно. Наоборот огородятся и тапками погонят потому что такой массовый наплыв = скорая смерть ключей для всех и так терпильных.
ProofWrite AI — tool for making AI-generated text sound more natural /ai/
Аноним
21/06/26 Вск 08:31:30
№
Ответ
It helps turn AI-generated drafts into clearer, more natural writing. The main use cases are humanizing AI text, improving readability, polishing tone, and checking writing quality before publishing.
Website:
https://proofwrite.ai
It can be useful for students, bloggers, SEO writers, marketers, and anyone who uses AI writing tools but wants the final text to sound less robotic.
Main features:
- Humanizes AI-generated text
- Improves readability and tone
- Rewrites awkward sentences
- Helps polish essays, blog posts, SEO content, and marketing copy
- Keeps the original meaning while making the text feel more natural
Пропущено 1 постов, 2 с картинками.
Копай в сторону локальных uncensored моделей. Или узнай, что такое облитерация.
Kobold.cpp - локальная модель, можешь выбрать персонажа, создать своего или скачать готового.
Как вариант - запариться с makemodel в ollama.
Крутяк, Kobold.cpp то что надо! Взяв модель saiga_llama3_8b_gguf, выствив режим чата, ограничив ответ до 200 токенов и, самое главное, скопировав текст описания и характеристик персонажа Юи из Алисы AI, получил требуемый результат, спасибо!
ОП
Мне легко далась ollama для языковых, media pipe и yolo для зрения. Для меня оказалось на 4060ti 8gb лучше всего поэкспериментировать с компьютерным зрением или генерацией изображений через comfy ui.
В firefox поставил расширение, которое вызывает локального ai-ассистента через ollama, пользуюсь как переводчиком и суммаризатором, модель от яндекса.
Использую разные модели через llama.cpp для разных целей, например, генерация кода (локальные справляются на среднем уровне). На работе использую для вайбкодинга qwen3.6 в llama.cpp + opencode.
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышел Claude Fable 5 - https://www.anthropic.com/claude/fable
• Вышел Claude Opus 4.8 - https://www.anthropic.com/news/claude-opus-4-8
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards
• Risu: https://risuai.xyz/ | https://rentry.org/ox5cw9p8
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
• GLM: https://docs.z.ai
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://aicg.neocities.org/botmaking
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 | https://rentry.org/2chaicgtavernbots4
• Бургерские боты: https://aicg.neocities.org/bots
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• OpenRouter: https://openrouter.ai/
• Арена: https://lmarena.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
Мета
• Шаблон шапки: https://rentry.org/aicg_shapka
Прошлый тред: >>1631386 (OP)
Пропущено 498 постов, 43 с картинками.
Спасибо вам за ваши логи. Теперь мы закрываем вам доступ, больше вы нам не нужны.
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №242 /llama/
Аноним
15/06/26 Пнд 20:19:40
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen
• TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Дополнительные ссылки:
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1630186 (OP)
>>1628031 (OP)
Пропущено 498 постов, 76 с картинками.
Возможно и дописать код для добавления множества апи и чего угодно, на какой ценой. Если желаешь сочинять и создавать свое - лучше быстрее мигрировать с костылей на запил своего интерфейса. Пи - тема, прямо там можно приятную вебмордочку навайбкодить, где будут и все твои статусы, отношения и прочее, чтобы не в самом терминале сидеть.
> она точно опишет и саму сцену правильно
Там свои нюансы с этим есть. Полноценный запрос на промптинг или выбор задника довольно объемный и будет отвлекать. Когда все накопится, залетит история, суммари, изменения, кум, иммерсивные блоки -получишь в основном тексте рофлы уровня "чар, взглянув на сцену из ранее сгенерированного промпта", "перейдя в уже созданную локацию `forest treehouse fireworks air baloons (by kallmeflocc)`", и подобное.
Когда все в одном запросе, помимо прочих побочек требуется менеджить контекст, подчищая все лишние вызовы из прошлых сообщений, или мириться с разрастанием контекста больше чем с preserve_thinking и лишним отвлечением. Но для этого интеграция всех параметров должна быть очень глубокой, иначе все упадет при бранче, удалении сообщений, редактировании.
> настолько кривые промпты
Дефолтные промпты на помойку, свои написать. А по моделям - флюкс, квенимаж, идеограмм в помощь. Они, кстати, и просто задники приличные делают, раньше генерил анимой, сейчас на них переключился. Вот для иллюстраций в куме уже анима незаменима.
> Хз зачем это в текстовой визуальной новелле-рпг
За тем же что и больше тысячи персонажей. На самом деле штука довольно рофловая и интересная. Очень сырое, но есть потенциал и действительно что-то новое. Самое привлекательное наверно то, что можно оформить условно бесшовный переход из обычного рп туда, настроив "общие чаты" и подмахнув саммари, а потом вернуться обратно с результатом.
> это ванильный функционал таверны
По дефолту сгенерированные туда не добавляются, а из информации для выбора только имена уровня `__transparent`, `_black`, `_white`, `bedroom clean`, `bedroom cyberpunk`, `bedroom red`, `bedroom tatami`, `cityscape postapoc`... вместо системы тегов и описаний.
Хз, врядли это все как-то изменит твое мнение. Но более менее освоив оба интерфейса, даже со всеми компромиссами, проводить основной рп в таверне вообще не хочется. Юскейсы еще остаются, но меньше.
>>1636327 (OP)
ПЕРЕКАТ
>>1636327 (OP)
ПЕРЕКАТ
>>1636327 (OP)
С чего начать:
• Хочешь кодить с AI эффективно: Cursor или Claude Code
• Хочешь кодить в VS Code без привязки к конкретному провайдеру: Kilo Code, Cline или Roo Code + OpenRouter
• Хочешь кодить с AI локально: OpenCode, Qwen Code или Pi Coding Agent + из моделей аноны советуют Qwen3.6, подробности в llama-треде
• Хочешь приложение без кода: Lovable или bolt.new
• Хочешь автоматизировать рутину: n8n или Langflow
• Хочешь персонального ассистента: OpenClaw + API корпов или локальная модель на твоей пеке
FAQ и расширенная инфа:
https://rentry.org/2ch-agents-faq
IDE с AI:
• Cursor: https://cursor.com
• Windsurf: https://windsurf.com
• Antigravity: https://antigravity.google.com
• Zed: https://zed.dev
CLI-агенты:
• Claude Code: https://code.claude.com/docs
• Codex (OpenAI): https://github.com/openai/codex
• Pi: https://shittycodingagent.ai/
• OpenCode: https://github.com/anomalyco/opencode
• Qwen Code: https://github.com/QwenLM/qwen-code
• Gemini CLI: https://github.com/google-gemini/gemini-cli
• Kimi Code: https://www.kimi.com/code/en
• MiMo Code (Xiaomi): https://mimo.xiaomi.com/mimocode/start
Плагины для IDE:
• Kilo Code: https://kilo.ai
• Cline: https://github.com/cline/cline
• Roo Code: https://github.com/RooCodeInc/Roo-Code
• GitHub Copilot: https://github.com/features/copilot
• Continue: https://github.com/continuedev/continue
Вайб-кодинг без кода:
• Lovable: https://lovable.dev
• bolt.new: https://bolt.new
• v0: https://v0.dev
Персональные ассистенты:
• OpenClaw: https://github.com/openclaw/openclaw
• NemoClaw: https://github.com/NVIDIA/NemoClaw
• Hermes Agent: https://github.com/nousresearch/hermes-agent
• nanobot: https://github.com/HKUDS/nanobot
• PicoClaw: https://github.com/sipeed/picoclaw
Автоматизация и фреймворки:
• n8n: https://github.com/n8n-io/n8n
• Langflow: https://github.com/langflow-ai/langflow
• LangChain/LangGraph: https://github.com/langchain-ai/langchain
• CrewAI: https://github.com/crewAIInc/crewAI
• AutoGen: https://github.com/microsoft/autogen
• Agno: https://docs.agno.com/
Полезные тулзы:
• RTK: https://github.com/rtk-ai/rtk - CLI-прокси, сжимает вывод консольных команд перед попаданием в контекст агента
• Caveman: https://github.com/juliusbrussee/caveman - скилл с набором слэш-комманд, заставляет агента отвечать кратко
Локалки и прочее API:
• OpenRouter: https://openrouter.ai
• NVIDIA Build: https://build.nvidia.com/models - бесплатно, 40 RPM, OAI-Like API, 100+ моделей включая DeepSeek/GLM/MiniMax
• llama-тред: >>1630186 (OP)
Шаблон для переката: https://rentry.co/2ch-agents
Предыдущий тред: >>1625784 (OP)
Пропущено 555 постов, 96 с картинками.
Насколько сильно локальные модели уступают платному Клауду? Сопоставимы ли они по качеству с условным браузерным дипсиком/чатгпт?
ЧТО НОВОГО АКТУАЛЬНОГО
• Ideogram 4.0 - closed-source, который стал open-source
• FLUX.2 klein (4b и 9b)
• Z-Image
• Flux 2
• Qwen Image / Qwen Image Edit
• Wan 2.2 (подходит для генерации картинок).
• NAG (негативный промпт на моделях с 1 CFG)
• Лора Lightning для Qwen, Wan ускоряет в 4 раза. Nunchaku ускоряет модели в 2-4 раза. DMD2 для SDXL ускоряет в 2 раза.
База:
→ Приложение ComfyUI https://www.comfy.org/download
→ Примеры https://comfyanonymous.github.io/ComfyUI_examples/
https://comfyui-wiki.com/ (откуда, куда, как)
→ Менеджер расширений https://github.com/Comfy-Org/ComfyUI-Manager (автоустановка, реестр расширений)
→ Модели https://civitai.com/
► Предыдущий тред >>1621106 (OP) ► https://arhivach.hk/?tags=13840
Дополнительно: https://telegra.ph/Stable-Diffusion-tred-X-01-03
Пропущено 588 постов, 206 с картинками.
хули блять так многа весит
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №241 /llama/
Аноним
12/06/26 Птн 00:06:18
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen
• TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Дополнительные ссылки:
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1628031 (OP)
>>1624998 (OP)
Пропущено 526 постов, 65 с картинками.
>Бред. х1 точно достаточно при фулл врам, а может и меньше, но меньше я пока не тестил, у меня 16+16.
Это ты пока в картинки и видосы не ударился, там как раз надо много рам. для ltx2.3 минимум 32гб, а лучше 64гб, чтобы было проще жонглировать моделями. мне на 16+32 приходится отключать кеш на ltx2.3 и то иногда ловлю оом