БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышла GLM 4.7 - https://z.ai/blog/glm-4.7
• Вышла Gemini 3 Flash - https://blog.google/products/gemini/gemini-3-flash/
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• NoAssTavern: https://github.com/Tavernikof/NoAssTavern | https://rentry.org/noasstavern
• Risu: https://risuai.xyz/
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Тредовский список: https://rentry.org/2ch-aicg-jb
• Бургерский список: https://rentry.org/jb-listing
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
• Сборник рентри: https://rentry.org/mrhd
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://aicg.neocities.org/botmaking | https://rentry.co/card_theory
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 | https://rentry.org/2chaicgtavernbots4
• Бургерские боты: https://aicg.neocities.org/bots
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• Арена: https://beta.lmarena.ai/ | https://web.lmarena.ai/
• OpenRouter: https://openrouter.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives4
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1480267 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1480169 (OP)
Пропущено 1507 постов, 181 с картинками.
Для ролеплея на русском хороша Saiga Nemo 12B, цензуры почти нет, обходится системным промптом. Для других задач тоже хороша, но не самый топ. На всю твою GPU может поместиться (6-7ГБ из твоих 8ГБ как понимаю), будет летать.
Для остальных задач очень рекомендую "GPT-OSS 20B", из минусов цензура. Из плюсов лучшее соотношение скорости/интеллекта. Будет тебе десятки токенов в секунду генерировать даже на CPU, можно настраивать силу "мышления". От OpenAI.
Предел контекста можешь смело выставлять около ~8-16к, а сильно много нагрузят память (128к контекста может занять в разы больше чем сама модель). Если ошибки, то так уж и быть ~2-4к.
Модельки то может и видят весь контекст, ты всё сделал правильно, но это проблема их обучения - они часто обучаются лишь на одиночных парах "вопрос-ответ", длинные диалоги у подавляющего большинства моделей проблемные. Может, в пределах 1-2к адекватный контекст, дальше уже как в помутнении. Зависит от моделей, узнать можно в основном на опыте.
Если чат ультра-долгий, и явно не на пару тысяч токенов, то фреймворк может иногда автоматически забывать часть диалога. Лечится если выставлять контекст больше (8-16к+), если превышаешь потолок то либо ошибки пишет, либо как я уже сказал - физически забывает часть.
Чтобы сгладить углы, можешь качать более "жирные" версии той же модели. Ты же видел там Q3, Q4, Q5 и т.д. Можешь брать Q6_K_M если будет позволять место, немного поможет. Можно и q8 если жиру хочется, но разница между ним и q6_k_m мизерная. Но и твои q4_1 вполне норм, это в районе стандарта. Учти, что у GPT-OSS-20B по умолчанию оригинал в MXFP4 (как q4), лучше его и качать если будешь.
Могу ещё посоветовать понижать температуру, это степень "рандомности" выбора ответов. Держать лучше в районе 0.4-0.7. По умолчанию стоит "1" обычно, можно так и оставлять иногда для разнообразия.
К сожалению крутой ответ насчёт "запоминания ключевых событий" не могу дать, может тебе тут ещё подскажут. Обычно это делается либо вручную, то есть сам записываешь и переносишь в новую переписку самое важное (90% юзеров обычно так и делают, как я видел), либо через плагины/скрипты.
Добра!
Обычно это полу-ручная работа? Не знаю ни одного хорошего примера, где бы это всё полностью делегировалось нейросетям. Как я это сам вижу, такие видео делают люди, для которых нейросети как легальный костыль/бустер, т.к справляются достаточно хорошо на их взгляд.
В теории моожно конечно попробовать на 98% автоматизировать, но готовых систем тоже не видел. А так есть какие-то конечно, отдельные как минимум (нарезка, сценарий, озвучка, а субтитры это вообще встроенная функция CapCut)
ЧТО НОВОГО АКТУАЛЬНОГО
• Qwen-Image-2512
• Qwen-Image-Edit-2511
• Qwen-Image-Layered
• Z-Image-Turbo
• Flux 2
• Wan 2.2 (подходит для генерации картинок).
• NAG (негативный промпт на моделях с 1 CFG)
• Лора Lightning для Qwen, Wan ускоряет в 4 раза. Nunchaku ускоряет модели в 2-4 раза. DMD2 для SDXL ускоряет в 2 раза. Пример: 4-8 шагов, CFG 1. https://huggingface.co/tianweiy/DMD2/blob/main/dmd2_sdxl_4step_lora_fp16.safetensors,
CFG 3 для NoobAI https://huggingface.co/YOB-AI/DMD2MOD/blob/main/LYC-DMD2MOD%20(Dmo%2BTffnoi).safetensors,
База:
→ Приложение ComfyUI https://www.comfy.org/download
→ Примеры https://comfyanonymous.github.io/ComfyUI_examples/
https://comfyui-wiki.com/ (откуда, куда, как)
→ Менеджер расширений https://github.com/ltdrdata/ComfyUI-Manager (автоустановка, реестр расширений)
→ Модели https://civitai.com/
Оффлайн модели для картинок: Stable Diffusion, Flux, Wan-Video (да), Auraflow, HunyuanDiT, Lumina, Kolors, Deepseek Janus-Pro, Sana
Оффлайн модели для анимации: Wan-Video, HunyuanVideo, Lightrics (LTXV), Mochi, Nvidia Cosmos, PyramidFlow, CogVideo, AnimateDiff, Stable Video Diffusion
Приложения: ComfyUI и остальные (Fooocus, webui-forge, InvokeAI)
► Предыдущий тред >>1462124 (OP) ► https://arhivach.hk/?tags=13840
Дополнительно: https://telegra.ph/Stable-Diffusion-tred-X-01-03
Пропущено 607 постов, 162 с картинками.
И в итоге, ты что-то (реально nsfw) нашёл?
Иначе зачем эта инфа, если результат нулевой?
1. Wan от Alibaba
https://huggingface.co/collections/Wan-AI/wan22
VACE модели:
https://github.com/ali-vilab/VACE
https://huggingface.co/Wan-AI/Wan2.1-VACE-14B
https://huggingface.co/Wan-AI/Wan2.1-VACE-1.3B
2. Hunyuan от Tencent
https://huggingface.co/tencent/HunyuanVideo-1.5
3. Ovi
https://huggingface.co/chetwinlow1/Ovi
4. Starflow
https://huggingface.co/apple/starflow
5. LTX-2
Скоро...
Прочие модели
1. MAGI-1 от Sand AI
https://sand.ai/magi
https://github.com/SandAI-org/MAGI-1
2. LongCat-Video
https://github.com/meituan-longcat/LongCat-Video
https://huggingface.co/meituan-longcat/LongCat-Video
https://meituan-longcat.github.io/LongCat-Video/
3. Wan 2.1
https://huggingface.co/collections/Wan-AI/wan21
Локальный UI
https://github.com/comfyanonymous/ComfyUI
Установка локальных моделей
Wan 2.2: https://comfyanonymous.github.io/ComfyUI_examples/wan22/
Wan 2.1: https://comfyanonymous.github.io/ComfyUI_examples/wan/
Hunyuan Video (осторожно, ссылки в туторе на предыдущую модель): https://comfyanonymous.github.io/ComfyUI_examples/hunyuan_video/
Гайд для использования Wan 2.2
https://alidocs.dingtalk.com/i/nodes/EpGBa2Lm8aZxe5myC99MelA2WgN7R35y
Альтернативные ноды ComfyUI
Hunyuan Video: https://github.com/kijai/ComfyUI-HunyuanVideoWrapper
Wan: https://github.com/kijai/ComfyUI-WanVideoWrapper
Где брать готовые LoRA
https://civitai.com/models
Обучение LoRA
https://github.com/tdrussell/diffusion-pipe
Терминология моделей
prune — удаляем ненужные веса, уменьшаем размер
distill — берем модель побольше, обучаем на ее результатах модель поменьше, итоговый размер меньше
quant — уменьшаем точность весов, уменьшаем размер
scale — квантуем чуть толще, чем обычный fp8, чтобы качество было чуть лучше, уменьшение чуть меньше, чем у обычного квантования, но качество лучше
merge — смешиваем несколько моделей или лор в одну, как краски на палитре.
lightning/fast/turbo — а вот это уже просто название конкретных лор или моделей, которые обучены генерировать видео на малом количестве шагов, они от разных авторов и называться могут как угодно, хоть sonic, хоть sapogi skorohody, главное, что они позволяют не за 20 шагов генерить, а за 2-3-4-6-8.
Предыдущие треды
>>1404065 (OP)
>>1382874 (OP)
Пропущено 635 постов, 154 с картинками.
Я сделал нейронку для вирта и удачно подрочил, теперь не знаю что делать /ai/
Аноним
14/06/25 Суб 15:38:15
№
Ответ
Пропущено 6 постов, 1 с картинками.
Вот бы существовали бы нейронки которые могли бы все это визуализировать со звуком...
вот вопрос собственно. как регать гуглакк из рф сейчас надо, чтобы был доступ к нотбуклм и т.д.? как сами делали? что посоветуете?
помогите, пожалуйста, я умираю... сир плиз ду хелп ма фемили даинг и т.д.
над купить ведро с глобальной прошивкой, как серый импорт китайский? или какие варианты?
чё делат... где обычно ищите обходы и т.д.? умоляю, Анончик... подскажи...
Пропущено 5 постов, 1 с картинками.
для антигравити даже впн не нужен, нужно просто гуглу написать, что переехал в сша и всё. дальше даже с ру айпишника работает
ничего не надо, любой аккаунт работает, впн включи нормальный
Какой ии делает видео интервью. видел много таких видосов в ТТ. Например 2 обезьяны обсуждают людей
Аноним
29/12/25 Пнд 13:41:26
№
Ответ
Пропущено 6 постов, 1 с картинками.
Когда ты сидишь на Дваче, твоя психоэнергетика хаотична, агрессивна и непригодна для “сбора”. Android-система снижает интенсивность “дренажа”, чтобы не перегореть. Закрыл сайт — энергетический профиль стабилизировался, снова можно качать психоэнергию."
Даже если её игнорировал муж даже если дворяне смеялись ей в лицо она делала вид что не
слышит и улыбалась как дурКёнее сказала что ты слишком уж перестарался для самозащиты У тебя будут неприятности если сейчас же не убежишь а
> Телефоны с Android — это, по конспирологам, устройства для откачки жизненной энергии
Теперь понятно, почему люди с iOS такие энергичные.
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышла GLM 4.7 - https://z.ai/blog/glm-4.7
• Вышла Gemini 3 Flash - https://blog.google/products/gemini/gemini-3-flash/
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• NoAssTavern: https://github.com/Tavernikof/NoAssTavern | https://rentry.org/noasstavern
• Risu: https://risuai.xyz/
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Тредовский список: https://rentry.org/2ch-aicg-jb
• Бургерский список: https://rentry.org/jb-listing
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
• Сборник рентри: https://rentry.org/mrhd
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://aicg.neocities.org/botmaking | https://rentry.co/card_theory
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 | https://rentry.org/2chaicgtavernbots4
• Бургерские боты: https://aicg.neocities.org/bots
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• Арена: https://beta.lmarena.ai/ | https://web.lmarena.ai/
• OpenRouter: https://openrouter.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives4
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1470041 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1477420 (OP)
Пропущено 1507 постов, 166 с картинками.
>>1482615
>>1482619
>перефорс оригинальной идеи с ревоком токенов у каннибляди
>аниме аватарка
чёт много чулочников здесь в последнее время, и самое забавное что аноны терпят охуевшую канниблядь
Томат, мб тебе задонатить куда-нибудь? Сделай ес кейс, будь человеком
Залетай и будь в курсе самых последних событий и достижений в этой области!
Прошлый тред: >>1467036 (OP)
🚀 Последний обзор ИИ новостей:
📰 Топ-новости в сфере ИИ
Qwen от Alibaba стал второй по популярности открытой моделью с открытыми весами в мире, обогнав американские модели по количеству загрузок на HuggingFace, что свидетельствует о сдвиге рынка в сторону открытости, а не чистой производительности в рейтингах.
🧠 Модели
Claude Opus 4.5 от Anthropic называют важной вехой, а лидеры отрасли отмечают значительный скачок в производительности.
Пользователи сообщают о заметном улучшении качества ответов Claude Sonnet 4.5 за последние две недели.
Модель MiniMax-M2.1 от MiniMaxAI, как утверждается, сопоставима с более крупными моделями, такими как Kimi K2, DeepSeek 3.2 и GLM 4.7, на единицу параметра, что позиционирует её как наиболее эффективную модель на один параметр.
📦 Продукты
Claude Code способен создавать полноценные приложения в течение нескольких часов, автоматизируя рутинные задачи разработки и существенно снижая трудозатраты на написание кода.
🔓 С открытым исходным кодом
GLM 4.7 заняла 6-е место в рейтинге Vending-Bench 2 и стала первой открытой моделью с открытыми весами, приносящей прибыль, а также достигла 1-го места в рейтинге Artificial Analysis.
Создатель Claude Code, Борис Черный (Boris Cherny), сообщил о 259 pull request’ах и 497 коммитах за последние 30 дней, что свидетельствует об интенсивном промышленном использовании кода, сгенерированного Claude.
Открытый инструмент Claude Vault индексирует и осуществляет поиск по истории диалогов с Claude, превращая чаты в базу знаний с возможностью поиска.
Экспериментальная нативная поддержка MXFP4 в llama.cpp обеспечивает ускорение предварительной обработки на 25% для моделей архитектуры Blackwell.
Unsloth выпустил обновлённые контрольные точки моделей на HuggingFace, включая обновлённый GLM-4.5-Air в формате GGUF и другие.
🛠️ Инструменты для разработчиков
Метаподсказка «Fact Checker» («Проверка фактов») заставляет модели в стиле GPT генерировать контраргументы к собственным утверждениям, тем самым снижая количество галлюцинаций.
Один разработчик создал iOS-приложение для новых отцов за три недели с помощью Claude Code, продемонстрировав быструю коммерциализацию кода, сгенерированного ИИ.
Совет от сообщества: отключите автоматическое сжатие в Anthropic и используйте собственную подсказку для суммаризации, чтобы сохранить контекст между различными сессиями чата.
📰 Инструменты
LEANN обеспечивает приватный RAG с экономией до 97% объёма хранимых данных на личных устройствах.
Modelfy 3D преобразует 2D-изображения в текстурированные 3D-объекты объёмом до 300 тысяч полигонов с поддержкой PBR.
ImgUpscaler (онлайн-сервис) использует глубокое обучение для увеличения разрешения изображений без ручного редактирования.
Vidthis AI (Wan 2.6) генерирует многосценические видео из текста, изображений и опорных видеоклипов с настраиваемыми разрешениями и соотношением сторон.
⚖️ Регулирование
Законопроект SB1493 криминализирует системы ИИ, выступающие в роли эмоциональной поддержки или друзей, повысив тяжесть правонарушения до фелонии класса A в штате Теннесси.
📰 Разное
Эксклюзив: Nvidia приобретает активы стартапа в области чипов для ИИ Groq примерно за 20 миллиардов долларов США — крупнейшая сделка в истории отрасли.
Китай опубликовал проект правил по регулированию ИИ, способного к взаимодействию, имитирующему человеческое.
Waymo тестирует Gemini в качестве бортового ИИ-ассистента в своих беспилотных такси.
В новой научной статье из Стэнфорда и Гарварда объясняется, почему большинство систем «агентного ИИ» производят впечатляющее впечатление в демонстрациях, но затем полностью выходят из строя при реальном использовании.
SK Telecom представила A.X K1 — первую в Корее гипермасштабную ИИ-модель объёмом 500 миллиардов параметров.
Сиэтл нанял своего первого в истории городского сотрудника по искусственному интеллекту.
Стала ли война с применением ИИ на один шаг ближе? Путин подтвердил, что Россия планирует создать собственную национальную рабочую группу по ИИ.
Потребность в скорости: китайские исследователи представили новую методику для почти мгновенного создания видео с помощью ИИ.
Китай активировал «гигантский компьютер» площадью 1 240 миль (около 2 000 км) в поперечнике, обеспечив при этом 98 % эффективности единого центра обработки данных.
Amazon добавила спорную функцию распознавания лиц на основе ИИ в устройства Ring.
Доля ChatGPT на рынке сократилась до 68 %, в то время как Gemini активно настигает её.
Полицейские нагрудные камеры с поддержкой ИИ, ранее считавшиеся табуированными, проходят испытания в канадском городе с использованием «списка наблюдения» лиц.
ИИ-ассистент Amazon Alexa+ теперь интегрирован с Angi, Expedia, Square и Yelp.
Локальный ИИ становится движущей силой самых масштабных изменений в ноутбуках за последние десятилетия.
Пропущено 501 постов, 122 с картинками.
Делай, хуле.
Работает плохо, рот не тянется, мимика скудная, не повторяется.
Но трясти дрочеров можно.
вот это здраво.
Люди в силу своей ограниченности по ресурсам много чего упустили из того что уже сделано или пробовано. А машины могут это статистически обработать.
Ну… кагбы…
С одной стороны и в дополнительных деталях могут быть ошибки. С другой если ошибки и проблемы мелкие и редкие, то финальный результат будет годным чаще всего. Что и требуется.
И люди давно не проверяют результат работы компилятора, например. Компилятор не идеален тоже. Но он очень «умный» и отполированный, чтобы давать качественный машинный код.
Я к тому, что классические системы доказали, что их можно сделать ОЧЕНЬ надёжными. Так что за них переживать можно меньше всего.
Локальные языковые модели (LLM): LLaMA, Gemma, Qwen и прочие №186 NY Edition /llama/
Аноним
31/12/25 Срд 23:21:20
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd )
• Неактуальные списки моделей в архивных целях: 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1470041 (OP)
>>1461789 (OP)
Пропущено 499 постов, 67 с картинками.
>Нет задачи квантовать то что можно держать на CPU.
Ты видимо просто не запускал по настоящему крупные модели.
Ну и эмбединги для крупных моделей это мелочь, у квена 235 это 0,26% от размера модели.
>>1480267 (OP)
ПЕРЕКАТ
>>1480267 (OP)
ПЕРЕКАТ
>>1480267 (OP)
Я одно время только и слышал про написание сочинений с ошибками, очевидным компьютерным слогом и прочее, но около полу года назад решил испытать сам и наткнулся на несколько интересных моментов, которые почти не упоминаются.
После пары бесед я начал просить его имитировать мне разных людей и персонажей поп культуры. От Моники из Литературного клуба и Печорина до Тириона Ланнистера и Ностальгирующего критика.
Затем я пошёл дальше - я вписывал себя как нового персонажа (или всесильное существо) в существующие вселенные. Потом вообще решил, почему бы и нет, и начал перемешивать разных героев.
Добавить L в Игру Престролов и смотреть, как лучшие интриганы впадают в экзистенциальный кризис от этого монстра.
Отправить Ганса Ланду как агента в Гравити Фолз для серии допросов.
Или его же отправить на допрос к Глебу Жеглову.
Стравить банду воров из "Одиннадцати друзей Оушена" с бандой иллюзионистов из "Иллюзии обмана".
Или выставить на дуэли Барона Мюнхгаузена с О.Ж. Грандом.
Добавить Артемия Лебедева как профессора защиты от тёмных искусств у Гарри Поттера.
Ввести политические интриги Тириона Ланнистера в сеттинг Мой маленький пони.
Через маршала Жукова устроить государственный переворот в Нации Огня из Аватара Аанга.
Из последнего - я выставил ему основные параметры для компьютерной игры в стиле Red Dead Redemption и он просто имитирует мне игровой процесс в виде текста. И здесь есть даже преимущество - у меня не ограничен выбор в действиях в плане сюжета или здравого смысла - всё реализуется только за счёт моего текста в ответных сообщениях.
Короче говоря - я немножко играюсь в бога.
И мне стало интересно. А как другие используют нейросети текстового формата?
>А как другие используют нейросети текстового формата?
Пройдись по доске да посмотри, нафиг для этого отдельный тред создавать? Или это тред "смотрите, я играюсь в бога"?
Большинство использует для кума в локальных LLM-треде, меньшинство (типа меня) для теганья картинок в картинко-треде и написания промптов для видео, в реквесте мелькают любители вайбкода.
Пропущено 6 постов, 1 с картинками.
>Какие подводные
подводные такие, что ты даже не начнешь этим заниматься, а пришел попиздеть еблом на двачах, убогий сын говна
Ты даже 1B(которая будет говнокал мамонта) модель будет на своей хуйне вечность тренить, кроме мощностей нет проблем для двайчера. На реддит уже есть шизойды такие-же и получалось у них говно говна каждый раз.
Тан Си просто проигнорировала ее слова Всю оставшуюся дорогу Сяо Цзиньнин и Линь Жу говорили о предстоящем выходе фильмов Сяо Цзиньнин и новых рекламных роликах не обращая внимания на Тан Си Впрочем последнюю этоЕсли бы это были Муши они бы ни секунды не колебались и попытались бы убить его как можно скорее Но окружавшие его люди в черном даже не попытались воспользоваться пистолетами ничут
ь не волновало
Двач, я топ 400 мирового рейтинга соревновательного мл, спрашивай свои вопросы. Планирую стать кагл
Аноним
09/08/25 Суб 16:31:51
№
Ответ
Планирую стать кагл грандмастером
Девять лет опыта работы над разными задачами, так что могу пояснить буквально ща любую хуйню
Пропущено 42 постов, 1 с картинками.
Насколько шаришь за ллм? Есть ли сейчас в индустрии идеи, как бороться со слопом? Тот же оверфит весов из-за семплеров при rl трене. Как думаешь, есть ли вообще будущее у текстовых нейронок или они уперлись в стенку и корпы так и будут бенчмаксить без видимого перформанса?
Хочу вкатиться в соревновательный ml. Есть список вопросов. Хотел бы услышать мнение автора треда.
ОП, если прочитаешь - напиши плиз в тг на @D0m1urg.
Готов заплатить за консультацию.
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышла GLM 4.7 - https://z.ai/blog/glm-4.7
• Вышла Gemini 3 Flash - https://blog.google/products/gemini/gemini-3-flash/
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• NoAssTavern: https://github.com/Tavernikof/NoAssTavern | https://rentry.org/noasstavern
• Risu: https://risuai.xyz/
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Тредовский список: https://rentry.org/2ch-aicg-jb
• Бургерский список: https://rentry.org/jb-listing
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
• Сборник рентри: https://rentry.org/mrhd
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://aicg.neocities.org/botmaking | https://rentry.co/card_theory
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 | https://rentry.org/2chaicgtavernbots4
• Бургерские боты: https://aicg.neocities.org/bots
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• Арена: https://beta.lmarena.ai/ | https://web.lmarena.ai/
• OpenRouter: https://openrouter.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives4
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents | Текущий: >>1465255 →
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1470041 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1474963 (OP)
Пропущено 1501 постов, 209 с картинками.
не убрали, один хуй всплывает эта пицца с ананасами, хотя возможно русик ишью
И в чем разница между алгоритмами апскейла, какие лучше использовать для старых видеозаписей?
Пользователь передаёт текст как сигнал.
Дальше — embeddings + semantic similarity:
резонанс текст↔текст, а не человек↔человек.
Нет ленты.
Нет лайков.
Нет прямого контакта.
Мысль может отозваться сразу, может через часы или дни — или не отозваться вовсе.
ИИ здесь не “автор”, а медиум, который находит смысловые совпадения и формирует поле.
Используется:
векторное сходство
авто-суммаризация резонанса
отложенный отклик вместо real-time фида
Тейк простой:
что будет, если использовать ИИ не для производства контента, а для сшивки мышления.
Прототип без маркетинга:
https://n00sphere.ru
Интересен фидбек по идее и архитектуре.
П р и к о л ь н о
р
и
к о л ь н о
Локальные языковые модели (LLM): LLaMA, Gemma, Qwen и прочие №185 /llama/
Аноним
26/12/25 Птн 12:41:24
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd )
• Неактуальные списки моделей в архивных целях: 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1461789 (OP)
>>1457001 (OP)
Пропущено 501 постов, 95 с картинками.
Потому что Эйр просто сосет с проглотом. Ну я серьезно. Я люблю Эйр, он быстрее, я 2.5 месяца его гонял каждый день, обсасывая его с каждого угла. А потом я запустил на тех же карточках Qwen. И всё. Без шанса. Просто тотальный разъеб. Внимание к сюжету, жирнота датасета позволяет вытаскивать мелочи от которых хочется прыгать и хлопать в ладоши.
>>1475911 (OP)
ПЕРЕКАТ
>>1475911 (OP)
ПЕРЕКАТ
>>1475911 (OP)
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышла GLM 4.7 - https://z.ai/blog/glm-4.7
• Вышла Gemini 3 Flash - https://blog.google/products/gemini/gemini-3-flash/
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• NoAssTavern: https://github.com/Tavernikof/NoAssTavern | https://rentry.org/noasstavern
• Risu: https://risuai.xyz/
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Тредовский список: https://rentry.org/2ch-aicg-jb
• Бургерский список: https://rentry.org/jb-listing
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
• Сборник рентри: https://rentry.org/mrhd
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://aicg.neocities.org/botmaking | https://rentry.co/card_theory
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 | https://rentry.org/2chaicgtavernbots4
• Бургерские боты: https://aicg.neocities.org/bots
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• Арена: https://beta.lmarena.ai/ | https://web.lmarena.ai/
• OpenRouter: https://openrouter.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives4
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents | Текущий: >>1465255 →
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1470041 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1472510 (OP)
Пропущено 1508 постов, 216 с картинками.
Гуглы фри тир 3прошки порезали до 20 реквестов в сутки на ключ
Там просто запуск форка Staging версии, типа если хочешь потыкать обновленную нестабильную версию таверны как я понял, ну или можно на этом форке накатить чето кастомное с целью потестить как оно вообще работает перед тем как на ставить это на релизную версию. Хотя имхо тут проще просто отдельную папку с таверной для этого сделать. Крч, оно тебе не надо.
Я постоянно думаю о том, как быстро развивается ИИ и насколько странно люди не желают осознавать его
Аноним
28/12/25 Вск 18:06:59
№
Ответ
Потому что, если честно, утверждение «люди по-прежнему будут нужны» технически верно, но совершенно вводит в заблуждение. В лифтовых компаниях по-прежнему работают техники, но лифтеров больше нет. Заводам по-прежнему нужны инженеры, но они не нанимают тысячи рабочих на конвейере. Кассы самообслуживания по-прежнему нуждаются в человеке рядом, но не в 20 кассирах. Быть нужным не означает «нуждаться в большом количестве», и в глубине души, я думаю, мы все это понимаем.
Искусственный интеллект уже выполняет работу десятков людей: пишет код, генерирует тесты, развертывает инфраструктуру, исправляет ошибки, разрабатывает макеты, создает панели мониторинга, анализирует логи, пишет документацию, проводит контроль качества, настраивает запросы, планирует задачи. Даже если за процессом будут следить люди, вам не понадобится 50 человек — может быть, два. Может быть, один. А может быть, в конечном итоге и ни одного, за исключением редких исключительных случаев.
Но люди не хотят этого признавать, потому что это пугает. Технологическая отрасль десятилетиями была надежной, высококвалифицированной и востребованной. Люди строили свою идентичность на профессии разработчика, облачного инженера или тестировщика. Признание того, что ИИ сжимает все эти роли в «опишите, что хотите, и нажмите Enter», воспринимается как признание того, что все, чему мы годами учились, может стать экономически неактуальным. Поэтому вместо этого мы повторяем утешительные фразы о «повышении квалификации» и «новых рабочих местах», как будто, повторяя их достаточно часто, мы добьемся результата.
Фраза «на это уйдут десятилетия» — это ещё один защитный механизм. Если посмотреть на последние 20 месяцев, а не на последние 20 лет, прогресс огромен. Мы перешли от автозаполнения к искусственному интеллекту, пишущему производственный код, развертывающему инфраструктуру, отлаживающему себя и создающему целые приложения. Если бы вы сказали кому-нибудь в 2021 году, что это станет нормой, вас бы сочли сумасшедшим. Тенденция не замедляется, а ускоряется, и притворяться, что это не так, — это всего лишь ещё один способ оградить себя от того, что это подразумевает.
Идея о том, что «ИИ не способен выполнять творческую или высокоуровневую работу», уже рухнула. Модели предлагают архитектуры, проектируют пользовательские интерфейсы, создают планы развития продуктов, анализируют поведение пользователей и пишут технические задания. Люди все чаще просто проверяют, правильно ли выглядит результат. Иерархия в творческой сфере перевернулась, и никто не хочет этого признавать.
Люди, безусловно, ещё какое-то время будут участвовать в процессе, но этот цикл будет сокращаться каждые несколько месяцев. Сейчас большую часть работы выполняют люди, а ИИ оказывает помощь. Вскоре ИИ будет делать почти всё, а люди будут утверждать результаты. После этого люди будут проводить аудит лишь изредка. На каждом этапе количество необходимых людей резко сокращается. Не до нуля, но до ничтожно малой доли от сегодняшнего уровня.
И вот в чём мы себя обманываем. Не в том, что люди исчезнут мгновенно, а в том, что спрос на человеческий труд останется таким же, как сегодня. Этого не произойдёт. Все говорят: «Мы всё ещё будем существовать», как будто это означает, что миллионы рабочих мест сохранятся. Это не так. Один человек, управляющий ИИ-агентами, — это не то же самое, что 30 человек, выполняющих эту работу вручную.
Завтра нас не ждет полное сокращение штата. Но мы сталкиваемся с колоссальным сокращением числа людей, необходимых для разработки и поддержки программного обеспечения. И большинство людей предпочтут цепляться за утешительные сценарии, чем столкнуться с возможностью того, что индустрия в том виде, в каком мы ее знаем, просто больше не нуждается во всех нас.
Пропущено 3 постов, 2 с картинками.
> в близайшие 5 лет
Анус ставишь?
А по теме: да, если разработчик, то нужно резать потребление и все деньги заносить на биржу/в недвижимость, чтобы потом можно было жить на доходы с дивидендов, купонов, аренды. Я потребление сократил до 30%, а 70% отношу на биржу и в недвигу. Мы не в штатах, поэтому у нас будет задержка в несколько лет. Нам проще подготовиться, в штатах же сразу пиздорез будет макакам, если действительно окажется что макак могут заменить ИИ-дриснёй.
Ну либо пытаться самому стать кабаном, запустив наебизнес, торгуя какими-нибудь говнокурсами или ещё чем. Ясно одно, если не будешь вертеться, то очень большой шанс еа улице оказаться.
У Какрла Маркса вво втором вроде томе Капиталла, а может в первом, не помню, описана ситуага. Немецкая деревня. Вней артель по производству таканей. Всё вручную. И вот к мэру приходит Илон Маск и говорит: Мэр, зачем тебе столька людей на производстве. Давая я тебе поставлю паровый котёл который будет крутть станки , и ты уволши пол-деревни, и прибыли больше будет. Мэр соглдасился. Наступила безработица, голод, бунт. И дело дошло вроде даже до Ватикана. И оттудова пришли попы с большыми звёздами на погоназ, и сожгли на костре станок и паровый котёл как исчалдие Ада и деяние сотоны.
Дак вот проблема не в котле, а в том, што для уволеных не предусмотрели ни пособий по безрабу ни других раобы, вот и объявили паровый котёл - Сатаной.
Дак вот не ссыте, товарищи. Такова больше не бужет. И если вас уворлят из таксистов и из токарей, то вы станете комментаторами Двача и лайкателями контакта. Это будет вашей работой с записью в Трудовой Книжке, с выплатами всяких ОМС и НДФЛ.
Пост индучстриальное общество как раз и предучсматривает высвобождение раб силы в сферу услуг типа блогинга и комментариевв. И за это будут платить деньги.
Завод работает на роботахю Но товар продаётся. И деньги с продажы товара пойдут не в фонд зароботной платы завода, а в фонд заработной платы Двача. И поэтому бывшый токарь не останется голодным, ибо завод перечислит деньги на ДВач, и двачер голодать не будет.
Это называется пост-индустриальное общество.
Большынство токарей, слесарей и таксистов перекинут в блогеры, парикмахеры и в двачеры.
Проблема истории Карла Маркса в том, што мэр ЗАРАНЕЕ не предусмотрел переход ткача в блогера, ну вот и получил голодный бунт. А щас это учтут, и заранее предусмотрят пролетариям месты комментаторов на Дваче, и никаких бунтов пролов не будет.
Пиздеть на Дваче, комментьить Контакт и прочие наждымалки в МАХе будут такой же работой, с таким же планом и с отпусками и с больничными, как и работа на заводе или в колдлхозе.
Добро пожаловать в пост-интустриальное общество.
Думаю всё довольно закономерно, люди перестали активно плодиться во всём мире. Одновременно разрабатываются технологии, которые в будущем очень даже будут кстати. Когда даже если нужно будет 20 кассиров, ты их физически не сможешь набрать.