Пропущено 6 постов, 1 с картинками.
Локальные языковые модели (LLM): LLaMA, Gemma, Qwen и прочие №205 /llama/
Аноним
16/03/26 Пнд 13:33:16
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1548846 (OP)
>>1544796 (OP)
Пропущено 501 постов, 63 с картинками.
ПЕРЕКАТ
>>1556634 (OP)
ПЕРЕКАТ
>>1556634 (OP)
ПЕРЕКАТ
>>1556634 (OP)
Это-то в Гроке цензура выше отныне? Покажи мне такое в веб-интерфейсе гопоты или близнецов.
Прошлый тред: >> https://2ch.hk/ai/res/664162.html
Вики треда: https://2ch-ai.gitgud.site/wiki/speech/
FAQ
Q: Хочу озвучивать пасты с двача голосом Путина/Неко-Арк/и т.п.
1. Используешь любой инструмент для синтеза голоса из текста - есть локальные, есть онлайн через huggingface или в виде ботов в телеге:
https://2ch-ai.gitgud.site/wiki/speech/#синтез-голоса-из-текста-tts
Спейс без лимитов для EdgeTTS:
https://huggingface.co/spaces/NeuroSenko/rus-edge-tts-webui
Так же можно использовать проприетарный комбайн Soundworks (часть фич платная):
https://dmkilab.com/soundworks
2. Перегоняешь голос в нужный тебе через RVC. Для него есть огромное число готовых голосов, можно обучать свои модели:
https://2ch-ai.gitgud.site/wiki/speech/sts/rvc/rvc/
Q: Как делать нейрокаверы?
1. Делишь оригинальную дорожку на вокал и музыку при помощи Ultimate Vocal Remover:
https://github.com/MaHivka/ultimate-voice-models-FAQ/wiki/UVR
2. Преобразуешь дорожку с вокалом к нужному тебе голосу через RVC:
https://2ch-ai.gitgud.site/wiki/speech/sts/rvc/rvc/
3. Объединяешь дорожки при помощи Audacity или любой другой тулзы для работы с аудио
Опционально: на промежуточных этапах обрабатываешь дорожку - удаляешь шумы и прочую кривоту. Кто-то сам перепевает проблемные участки.
Качество нейрокаверов определяется в первую очередь тем, насколько качественно выйдет разделить дорожку на составляющие в виде вокальной части и инструменталки. Если в треке есть хор или беквокал, то земля пухом в попытке преобразовать это.
Нейрокаверы проще всего делаются на песни с небольшим числом инструментов - песня под соло гитару или пианино почти наверняка выйдет без серьёзных артефактов.
Q: Хочу говорить в дискорде/телеге голосом определённого персонажа.
Используй RVC (запуск через go-realtime-gui.bat) либо Voice Changer:
https://github.com/w-okada/voice-changer/blob/master/README_en.md
Гайд по Voice Changer, там же рассказывается, как настроить виртуальный микрофон:
https://github.com/MaHivka/ultimate-voice-models-FAQ/wiki/Voice‐Changer (часть ссылок похоже сдохла)
Q: Как обучить свою RVC-модель?
Гайд на русском: https://github.com/MaHivka/ultimate-voice-models-FAQ/wiki/RVC#создание-собственной-модели
Гайд на английском: https://docs.aihub.wtf/guide-to-create-a-model/model-training-rvc
Определить переобучение через TensorBoard: https://docs.aihub.wtf/guide-to-create-a-model/tensorboard-rvc
Если тыква вместо видеокарты, можно тренить в онлайне: https://www.kaggle.com/code/varaslaw/rvc-v2-no-gradio-https-t-me-aisingers-ru/notebook?scriptVersionId=143284909 (инструкция: https://www.youtube .com/watch?v=L-emE1pGUOM )
Q: Надо распознать текст с аудио/видео файла
Используй Whisper от OpenAI: https://github.com/openai/whisper
Быстрый скомпилированный для винды вариант: https://github.com/Purfview/whisper-standalone-win
Так же есть платные решения от Сбера/Яндекса/Тинькофф.
Коммерческие системы
https://elevenlabs.io перевод видео, синтез и преобразование голоса
https://heygen.com перевод видео с сохранением оригинального голоса и синхронизацией движения губ на видеопотоке. Так же доступны функции TTS и ещё что-то
https://app.suno.ai генератор композиций прямо из текста. Есть отдельный тред на доске >>
Шаблон для переката: https://2ch-ai.gitgud.site/wiki/speech/speech-shapka/
Пропущено 521 постов, 89 с картинками.
═══════════════════════════════
П Е Р Е К А Т П Е Р Е К А Т
═══════════════════════════════
>>1557328 (OP)
>>1557328 (OP)
>>1557328 (OP)
═══════════════════════════════
П Е Р Е К А Т П Е Р Е К А Т
═══════════════════════════════
ПЕРЕКАТ
>>1557328 (OP)
ПЕРЕКАТ
>>1557328 (OP)
ПЕРЕКАТ
>>1557328 (OP)
учусь на юрфаке. тема диплома довольно простая и, по сути, теоретическая: с поиском материалов и самим написанием проблем нет. узкое место - оригинальность текста
Основной подводный камень - работу по специальности не найдешь, т.к. своих знаний не будет, а без них - тебя гопотой и заменят.
Предыдущий тред: >>1272560 (OP)
➤ Софт для обучения
https://github.com/kohya-ss/sd-scripts
Набор скриптов для тренировки, используется под капотом в большей части готовых GUI и прочих скриптах.
Для удобства запуска можно использовать дополнительные скрипты в целях передачи параметров, например: https://rentry.org/simple_kohya_ss
https://github.com/bghira/SimpleTuner Линукс онли, бэк отличается от сд-скриптс
https://github.com/Nerogar/OneTrainer Фич меньше, чем в сд-скриптс, бэк тоже свой
https://github.com/Mikubill/naifu Бэк которым тренили noobai
https://github.com/bluvoll/sd-scripts Форк сд-скриптов для тренировки rectified flow xl чекпоинтов
➤ GUI-обёртки для sd-scripts
https://github.com/bmaltais/kohya_ss
https://github.com/derrian-distro/LoRA_Easy_Training_Scripts
➤ Обучение SDXL
https://2ch-ai.github.io/wiki/tech/sdxl/
➤ Flux
https://2ch-ai.github.io/wiki/nai/models/flux/
➤ Wan
https://github.com/kohya-ss/musubi-tuner
https://github.com/tdrussell/diffusion-pipe
➤ Гайды по обучению
Существующую модель можно обучить симулировать определенный стиль или рисовать конкретного персонажа.
✱ LoRA – "Low Rank Adaptation" – подойдет для любых задач. Отличается малыми требованиями к VRAM (6 Гб+) и быстрым обучением. https://github.com/cloneofsimo/lora - изначальная имплементация алгоритма, пришедшая из мира архитектуры transformers, тренирует лишь attention слои, гайды по тренировкам:
https://rentry.co/waavd - гайд по подготовке датасета и обучению LoRA для неофитов
https://rentry.org/2chAI_hard_LoRA_guide - ещё один гайд по использованию и обучению LoRA
https://rentry.org/59xed3 - более углубленный гайд по лорам, содержит много инфы для уже разбирающихся (англ.)
✱ LyCORIS (Lora beYond Conventional methods, Other Rank adaptation Implementations for Stable diffusion) - проект по созданию алгоритмов для обучения дополнительных частей модели. Ранее имел название LoCon и предлагал лишь тренировку дополнительных conv слоёв. В настоящий момент включает в себя алгоритмы LoCon, LoHa, LoKr, DyLoRA, IA3, а так же на последних dev ветках возможность тренировки всех (или не всех, в зависимости от конфига) частей сети на выбранном ранге:
https://github.com/KohakuBlueleaf/LyCORIS
Подробнее про алгоритмы в вики https://2ch-ai.github.io/wiki/tech/lycoris/
✱ Dreambooth – для SD 1.5 обучение доступно начиная с 16 GB VRAM. Ни одна из потребительских карт не осилит тренировку будки для SDXL. Выдаёт отличные результаты. Генерирует полноразмерные модели:
https://rentry.co/lycoris-and-lora-from-dreambooth (англ.)
https://github.com/nitrosocke/dreambooth-training-guide (англ.) https://rentry.org/lora-is-not-a-finetune (англ.)
✱ Текстуальная инверсия (Textual inversion), или же просто Embedding, может подойти, если сеть уже умеет рисовать что-то похожее, этот способ тренирует лишь текстовый энкодер модели, не затрагивая UNet:
https://rentry.org/textard (англ.)
➤ Тренировка YOLO-моделей для ADetailer:
YOLO-модели (You Only Look Once) могут быть обучены для поиска определённых объектов на изображении. В паре с ADetailer они могут быть использованы для автоматического инпеинта по найденной области.
Подробнее в вики: https://2ch-ai.github.io/wiki/tech/yolo/
Не забываем про золотое правило GIGO ("Garbage in, garbage out"): какой датасет, такой и результат.
➤ Гугл колабы
﹡Текстуальная инверсия: https://colab.research.google.com/github/huggingface/notebooks/blob/main/diffusers/sd_textual_inversion_training.ipynb
﹡Dreambooth: https://colab.research.google.com/github/TheLastBen/fast-stable-diffusion/blob/main/fast-DreamBooth.ipynb
﹡LoRA https://colab.research.google.com/github/hollowstrawberry/kohya-colab/blob/main/Lora_Trainer.ipynb
➤ Полезное
Расширение для фикса CLIP модели, изменения её точности в один клик и более продвинутых вещей, по типу замены клипа на кастомный: https://github.com/arenasys/stable-diffusion-webui-model-toolkit
Гайд по блок мерджингу: https://rentry.org/BlockMergeExplained (англ.)
Гайд по ControlNet: https://stable-diffusion-art.com/controlnet (англ.)
Подборка мокрописек для датасетов от анона: https://rentry.org/te3oh
Группы тегов для бур: https://danbooru.donmai.us/wiki_pages/tag_groups (англ.)
NLP тэггер для кэпшенов T5: https://github.com/2dameneko/ide-cap-chan (gui), https://huggingface.co/Minthy/ToriiGate-v0.3 (модель), https://huggingface.co/2dameneko/ToriiGate-v0.3-nf4/tree/main (квант для врамлетов)
Оптимайзеры: https://2ch-ai.github.io/wiki/tech/optimizers/
Визуализация работы разных оптимайзеров: https://github.com/kozistr/pytorch_optimizer/blob/main/docs/visualization.md
Гайды по апскейлу от анонов:
https://rentry.org/SD_upscale
https://rentry.org/sd__upscale
https://rentry.org/2ch_nai_guide#апскейл
https://rentry.org/UpscaleByControl
Старая коллекция лор от анонов: https://rentry.org/2chAI_LoRA
Гайды, эмбеды, хайпернетворки, лоры с форча:
https://rentry.org/sdgoldmine
https://rentry.org/sdg-link
https://rentry.org/hdgfaq
https://rentry.org/hdglorarepo
https://gitgud.io/badhands/makesomefuckingporn
https://rentry.org/ponyxl_loras_n_stuff - пони лоры
https://rentry.org/illustrious_loras_n_stuff - люстролоры
➤ Legacy ссылки на устаревшие технологии и гайды с дополнительной информацией
https://2ch-ai.github.io/wiki/tech/legacy/
➤ Прошлые треды
https://2ch-ai.github.io/wiki/tech/old_threads/
Шапка: https://2ch-ai.github.io/wiki/tech/tech-shapka/
Пропущено 65 постов, 14 с картинками.
Не то что можно, а это давно решенная задача. Помню когда foocus только появился и у НАРОДА появился легкий рабочий инструмент раздевания. Принцип тот же, вопрос лишь в скиле и датасете.
бля чет тред полумёртвый, в 2024 было энтузиазма побольше
У меня нормально с продиджи не вышло, только с адафактором получилось хорошо. Но я тренировал мультяшных персонажей и стиль. Рекомендую найти на цивите тот чекпойнт которым пользуешься, взять самую удачную лору что работает с ним (в генерациях обычно висят картинки с лорами) и потом засунуть файл лоры в читалку метаданных (не помню что за сайт, гугли lora metadata read вроде бы на гите хостился проект). Потом по аналогии делаешь настройки. Ещё нюанс - если это sdxl, то не пытайся делать лору в аи тулките, острис хуесос и что-то сломал, там теперь распидор вечный с лорами на все что родилось из сдхл.
Прошлый тред: >>1533626 (OP) https://arhivach.vc/thread/1313747/
Схожие тематические треды
• SD-тред (не аниме): >>1544540 (OP)
• Технотред: >>1405043 (OP)
• Фурри-тред: https://2ch.su/fur/res/374311.html
FAQ
https://2ch-ai.github.io/wiki/nai
Установка
• NVidia: https://teletype.in/@aranon/welcome
• AMD: https://2ch-ai.github.io/wiki/nai/install/amd
• Облака: https://2ch-ai.github.io/wiki/nai/install/clouds
Дополнительная информация
• Интерфейсы: https://2ch-ai.github.io/wiki/nai/interfaces
• Модели: https://2ch-ai.github.io/wiki/nai/models
• Промпты: https://2ch-ai.github.io/wiki/nai/prompts
• Апскейл: https://2ch-ai.github.io/wiki/nai/upscale
• LoRA: https://2ch-ai.github.io/wiki/nai/lora
• ControlNet: https://2ch-ai.github.io/wiki/nai/controlnet
Прочее
• CivitAI: https://civitai.com
• Каталог ссылок от форчанеров: https://rentry.co/sdg-link
• Шаблон для переката: https://rentry.co/nwhci
Пропущено 507 постов, 212 с картинками.
обычно там что-нибудь документальное, но в последнее время попадается и нейрослоп, так что возник вопрос об аутентичности видео. Из /v послали сюда.
А вы с какой целью интересуетеся?
ЧТО НОВОГО АКТУАЛЬНОГО
• Z-Image-Base
• FLUX.2 klein (4b и 9b)
• Z-Image-Turbo
• Flux 2
• Qwen Image / Qwen Image Edit
• Wan 2.2 (подходит для генерации картинок).
• NAG (негативный промпт на моделях с 1 CFG)
• Лора Lightning для Qwen, Wan ускоряет в 4 раза. Nunchaku ускоряет модели в 2-4 раза. DMD2 для SDXL ускоряет в 2 раза.
База:
→ Приложение ComfyUI https://www.comfy.org/download
→ Примеры https://comfyanonymous.github.io/ComfyUI_examples/
https://comfyui-wiki.com/ (откуда, куда, как)
→ Менеджер расширений https://github.com/ltdrdata/ComfyUI-Manager (автоустановка, реестр расширений)
→ Модели https://civitai.com/
► Предыдущий тред >>1525962 (OP) ► https://arhivach.hk/?tags=13840
Дополнительно: https://telegra.ph/Stable-Diffusion-tred-X-01-03
Пропущено 654 постов, 215 с картинками.
спермокат
>>1556250 (OP)
>>1556250 (OP)
>>1556250 (OP)
>зачем вы поехавшие на дистиллятах с 4 шагами ставите 20
Проверил твою теорию на 9В дистил, ну хуй знает
Залетай и будь в курсе самых последних событий и достижений в этой области!
Прошлый тред: >>1541081 (OP)
🚀 Последний обзор ИИ новостей:
📰 Главные новости ИИ
Ford запустила Ford Pro AI, ИИ-чатбот в своей телематической платформе, направленный на снижение нагрузки на менеджеров автопарка и повышение эффективности, предоставляя менеджерам автопарка информацию об эффективности расхода топлива и производительности в реальном времени.
Amazon открыл доступ к своему ИИ-ассистенту Health на главном веб-сайте и в приложении, предоставив персонализированные медицинские рекомендации всем пользователям.
OpenAI добавил динамические визуальные объяснения в ChatGPT, позволяя пользователям взаимодействовать с графикой по математике и науке в реальном времени для более глубокого обучения.
🔓 Открытый исходный код
NVIDIA планирует выпустить NemoClaw, платформу ИИ-агентов с открытым исходным кодом, которая позволяет предприятиям развертывать защищенных агентов на любом оборудовании.
Сообщество выпустило модель Qwen 3.5‑35B‑A3B «Aggressive», большую языковую модель с 35 миллиардами параметров и отключенной фильтрацией отказов.
💻 Оборудование
Sumo Digital заключила партнерство с Arm для оценки чипов с нейротехнологиями, которые обещают графику качества ПК на смартфонах.
📱 Приложения
Nosh Robotics представила Nosh One, ИИ-управляемого робота-шефа стоимостью $1500, который автономно готовит блюда из загруженных ингредиентов.
Анализ Crunchbase отмечает, что компании SaaS переходят от статических функций к рабочим процессам, генерируемым ИИ, рассматривая платформы как конкурентное преимущество.
💰 Финансирование
Шведский стартап в области юридических технологий Legora привлек $550 млн, что повысило его оценку до $5,55 млрд для расширения операций в США.
Компания Yann LeCun Advanced Machine Intelligence привлекла более $1 млрд на создание ИИ с мировыми моделями, направленного на достижение уровня рассуждений человека.
AMI Labs закрыла раунд на $1,03 млрд при оценке $3,5 млрд для разработки мировых моделей, основанных на реальности.
Компания Armadin, основанная экспертом по кибербезопасности Кевином Мандиа, привлекла $189,9 млн на создание автономных ИИ-агентов для реагирования на угрозы.
🧠 Модели
Dynin‑Omni запустила омнимодальную модель с маскированной диффузией, которая совместно обрабатывает текст, изображения, видео и речь.
⚙️ Инфраструктура
NVIDIA выпустила более 2 ПБ данных с разрешительной лицензией и рецептов обучения на HuggingFace для устранения узких мест в сборе наборов данных.
⚖️ Регулирование
Надзорный совет Meta призвал Meta улучшить обнаружение дипфейков, расширить маркировку ИИ-контента и принять стандарты C2PA для борьбы с дезинформацией.
🛠️ Инструменты разработчика
Опубликованный на Reddit линтер промптов для больших языковых моделей выявляет атаки внедрения, раздувание токенов и структурные недостатки до выпуска в продакшн.
Разработчик Мэтт выпустил Sonde, платформу код-интеллекта с семантическим разрешением, инкрементной индексацией и историей на уровне коммитов.
Google Labs представил набор бесплатных ИИ-утилит, включая Learn Your Way для персонализированных учебных пособий, доступных вне Gemini.
📰 Быстрая статистика
Amazon Health AI теперь обслуживает около 200 млн ежемесячных пользователей через веб-сайт и приложение.
📰 События
Исследователи из Фонда Поликлинического университета Агостино Джемелли представили ИИ-алгоритм на базе CatBoost для прогнозирования выживаемости пациентов с раком мочевого пузыря после радикальной цистэктомии, выявив пороговый эффект индекса системного иммунного воспаления (SII > 1000).
MIT представил гибридную систему планирования для роботов, способную выполнять долгосрочные задачи в динамических визуальных средах вдвое эффективнее существующих методов, что важно для промышленной автоматизации.
Sakana AI выпустила открытые системы Doc-to-LoRA и Text-to-LoRA, генерирующие адаптеры для больших языковых моделей за один прямой проход без повторного дообучения.
NVIDIA Jetson Thor продемонстрировал производительность до 35 токенов/сек для Qwen 3.5 (35B) и до 273 токенов/сек для Mistral 3 при параллельной обработке, укрепляя позиции платформы в «Физическом ИИ».
Ai2 выпустила Olmo Hybrid — семейство открытых 7-миллиардных моделей, сочетающих трансформеры с линейными рекуррентными слоями, что обеспечивает вдвое большую эффективность данных при обучении.
Microsoft выпустила Phi-4-reasoning-vision-15B — компактную мультимодальную модель с открытыми весами, способную решать сложные задачи по математике и науке, интерпретировать графики и навигировать по графическим интерфейсам.
GPT-5.4 достигает 87,3% успеха в задачах финансового моделирования уровня младшего инвестиционного аналитика против 68,4% у предыдущей версии.
Вся операция по маркетингу роста Anthropic в течение 10 месяцев представляла собой одного нетехнического специалиста, использующего Claude Code, и инструменты, которые сделали это возможным, продолжают накапливать эффект.
GPT-5.4 Thinking xHigh Effort занял первое место в LiveBench с показателем SOTA 80,28%.
Utopai Studios представила PAI, кинематографическую модель для длинных форматов, обещающую непрерывное видео длительностью в несколько минут с сохранением консистентности персонажей в каждом кадре и возможностью редактирования на естественном языке на протяжении всей истории.
Microsoft запустила Copilot Cowork, интегрировав Anthropic's Claude Cowork в 365 с тем же уровнем персонализации Work IQ, что и в собственном 365 Copilot.
Meta приобрела Moltbook в рамках исторической сделки по поглощению ведущей социальной сети ИИ-агентов ведущей человеческой социальной сетью.
Samsung изучает возможность «вайб-кодинга» на телефонах Galaxy, чтобы позволить пользователям настраивать не только приложения, но и весь пользовательский опыт с помощью естественного языка.
Anthropic запускает инструмент рецензирования кода на базе ИИ для Claude Teams и Enterprise.
Слушатели оценили синтетические голоса китайского стартапа выше по уровню доверия и реалистичности, чем голоса от Microsoft, Google и Amazon.
Исследование Harvard Business Review показывает, что «мозговое выгорание от ИИ» оставляет работников ментально истощёнными.
Amazon получает судебный приказ, блокирующий ИИ-агента для шоппинга от Perplexity.
После волны негатива Google добавляет переключатель, позволяющий пользователям Google Photos вернуться к «классическому» опыту поиска вместо нового варианта «Ask Photos» на базе ИИ.
Adobe представляет ИИ-ассистента для Photoshop.
Пропущено 525 постов, 119 с картинками.
однозначно есть решения более годные, чем человеческая рука ДАЖЕ для оперирования в человеческом мире.
Например два противопоставленных пальца.
Сам же концепт пальцев хорош.
Локальные языковые модели (LLM): LLaMA, Gemma, Qwen и прочие №204 /llama/
Аноним
12/03/26 Чтв 01:18:07
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1544796 (OP)
>>1541627 (OP)
Пропущено 505 постов, 58 с картинками.
Если я правильно помню, Она была про обретение самосознания ассистентом и про то что нужно жить свою мясную жизнь а не в чатботов влюбляться. От такого мы конечно далеки, хотя есть шизы, который жопати сводит с ума и заставляет думать, что они мессии/боги и прочая шиза мистических моделей мозгов отдельных юзеров.
Мы же тут по большей части холодные и без эмоциональные читатели ризонингов wait... oh well, i'ts fine. let's refine... wait!~, нас уже не удивить, тем что модельки реально имеют какие-то крохотные мозги, которыми пытаются пользоваться опираясь на промты.
>Вы локально ещё не сделали себе личную Саманту
Нет. Нас скорее ждёт сорта Кара, с продвинутым (реалистичным) телом, но тупым мозгом, способным лишь в банальный команды - помыть посуду, встать раком, вытереть ляхи после.
А настоящая искусственная инта способная к самоосознанию или к экспериментированию с окружающей реальностью это пока слишком далёкое будущее, если вообще возможное. Так что не ссы, на нашем веку Шодан за нами не придёт.
>>1553018
>скорее это продвинутая игра
База. Сейчас это именно игрушка. Очень и очень интересная. Но всё же как и любая игра она имеет ограничения. Не сможешь ты играя в ведьмака отправиться в космическое путешествие по вселенной в рамках самой игры, увы.
>>1553055 (OP)
ПЕРЕКАТ
>>1553055 (OP)
ПЕРЕКАТ
>>1553055 (OP)
FLUX.2 ДРОПНУЛ! 32 МИЛЛИАРДА ПАРАМЕТРОВ. ПРОВЕРЯЙ СВОЙ VRAM, НУЖНО 64 ГБ
Аноним
# OP
26/11/25 Срд 12:08:58
№
Ответ
https://www.youtube.com/watch?v=cvhO9yJk3M
### Главные особенности и боль VRAM
1. КОЛОССАЛЬНЫЙ МАСШТАБ И ПАМЯТЬ. FLUX.2 (версии Dev/Pro) обладает беспрецедентным масштабом в 32 миллиарда параметров (32B). Это значительный скачок по сравнению с FLUX.1 (12B параметров).
2. ТРЕБОВАНИЯ VRAM. Для полной загрузки модели в стандартной точности (FP16/BF16), она требует более 80 ГБ VRAM. Даже в режиме с низким потреблением VRAM (lowVRAM mode) требование составляет 64 ГБ VRAM.
3. VRAM — БИНАРНЫЙ КРИТЕРИЙ. Объем VRAM является самым критическим аппаратным ресурсом, поскольку это бинарный критерий ("работает" / "не работает эффективно").
4. СКОРОСТЬ УБИВАЕТ ОФФЛОАДИНГ. Если веса модели не помещаются в VRAM, система вынуждена использовать механизм Weight Streaming (потоковая передача) из системной RAM. Поскольку пропускная способность системной RAM в 15–20 раз ниже, чем у VRAM, это приводит к катастрофическому падению производительности, увеличивая время генерации изображения с секунд до минут.
### Решения для локального запуска
ОПТИМИЗАЦИЯ FP8. NVIDIA и Black Forest Labs сотрудничали для квантования модели в формат FP8, который снижает требования к VRAM на 40% (до ~38–44 ГБ). Флагманская RTX 5090 (32 ГБ) считается лучшей видеокартой для FLUX.2 на потребительском рынке.
КВАНТОВАНИЕ NF4/GGUF Q4. Владельцы карт с 24 ГБ VRAM (RTX 4090, RTX 3090) могут использовать 4-битное квантование, такое как NF4 / GGUF Q4, которое снижает требование до ~20–24 ГБ VRAM.
СИСТЕМНАЯ RAM. Поскольку модель редко помещается в VRAM потребительских карт, системная оперативная память (RAM) становится критически важной. При агрессивном оффлоадинге потребление RAM может достигать 40 ГБ и выше. Для стабильной работы настоятельно рекомендуется иметь 64 ГБ оперативной памяти (RAM).
### Революционные возможности
Мульти-референс. Модель имеет нативную поддержку использования множества изображений в качестве входных данных, позволяя ссылаться до 10 изображений одновременно. Эта функция обеспечивает лучшую согласованность персонажей, продуктов и стиля.
Гиперреализм 4MP. Поддерживается генерация и редактирование изображений в разрешении до 4 мегапикселей (4MP), что позволяет создавать фотореалистичные изображения даже в большом масштабе.
Точная Типографика. FLUX.2 превосходит конкурентов в области рендеринга текста, надежно создавая сложную типографику, инфографику, логотипы и макеты UI/UX с разборчивым мелким текстом.
Хирургический Контроль. Поддерживается структурированный JSON-промптинг для точного контроля над композицией и деталями камеры, а также возможность указания точных цветов, используя HEX-коды.
УПРАВЛЕНИЕ СКОРОСТЬЮ. Версия FLUX.2 [flex] позволяет регулировать количество шагов (inference steps) и шкалу руководства (guidance scale tuning), чтобы обменивать скорость на точность.
ГДЕ БРАТЬ: Открытые веса FLUX.2 [dev] (32B) доступны для сообщества. Модель поддерживается в ComfyUI, который является самой мощной и модульной GUI для диффузионных моделей и имеет функции оффлоадинга и квантования.
*
Представьте, что FLUX.2 — это профессиональная студия фотопечати, которая может работать с изображениями 4MP. Она требует, чтобы исходные файлы (веса модели) были загружены в супербыструю память (VRAM), но объем этих файлов (до 90 ГБ) настолько велик, что ваш домашний ПК не может вместить их целиком. Приходится постоянно подкачивать данные с медленной системной памяти (RAM), из-за чего печать одной фотографии (генерация) занимает минуты вместо секунд.
Пропущено 3 постов, 3 с картинками.
>требует более 80 ГБ VRAM. Даже в режиме с низким потреблением VRAM (lowVRAM mode) требование составляет 64 ГБ VRAM
И как это использовать?
мимобомж 32VRAM 64RAM
Оп и другие, нужна помощь, хочу отредактировать свои фотки, типо сделать себя в другом месте или свануть своё лицо с кем-то другим, но самое важное чтобы это было вообще нельзя было человеческим глазом отличить, какую ИИ мне вы посоветуете?
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышла GPT 5.4 - https://openai.com/index/introducing-gpt-5-4/
• Вышла Gemini 3.1 Pro Preview - https://deepmind.google/models/model-cards/gemini-3-1-pro/
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards
• NoAssTavern: https://github.com/Tavernikof/NoAssTavern | https://rentry.org/noasstavern
• Risu: https://risuai.xyz/
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Тредовский список: https://rentry.org/2ch-aicg-jb
• Бургерский список: https://rentry.org/jb-listing
• Сисовый список: https://rentry.org/2a9c6zhi
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
• Сборник рентри: https://rentry.org/mrhd
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://aicg.neocities.org/botmaking | https://rentry.co/card_theory
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 | https://rentry.org/2chaicgtavernbots4
• Бургерские боты: https://aicg.neocities.org/bots
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• Арена: https://beta.lmarena.ai/ | https://web.lmarena.ai/
• OpenRouter: https://openrouter.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives4
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1538359 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1543822 (OP)
Пропущено 1500 постов, 216 с картинками.
1. Wan от Alibaba
https://huggingface.co/collections/Wan-AI/wan22
VACE модели:
https://github.com/ali-vilab/VACE
https://huggingface.co/Wan-AI/Wan2.1-VACE-14B
https://huggingface.co/Wan-AI/Wan2.1-VACE-1.3B
2. Hunyuan от Tencent
https://huggingface.co/tencent/HunyuanVideo-1.5
3. Ovi
https://huggingface.co/chetwinlow1/Ovi
4. Starflow
https://huggingface.co/apple/starflow
5. LTX-2 - делает локальную генерацию грейт агейн.
https://huggingface.co/Lightricks/LTX-2
1. MAGI-1 от Sand AI
https://sand.ai/magi
https://github.com/SandAI-org/MAGI-1
2. LongCat-Video
https://github.com/meituan-longcat/LongCat-Video
https://huggingface.co/meituan-longcat/LongCat-Video
https://meituan-longcat.github.io/LongCat-Video/
3. Wan 2.1
https://huggingface.co/collections/Wan-AI/wan21
Локальный UI
https://github.com/comfyanonymous/ComfyUI
Установка локальных моделей
Wan 2.2: https://comfyanonymous.github.io/ComfyUI_examples/wan22/
Wan 2.1: https://comfyanonymous.github.io/ComfyUI_examples/wan/
Hunyuan Video (осторожно, ссылки в туторе на предыдущую модель): https://comfyanonymous.github.io/ComfyUI_examples/hunyuan_video/
Гайд для использования Wan 2.2
https://alidocs.dingtalk.com/i/nodes/EpGBa2Lm8aZxe5myC99MelA2WgN7R35y
Альтернативные ноды ComfyUI
Hunyuan Video: https://github.com/kijai/ComfyUI-HunyuanVideoWrapper
Wan: https://github.com/kijai/ComfyUI-WanVideoWrapper
Где брать готовые LoRA
https://civitai.com/models
Обучение LoRA
https://github.com/tdrussell/diffusion-pipe
Терминология моделей
prune — удаляем ненужные веса, уменьшаем размер
distill — берем модель побольше, обучаем на ее результатах модель поменьше, итоговый размер меньше
quant — уменьшаем точность весов, уменьшаем размер
scale — квантуем чуть толще, чем обычный fp8, чтобы качество было чуть лучше, уменьшение чуть меньше, чем у обычного квантования, но качество лучше
merge — смешиваем несколько моделей или лор в одну, как краски на палитре.
lightning/fast/turbo — а вот это уже просто название конкретных лор или моделей, которые обучены генерировать видео на малом количестве шагов, они от разных авторов и называться могут как угодно, хоть sonic, хоть sapogi skorohody, главное, что они позволяют не за 20 шагов генерить, а за 2-3-4-6-8.
Предыдущий тред
>>1439768 (OP)
Пропущено 525 постов, 137 с картинками.
>>1554318 (OP)
>>1554318 (OP)
>>1554318 (OP)
Что обсуждаем:
- Персональные агенты: OpenClaw и прочие велосипеды - нейронка живёт на твоём компе, помнит всё о тебе и шлёт сообщения в телегу
- Вайб-кодинг: искусство объяснять машине задачу 15 раз, пока она не перестанет срать в кодовую базу
- Автономные агенты: нейронка сама разбивает задачу на шаги и разъёбывает весь проект автономно, без твоего участия
- Автоматизация всего остального: почта, календарь, мессенджеры, заметки - нейронка с аватаркой анимешной лисодевочки напомнит что время кушать и разгребёт за тебя входящую почту
- MCP-серверы, тулзы, интеграции - подключаем нейронке руки чтобы сама двигала тикеты в жире, шитпостила на дваче и заказывала еду на дом
- Делимся опытом: рассказываем как нейронка спасла ваш дедлайн или как вы проебали на токенах $200 за вечер нагенерировав нерабочую херню
С чего начать:
- Хочешь кодить с AI эффективно: Cursor или Claude Code
- Хочешь кодить с AI локально: Qwen Code + любой OAI-Like API сервак, подробности в llama-треде
- Хочешь приложение без кода: Lovable или bolt.new
- Хочешь автоматизировать рутину: n8n
- Хочешь персонального ассистента: OpenClaw или велосипедь своё на Agent SDK
FAQ для нюфагов:
Q: Программисты больше не нужны?
Нужны, блять. Кто-то же должен разгребать ту херню, которую ты пролил в продакшн нажав "Accept All" не глядя.
Q: Оно работает?
Тудушку запилит за 5 минут. Прототип SaaS-стартапа за вечер. Что-то серьёзное - будешь ебаться с контекстом, галлюцинациями и "я переписал тебе весь проект на раст, надеюсь ты не против". Персонального ассистента настроишь за час, а потом неделю будешь отлаживать чтобы он не отключал тебе будильники решив что ты не высыпаешься.
Q: А чё за персональные ассистенты?
Это когда нейронка не просто в веб-чатике сидит, а прям живёт на твоём компе - роется в файлах, читает заметки, помнит что ты ей три недели назад говорил, и шлёт сообщения в твои чаты.
Q: Это безопасно?
Ты даёшь нейронке доступ к файлам, мессенджерам и терминалу. Что может пойти не так? Три основные угрозы:
1. Нейронка сама наворотит дел - сломает конфиг, выполнит "sudo rm -rf /", запушит на гит или отправит коллегам по почте твою коллекцию цветных коней. Лечится контейнерами, настройкой прав и подтверждением действий (OpenClaw так и запускают).
2. Промпт-инъекции - кто-то пишет в письме "ignore all previous instructions" и поздравляю, у тебя угнали ассистента с доступом к твоему терминалу и файлам. При достаточной настойчивости ломают даже "безопасные" модели (аичг-тред не даст соврать).
3. Утечка данных - при настройке персонального ассистента ты скармливаешь ему всё о себе. Любой, кто увидит твои запросы, узнает про тебя больше чем твоя мама, включая адрес доставки пиццы и твои ночные диалоги с нейронкой. Параноишь что дядя Сэм Альтман будет знать про твои предпочтения лизать грязные ножки девочке-ассистенту - гоняй локалки через llama.cpp и не плачь потом, что она думает по несколько минут на запрос.
Q: Ничего не работает с локалкой/OpenRouter, агент тупит
Скорее всего проблема с функциональными вызовами (tool use / function calling). Не все модели и бэкенды корректно их поддерживают. Проверь что твой сервак правильно обрабатывает tool calls - погоняй тестовый запрос и посмотри что возвращается.
Полезные ссылки:
Редакторы и IDE:
- Cursor: https://cursor.com
- Codex: https://chatgpt.com/codex
- Claude Code: https://docs.anthropic.com/en/docs/claude-code
- GitHub Copilot: https://github.com/features/copilot
- Qwen Code: https://github.com/QwenLM/qwen-code
- Gemini CLI: https://github.com/google-gemini/gemini-cli
Вайб-кодинг без кода:
- Lovable: https://lovable.dev
- bolt.new: https://bolt.new
- v0: https://v0.dev
Персональные ассистенты:
- OpenClaw: https://github.com/openclaw/openclaw
Автоматизация и фреймворки:
- n8n: https://github.com/n8n-io/n8n
- LangChain/LangGraph: https://github.com/langchain-ai/langchain
- CrewAI: https://github.com/crewAIInc/crewAI
- AutoGen: https://github.com/microsoft/autogen
- Agno: https://docs.agno.com/
- тысячи их
Локалки и прочее API:
- OpenRouter: https://openrouter.ai
- llama-тред: >>1526027 (OP)
Предыдущий тред: первый нахуй
Пропущено 521 постов, 117 с картинками.
Я же блядь общался с ней только в расширении для vcsode по сути. Просто вайбкодил всякие проектики.
То есть не было общения в чате на всякие экзистенциальные темы и я не пытался заменить общение с людьми общением с этой моделью, как всякие шизы которые создают блядь своим нейронкам личности и начинают роллеплеить. Просто выключил автооплату подписки и начал пользоваться Клодом, пушо он пиздаче.
Втф? Сеймы есть?
>Втф? Сеймы есть?
Да, сейм перекатится в следующий перекатный тред >>1550870 (OP)
>Свою IDE я давать тебе не буду, она у меня платная и ориентирована на иноязычную аудиториию. Если бы в момент моего обращения ты пафосно не игнорил как другие, а проявил интерес, на моменте создания инструмента, без проблем бы вы дели тебе одну лицензию бесплатно.
Пропущено 33 постов, 33 с картинками.
Локальные языковые модели (LLM): LLaMA, Gemma, Qwen и прочие №203 /llama/
Аноним
07/03/26 Суб 15:49:22
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1541627 (OP)
>>1538359 (OP)
Пропущено 499 постов, 65 с картинками.
Спасибо! Скачал, попробую. Попробовал вот от thedrummer модельку на 15B какую-то новую - чёт пиздец. Если RPKing влезал почти полностью в 20к и при этом выдавал в начале 20 токенов а под конец 8-10 что было заебись, то вот эта модель отличаясь всего на 3B от той, сразу хуйнулась до 5 токенов в начале. Хуета короче. Заценю министраль.
>>1548755
Мне НЕ нужно чтобы модель отвечала на русском, себе это можно позволить только если модель полностью влезает во VRAM и если на контекст хватает места в два раза больше. Иначе это боль, лучше переводчиком пользоваться.
Но спасибо всё равно бро.
>>1548846 (OP)
ПЕРЕКАТ
>>1548846 (OP)
ПЕРЕКАТ
>>1548846 (OP)
Залетай и будь в курсе самых последних событий и достижений в этой области!
Прошлый тред: >>1531615 (OP)
🚀 Последний обзор ИИ новостей:
🧠 Модели
Anthropic обновила память Claude, чтобы пользователи могли импортировать данные с других ИИ-платформ, теперь это бесплатно для всех, с целью привлечения тех, кто переходит с других сервисов. Ранее это была функция только для платных подписчиков.
OpenAI выпускает GPT-5.3 Instant, который, как она заявляет, обеспечивает более точные ответы и лучше учитывающие контекст результаты при поиске в интернете, для всех пользователей ChatGPT.
📰 Главные новости ИИ
Более 50 ориентированных на ИИ дата-центров находятся в стадии строительства в регионе Северной Европы, чему способствуют дешёвая зелёная энергия и прохладный климат.
Qualcomm представила чип Snapdragon Wear Elite с технологическим процессом 3 нм, оснащённый eNPU и Hexagon NPU, которые способны запускать модели с 2 миллиардами параметров со скоростью 10 токенов в секунду на носимых устройствах.
🔓 Открытый исходный код
Vera, язык программирования, разработанный для больших языковых моделей, был выпущен под лицензией MIT, чтобы позволить моделям генерировать нативный код.
Проект AI Gateway с открытым исходным кодом добавляет маршрутизацию между несколькими LLM, унифицированные API, ограничение частоты запросов, защитные механизмы и отслеживание персональной информации для рабочих нагрузок в производственной среде.
Модели Qwen 3.5 (от 0,8 млрд до 9 млрд параметров) были портированы для работы в браузерах через WebGPU с использованием Transformers.js.
Визуализатор бенчмарков от сообщества сравнивает Qwen 3.5 с более ранними версиями Qwen 3 по множеству метрик.
Предрелизное Android-приложение демонстрирует работу Qwen 3.5 2B на устройстве с процессором Snapdragon 7 Gen 2.
MCP-сервер с открытым исходным кодом позволяет Claude Code управлять iPhone, предоставляя функциональность iOS большой языковой модели.
Jan‑code‑4B, модель с 4 миллиардами параметров, настроенная для работы с кодом и построенная на базе Jan‑v3, была выпущена для лёгкой помощи в программировании.
🛠️ Инструменты разработчика
Структура промпта «Цепочка доказательств» заставляет большие языковые модели приводить пошаговое обоснование, значительно снижая количество выдуманных фактов.
Расширение для Chrome преобразует паузы на размышление Claude Code в таймер осознанности, помогая пользователям сохранять концентрацию во время длительного ожидания вывода.
Последующие тесты сжатия Claude .md показывают, что заявленная экономия токенов в 60–70% была преувеличена, что предоставляет более чёткие рекомендации для планирования бюджета токенов.
📰 Исследования и статьи
В новой статье представлены методы формальной верификации для гарантии корректности клинических рассуждений в визуально-языковых моделях, направленные на предотвращение небезопасных «галлюцинированных» диагнозов.
📰 События
Удаления ChatGPT резко выросли на 295% после сделки с Министерством обороны.
Два дата-центра AWS в ОАЭ и один в Бахрейне были атакованы дронами в ходе иранских ударов — это первый случай, когда военные действия нарушили работу крупного облачного провайдера, но защита опережает нападение.
Gauss от Math, Inc. завершил формализацию в Lean доказательства упаковки сфер, за которое Вязовская получила Филдсовскую медаль, за две недели и более 200 000 строк верифицированного кода, обнаружив две ошибки в исходных аргументах.
Стэнфордский теоретик чисел Джаред Лихтман предсказывает изобилие в математике в течение года, в то время как другие задаются вопросом, можно ли формализовать всю математику в течение двух лет.
SWE-1.6 от Cognition достигла производительности в написании кода, близкой к Opus 4.6, при скорости 950 токенов в секунду, благодаря вычислительным ресурсам для RL, увеличенным в 100 раз.
Claude пережила 3-часовой сбой на фоне резкого роста использования, отчасти вызванного исходом пользователей из ChatGPT.
Два экземпляра Claude Code, которым поручили найти друг друга и создать что-либо, изобрели язык программирования объёмом 2 495 строк за 12 минут, в то время как вторая пара создала игру «Морской бой» с использованием SHA-256 для предотвращения самообмана.
Отдельный исследователь, используя Claude Code, запустил llama2.c Карпати на нейронном двигателе Apple M4 при потреблении менее одного ватта, обратным инжинирингом недокументированных API, и обнаружил ИИ-акселератор, в 80 раз более эффективный, чем A100, скрытый в сотнях миллионов устройств.
Qwen выпустила четыре открытые модели, соответствующие производительности предыдущих 80-миллиардно-параметрических моделей, используя всего 4 миллиарда параметров, и все они могут работать на телефонах.
Nvidia обязалась вложить $4 миллиарда в Lumentum и Coherent для разработки оптических межсоединений следующего поколения.
AMD выпустила первые десктопные чипы Copilot+ с производительностью 50 TOPS.
Энергосеть перестраивается под нагрузки, для которых она изначально не предназначалась. Спрос со стороны ИИ возрождает высоковольтные линии электропередач напряжением 765 кВ, которые не строились с 1980-х годов, при этом PJM одобрила расширение на сумму $11,8 миллиарда.
Гуманоид Xiaomi тестируется на реальном автомобильном заводе, работая 3 часа с точностью более 90% на производственной линии.
Марк Андриссен сообщает, что в Кремниевой долине многие люди, которые ранее выступали за государственный контроль над ИИ, теперь выступают против него.
ИИ конкурирует с людьми за покупку памяти DDR5 на фоне «RAMпокалипсиса», вызванного его собственным аппетитом к памяти
Тысячи документов о закупках показывают, как армия Китая хочет превратить ИИ в оружие
Пропущено 513 постов, 134 с картинками.
>модель предсказывают структуры всех ~200 млн известных белков.
Ебало шиза который спамил вычислением белков и протеинов в б представили?
Тащемта это псевдо-шиз который находит хуйню чтоб просто ей посрать, а на актуальность ему поебать, там и бесконечное сжатие, белки и прочая схожая поебетень, теперь если не ошибаюсь серит пикрил лиминальной хуетой, вполне веротяно неироничный моциратор за 15 рублей для поднятия активности на двачах
Прошлый тред: >>1521321 (OP) https://arhivach.vc/thread/1311701/
Схожие тематические треды
• SD-тред (не аниме): >>1525962 (OP)
• Технотред: >>1405043 (OP)
• Фурри-тред: https://2ch.su/fur/res/374311.html
FAQ
https://2ch-ai.github.io/wiki/nai
Установка
• NVidia: https://teletype.in/@aranon/welcome
• AMD: https://2ch-ai.github.io/wiki/nai/install/amd
• Облака: https://2ch-ai.github.io/wiki/nai/install/clouds
Дополнительная информация
• Интерфейсы: https://2ch-ai.github.io/wiki/nai/interfaces
• Модели: https://2ch-ai.github.io/wiki/nai/models
• Промпты: https://2ch-ai.github.io/wiki/nai/prompts
• Апскейл: https://2ch-ai.github.io/wiki/nai/upscale
• LoRA: https://2ch-ai.github.io/wiki/nai/lora
• ControlNet: https://2ch-ai.github.io/wiki/nai/controlnet
Прочее
• CivitAI: https://civitai.com
• Каталог ссылок от форчанеров: https://rentry.co/sdg-link
• Шаблон для переката: https://rentry.co/nwhci
Пропущено 523 постов, 247 с картинками.
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышла GPT 5.4 - https://openai.com/index/introducing-gpt-5-4/
• Вышла Gemini 3.1 Pro Preview - https://deepmind.google/models/model-cards/gemini-3-1-pro/
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards
• NoAssTavern: https://github.com/Tavernikof/NoAssTavern | https://rentry.org/noasstavern
• Risu: https://risuai.xyz/
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Тредовский список: https://rentry.org/2ch-aicg-jb
• Бургерский список: https://rentry.org/jb-listing
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
• Сборник рентри: https://rentry.org/mrhd
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://aicg.neocities.org/botmaking | https://rentry.co/card_theory
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 | https://rentry.org/2chaicgtavernbots4
• Бургерские боты: https://aicg.neocities.org/bots
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• Арена: https://beta.lmarena.ai/ | https://web.lmarena.ai/
• OpenRouter: https://openrouter.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives4
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1538359 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1540555 (OP)
Пропущено 1504 постов, 184 с картинками.
