БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• NoAssTavern: https://github.com/Tavernikof/NoAssTavern | https://rentry.org/noasstavern
• Risu: https://risuai.xyz/
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Тредовский список: https://rentry.org/2ch-aicg-jb
• Бургерский список: https://rentry.org/jb-listing
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
• Сборник рентри: https://rentry.org/mrhd
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list | https://rentry.co/card_theory
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• Арена: https://beta.lmarena.ai/ | https://web.lmarena.ai/
• OpenRouter: https://openrouter.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives4
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1408486 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1411191 (OP)
Пропущено 1501 постов, 170 с картинками.
Даже на гитхабе можно спокойно пейды находить. Ревокаются только ключи попавшие в поисковой индекс, т.е. которые ты и находишь в поиске по сути. Тебе нужно сохранять все репозитории, которые ты находил с протекшими пейд ключами (но уже ревокнутыми), и отдельно их уже скачивать спустя время, обычно разрабы додики увидев ошибку в кончоли пересоздают ключ, и коммитят изменения в репозиторий, и можно спокойно пробегать по файлам и чекать, не изменились ли они. В итоге у тебя есть с большой вероятностью новый ключ, о котором даже не знает еще гитхаб, т.к. не проиндексировал еще, и соответственно не отправил гаглу на ревок.
Я обычно веду таблицу гемини-ключ / html_url из выдачи апи поиска. На примере: "html_url": "https://github.com/anixsam/pothole_pinger/blob/f1c96226ef89112c9df01102a975c9bfb736cae9/key.txt" Вот тут меняешь f1c96226ef89112c9df01102a975c9bfb736cae9 на и получаешь https://github.com/anixsam/pothole_pinger/blob/main/key.txt который надо периодически дергать и грепать на новый ключ. Надеюсь понял, если программист поймешь.
>ошибку в кончоли
Обосрался. Опечатался, а теперь возьму в лексикон свой. Кончоль. Ебать. Впервые слышу, неужели никто до такого еще не додумался шутить?
Локальные языковые модели (LLM): LLaMA, Gemma, Qwen и прочие №176 /llama/
Аноним
06/11/25 Чтв 02:39:07
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под ExllamaV2 (а в будущем и под v3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd )
• Неактуальные списки моделей в архивных целях: 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1404870 (OP)
>>1400555 (OP)
Пропущено 518 постов, 75 с картинками.
>>1413912 (OP)
ПЕРЕКАТ
>>1413912 (OP)
ПЕРЕКАТ
>>1413912 (OP)
Прошлый тред: >>1393409 (OP)
🚀 Последний обзор ИИ новостей:
📰 Главные новости ИИ
- OpenAI заключила сделку на500млрддолларов, получив капитал для расширения ИИ‑инфраструктуры и реализации триллионных рыночных амбиций.
- OpenAI подписала крупное партнёрство сMicrosoft, получив финансовую и техническую поддержку для ускорения выпуска продуктов.
🧠 Модели
- DeepSeek выпустила OCR‑модель, преобразующую изображения в визуальные токены, обещая меньшую вычислительную нагрузку и сокращённый углеродный след при запоминании ИИ.
- InternLM представила JanusCoder и JanusCoderV — открытые модели, создающие единый визуально‑программный интерфейс для интеллектуального кода.
🏭 Компании
- Рыночная капитализация Nvidia превысила5трлндолларов, укрепив её доминирование в чипах для ИИ, но привлекла внимание регуляторов из‑за экспортных ограничений США‑Китай.
- Генеральный директор Box Аарон Леви предупредил, что ИИ‑агенты будут дополнять, а не заменять SaaS, и подтолкнут корпоративное ПО к моделям оплаты по использованию.
📱 Приложения
- Worldpay интегрировала протокол Agentic Commerce от OpenAI, позволяя пользователям ChatGPT в США мгновенно завершать покупки с безопасными платёжными потоками.
- Лос‑Анджелес совместно с Google Public Sector внедряет Google Workspace с Gemini для 27500 сотрудников, повышая продуктивность за счёт ИИ‑поддержки.
- Вейл, штат Колорадо, принял платформу умного города от HPE с ИИ‑дополнением для раннего обнаружения лесных пожаров, используя аналитику камер и геопространственные данные.
💰 Финансирование
- OpenAI готовится к IPO, которое может оценить компанию до1трлндолларов, отражая её лидерство на рынке.
- Финансовый директор OpenAI отметил партнёрство с Microsoft как катализатор ускоренного привлечения капитала и доступа к ресурсам.
- Microsoft сообщил о росте расходов на ИИ на74% до34,9млрддолларов, планируя масштабное расширение дата‑центров для поддержки ИИ‑нагрузок.
⚖️ Регулирование
- Сенаторы США представили закон GUARD Act, запрещающий несовершеннолетним пользоваться чат‑ботами ИИ и требующий проверку возраста.
- ЕС изучает, следует ли отнести ChatGPT к «очень крупным онлайн‑поисковым системам» по Digital Services Act, что потребует большей прозрачности и оценки рисков.
- Character.ai запретит пользователям до18лет вести открытые беседы с чат‑ботами после судебных разбирательств, переключаясь на функции видеорассказов.
- Генеральный прокурор Калифорнии объявил о продолжающемся надзоре за переходом OpenAI в коммерческую структуру, несмотря на сохранение некоммерческого подразделения.
💻 Аппаратное обеспечение
- Extropic представила Thermodynamic Sampling Unit (TSU) — вероятностный чип, который, по заявлению, в10000 раз энергоэффективнее традиционных GPU.
- Президент Трамп намекнул на возможность продажи чипов Nvidia Blackwell в Китай, вызвав критику из‑за угроз национальной безопасности.
📦 Продукты
- Google начал ранний доступ к Gemini for Home, обновляя устройства Nest генеративным голосовым помощником ИИ.
- Adobe представила «Corrective AI» — функцию, позволяющую менять эмоциональный тон озвучки и автоматически отделять звуковые элементы.
- IBM выпустила IBM Defense Model — защищённую специализированную ИИ‑систему, построенную на данных Janes для критически важных задач обороны.
🛠️ Инструменты для разработчиков
- Qubrid AI запустила Advanced Playground, токен‑ориентированную платформу для запросов по требованию, работающую на инфраструктуре NVIDIA AI.
- Gemini CLI от Google получила расширение Jules, позволяющее асинхронно выполнять задачи под управлением ИИ и ускорять рабочие процессы разработчиков.
- NotebookLM расширил контекстное окно в8 раз и память диалогов в6 раз, что даёт возможность проводить более глубокие, целенаправленные исследования.
- Отчёт Digital.ai «State of Agile» предупреждает, что утечка данных — главный риск при интеграции ИИ в agile‑процессы разработки.
🔓 Открытый код
- Kani выпустила TTS‑модель с400млн параметров, работающую в5 раз быстрее реального времени на RTX4080, расширяя возможности мультиязычного синтеза речи.
- Qwen‑3‑VL теперь доступна для скачивания через Ollama во всех размерах, подтверждая возможность локального развертывания.
- Rednote‑Hilab опубликовала dots.llm2, модель Mixture‑of‑Experts143млрд параметров, поддерживаемую llama.cpp, расширяя открытые крупномасштабные варианты.
- MiniMax M2 добавила поддержку GGUF в llama.cpp, обеспечивая эффективный вывод новой семейства моделей.
📰 Безопасность ИИ
- Исследователи по кибербезопасности обнаружили, что браузер Atlas от OpenAI можно захватить через специально сформированные URL, заставив выполнить произвольные инструкции, что подчёркивает высокий риск в инструментах ИИ для веб‑браузеров.
📰 Быстрые цифры
- OpenAI привлекла инвестицию500млрддолларов для масштабирования ИИ.
- Рыночная капитализация Nvidia достигла5трлндолларов — первый случай для технологической компании.
- Расходы Microsoft на ИИ выросли на74% до34,9млрддолларов в этом году.
- Потенциальное IPO OpenAI может оценить компанию до1трлндолларов.
- Чип TSU от Extropic обещает до10000‑кратного повышения энергоэффективности по сравнению с современными GPU.
Пропущено 503 постов, 203 с картинками.
Студентам это всё равно нужно уметь решать. Чтобы проверять за вольфрамом/нейронками.
Иначе произойдёт резкая деградация инженерии.
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• NoAssTavern: https://github.com/Tavernikof/NoAssTavern | https://rentry.org/noasstavern
• Risu: https://risuai.xyz/
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Тредовский список: https://rentry.org/2ch-aicg-jb
• Бургерский список: https://rentry.org/jb-listing
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
• Сборник рентри: https://rentry.org/mrhd
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list | https://rentry.co/card_theory
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• Арена: https://beta.lmarena.ai/ | https://web.lmarena.ai/
• OpenRouter: https://openrouter.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives4
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1408486 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1408862 (OP)
Пропущено 1503 постов, 216 с картинками.
Причём где-то раз в сутки позволяет зарегистрировать, но больше одного акка за раз - нет. Как это работает вообще? Как продавцы аккаунтов регистрируют акки Курсора в таком количестве? Сто проц же есть метод обхода.
Пропущено 5 постов, 1 с картинками.
Чем не устраивает kilo code?
двачую. вот гайд зачотный мне недавно попался кста. поставил все работает.https://youtu.be/3o2jV_7nAiI
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышла GLM 4.6 - https://z.ai/blog/glm-4.6
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• NoAssTavern: https://github.com/Tavernikof/NoAssTavern | https://rentry.org/noasstavern
• Risu: https://risuai.xyz/
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Тредовский список: https://rentry.org/2ch-aicg-jb
• Бургерский список: https://rentry.org/jb-listing
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
• Сборник рентри: https://rentry.org/mrhd
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list | https://rentry.co/card_theory
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• Арена: https://beta.lmarena.ai/ | https://web.lmarena.ai/
• OpenRouter: https://openrouter.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives4
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1408486 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1406083 (OP)
Пропущено 1504 постов, 224 с картинками.
Локальные языковые модели (LLM): LLaMA, Gemma, Qwen и прочие №175 /llama/
Аноним
01/11/25 Суб 20:57:02
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под ExllamaV2 (а в будущем и под v3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd )
• Неактуальные списки моделей в архивных целях: 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1400555 (OP)
>>1395432 (OP)
Пропущено 503 постов, 55 с картинками.
Как очень кривая и медленная реализация https://github.com/Haoming02/sd-webui-forge-classic/tree/neo
Не надо в кобольде пока изображения делать
ПЕРЕКАТ
>>1408486 (OP)
ПЕРЕКАТ
>>1408486 (OP)
ПЕРЕКАТ
>>1408486 (OP)
>https://huggingface.co/zerofata/GLM-4.5-Iceblink-v2-106B-A12B
Блять, пиздец нахуй.
Он смог сделать, то, во что бы я не мог поверить. Air теперь лупится как слопомистралевские тюны. Кому там мистраль на Air хотелось? Кушайте, не обляпайтесь.
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышла GLM 4.6 - https://z.ai/blog/glm-4.6
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• NoAssTavern: https://github.com/Tavernikof/NoAssTavern | https://rentry.org/noasstavern
• Risu: https://risuai.xyz/
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Тредовский список: https://rentry.org/2ch-aicg-jb
• Бургерский список: https://rentry.org/jb-listing
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
• Сборник рентри: https://rentry.org/mrhd
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list | https://rentry.co/card_theory
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• Арена: https://beta.lmarena.ai/ | https://web.lmarena.ai/
• OpenRouter: https://openrouter.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives4
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1395432 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1403154 (OP)
Пропущено 1516 постов, 205 с картинками.
Прошлый тред: >>1387850 (OP) https://arhivach.vc/thread/1248220/
Схожие тематические треды
• SD-тред (не аниме): >>1365529 (OP)
• Технотред: >>1272560 (OP)
• Фурри-тред: https://2ch.su/fur/res/374311.html
FAQ
https://2ch-ai.gitgud.site/wiki/nai
Установка
• NVidia: https://rentry.co/2ch_nai_guide
• AMD: https://2ch-ai.gitgud.site/wiki/nai/install/amd
• Облака: https://2ch-ai.gitgud.site/wiki/nai/install/clouds
Дополнительная информация
• Интерфейсы: https://2ch-ai.gitgud.site/wiki/nai/interfaces
• Модели: https://2ch-ai.gitgud.site/wiki/nai/models
• Промпты: https://2ch-ai.gitgud.site/wiki/nai/prompts
• Апскейл: https://2ch-ai.gitgud.site/wiki/nai/upscale
• LoRA: https://2ch-ai.gitgud.site/wiki/nai/lora
• ControlNet: https://2ch-ai.gitgud.site/wiki/nai/controlnet
Прочее
• CivitAI: https://civitai.com
• Каталог ссылок от форчанеров: https://rentry.co/sdg-link
• Шаблон для переката: https://rentry.co/nwhci
Пропущено 521 постов, 213 с картинками.
Ну нихуя себе вы скоростные. У меня qwen image edit 2905 идет со скоростью минут 7 на одну пикчу. Если без ускорялок, 30 шагов. На L4 24Gb видюхе.
Зато обычно проблем с пальцами и другими частями нет. Лицо и глаза тоже почему-то четко рисует обычно, face detailer я даже не пробовал еще подключать.
А ты из webui выходишь, когда запускаешь генерации? Я раньше не выходил, и потом удивлялся почему так медленно происходит, по 5 минут на одну пикчу, а так 100 секунд на пикчу бывает быстрее. Но у тебя конкретно вот это картинка мыльная.
Не выхожу. Спасибо, попробую, хотя каждый раз запускать вебюи не особо удобно.
>Но у тебя конкретно вот это картинка мыльная.
Так это прямой выход из квена имейдж эдит, без апскейла, без ничего. Хотя да, мыла много, может быть исходная картинка плохая или в низком разрешении подал.
Локальные языковые модели (LLM): LLaMA, Gemma, Qwen и прочие №174 /llama/
Аноним
27/10/25 Пнд 02:43:40
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под ExllamaV2 (а в будущем и под v3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd )
• Неактуальные списки моделей в архивных целях: 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1395432 (OP)
>>1387128 (OP)
Пропущено 512 постов, 37 с картинками.
Тогда вероятно с ним нужно РП только на китайском или каком он там обучался, по другому с мелко-моделями никак.
Алсо, кто-то юзал Dynamic Templates? Стоит вообще ебка с ними, или проще хуярить карточку с разными персонажами вручную? Боюсь что с динамическими карточками будет только шиза..
Попробуй YankaGPT-8b более менее сносный руссек как для мелко модели.
База:
→ Приложение ComfyUI https://www.comfy.org/download
→ Примеры https://comfyanonymous.github.io/ComfyUI_examples/
https://comfyui-wiki.com/ (откуда, куда, как)
→ Менеджер расширений https://github.com/ltdrdata/ComfyUI-Manager (автоустановка, реестр расширений)
→ Модели https://civitai.com/
ЧТО НОВОГО АКТУАЛЬНОГО ЗА ГОД
• Qwen Image Edit Plus (2509)
• Qwen Image Edit
• Qwen Image
• Flux Krea (Флюкс без жопных подбородков)
• Flux Kontext
• Wan 2.2 (подходит для генерации картинок).
• Chroma (сильный ретрейн флюкса).
• NAG (негативный промпт на моделях с 1 CFG)
• Лора Lightning для Qwen, Wan ускоряет в 4 раза. Nunchaku ускоряет модели в 2-4 раза. DMD2 для SDXL ускоряет в 2 раза. Пример: 4-8 шагов, CFG 1. https://huggingface.co/tianweiy/DMD2/blob/main/dmd2_sdxl_4step_lora_fp16.safetensors,
CFG 3 для NoobAI https://huggingface.co/YOB-AI/DMD2MOD/blob/main/LYC-DMD2MOD%20(Dmo%2BTffnoi).safetensors,
Оффлайн модели для картинок: Stable Diffusion, Flux, Wan-Video (да), Auraflow, HunyuanDiT, Lumina, Kolors, Deepseek Janus-Pro, Sana
Оффлайн модели для анимации: Wan-Video, HunyuanVideo, Lightrics (LTXV), Mochi, Nvidia Cosmos, PyramidFlow, CogVideo, AnimateDiff, Stable Video Diffusion
Приложения: ComfyUI и остальные (Fooocus, webui-forge, InvokeAI)
► Предыдущий тред >>1365529 (OP) ► https://arhivach.hk/?tags=13840
Дополнительно: https://telegra.ph/Stable-Diffusion-tred-X-01-03
Пропущено 547 постов, 118 с картинками.
тем временем 95 винда
>разметь диск сам из под доса и распакуй туда содержимое диска с виндой
>при любом чихе перезагрузи комп
>завис один процесс - зависло всё
>любой софт имел права админа
>выключение компа через три пизды
>разметь диск сам
Процесс установки 95ой оси описан тут
https://www.kevinhooke.com/2017/08/16/installing-windows-95-on-virtualbox-on-macos/
Если тебе нужно было форматировать диск - fdisk управляется буквально цифрами.
>при любом чихе перезагрузи комп
ну не пизди.
>завис один процесс - зависло всё
процессы win95 без постороннего упорного вмешательства не зависали.
>любой софт имел права админа
>и так сидишь под админом, довольно урчишь
>выключение компа через три пизды
пикрелейтед. ещё кнопкой можно было выключить.
>на глазах разваливаются чуть стоит не туда ткнуть
>не то поставил - переустанавливай всё к хуям
>ежедневных апдейтов на 35 гигов каждый
Дорогой мой, вам бы не на двачах сидеть, вам срочно хорошего врача искать надо...
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышла GLM 4.6 - https://z.ai/blog/glm-4.6
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• NoAssTavern: https://github.com/Tavernikof/NoAssTavern | https://rentry.org/noasstavern
• Risu: https://risuai.xyz/
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Тредовский список: https://rentry.org/2ch-aicg-jb
• Бургерский список: https://rentry.org/jb-listing
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
• Сборник рентри: https://rentry.org/mrhd
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list | https://rentry.co/card_theory
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• Арена: https://beta.lmarena.ai/ | https://web.lmarena.ai/
• OpenRouter: https://openrouter.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives4
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1395432 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1400170 (OP)
Пропущено 1493 постов, 249 с картинками.
Из недавних новостей:
- Разработанная в КНР языковая модель Ernie (аналог ChatGPT) призвана "отражать базовые ценности социализма". Она утверждает, что Тайвань - не страна, что уйгуры в Синьцзяне пользуются равным положением с другими этническими группами, а также отрицает известные события на площади Тяньаньмэнь и не хочет говорить про расстрел демонстрантов.
https://mpost.io/female-led-ai-startups-face-funding-hurdles-receiving-less-than-3-of-vc-support/
- ИИ - это сугубо мужская сфера? Стартапы в сфере искусственного интеллекта, возглавляемые женщинами, сталкиваются со значительными различиями в объемах финансирования: они получают в среднем в шесть раз меньше капитала за сделку по сравнению со своими аналогами, основанными мужчинами. Многие ИИ-стартапы основаны командами целиком из мужчин.
https://www.koreatimes.co.kr/www/opinion/2023/10/638_342796.html
- Исследователи из Кореи: модели ИИ для генерации графики склонны создавать гиперсексуализированные изображения женщин. В каждом изображении по умолчанию большая грудь и тому подобное. Это искажает действительность, потому что в реальности далеко не каждая женщина так выглядит.
https://mpost.io/openai-may-already-reach-agi-but-will-try-to-downplay-progress-due-to-force-stop/
- Возможно, что OpenAI уже создали AGI, но замалчивают это, принижают свой прогресс и намеренно завышают планку того, что считается полноценным AGI.
Тейки из предыдущего треда:
1. Генерация дипфейков. Они могут фабриковаться для дезинформации и деструктивных вбросов, в т.ч. со стороны авторитарных государств. Порнографические дипфейки могут рушить репутацию знаменитостей (например, когда в интернетах вдруг всплывает голая Эмма Уотсон). Возможен даже шантаж через соцсети, обычной тянки, которую правдоподобно "раздели" нейронкой. Или, дипфейк чтобы подвести кого-то под "педофильскую" статью. Еще лет пять назад был скандал вокруг раздевающей нейронки, в итоге все подобные разработки были свернуты.
2. Замещение людей на рынке труда ИИ-системами, которые выполняют те же задачи в 100 раз быстрее. Это относится к цифровым художникам, программистам-джуниорам, писателям. Скоро ИИ потеснит 3д-моделеров, исполнителей музыки, всю отрасль разработки видеоигр и всех в киноиндустрии. При этом многие страны не предлагают спецам адекватной компенсации или хотя бы социальных программ оказания помощи.
3. Распознавание лиц на камерах, и усовершенствование данной технологии. Всё это применяется тоталитарными режимами, чтобы превращать людей в бесправный скот. После опыта в Гонконге Китай допиливает алгоритм, чтобы распознавать и пробивать по базе даже людей в масках - по росту, походке, одежде, любым мелочам.
4. Создание нереалистичных образов и их социальные последствия. Группа южнокорейских исследователей поднимала тему о создании средствами Stable Diffusion и Midjourney не соответствующих действительности (гиперсексуализированных) изображений женщин. Многие пользователи стремятся написать такие промпты, чтобы пикчи были как можно круче, "пизже". Публично доступный "AI art" повышает планку и оказывает давление уже на реальных женщин, которые вынуждены гнаться за неадекватно завышенными стандартами красоты.
5. Возможность создания нелегальной порнографии с несовершеннолетними. Это в свою очередь ведет к нормализации ЦП феноменом "окна Овертона" (сначала обсуждение неприемлемо, затем можно обсуждать и спорить, затем это часть повседневности). Сложности добавляет то, что присутствие обычного прона + обычных детей в дате делает возможным ЦП. Приходится убирать или то, или другое.
6. Кража интеллектуальной собственности. Данные для тренировки передовых моделей были собраны со всего интернета. Ободрали веб-скраппером каждый сайт, каждую платформу для художников, не спрашивая авторов контента. Насколько этичен такой подход? (Уже в DALL-E 3 разработчики всерьез занялись вопросом авторского права.) Кроме того, безответственный подход пользователей, которые постят "оригинальные" изображения, сгенерированные на основе работы художника (ИИ-плагиат).
7. Понижение средней планки произведений искусства: ArtStation и Pixiv засраны дженериком с артефактами, с неправильными кистями рук.
8. Индоктринация пользователей идеями ненависти. Распространение экстремистских идей через языковые модели типа GPT (нацизм и его производные, расизм, антисемитизм, ксенофобия, шовинизм). Зачастую ИИ предвзято относится к меньшинствам, например обрезает групповую фотку, чтобы убрать с нее негра и "улучшить" фото. Это решается фильтрацией данных, ибо говно на входе = говно на выходе. Один старый чатбот в свое время произвел скандал и породил мем "кибернаци", разгадка была проста: его обучали на нефильтрованных текстах из соцсетей.
9. Рост киберпреступности и кража приватных данных. Всё это обостряется вместе с совершенствованием ИИ, который может стать оружием в руках злоумышленника. Более того, корпорация которая владеет проприетарным ИИ, может собирать любые данные, полученные при использовании ИИ.
10. Понижение качества образования, из-за халтуры при написании работ с GPT. Решается через создание ИИ, заточенного на распознавание сгенерированного текста. Но по мере совершенствования моделей придется совершенствовать и меры по борьбе с ИИ-халтурой.
11. Вопросы юридической ответственности. Например, автомобиль с ИИ-автопилотом сбил пешехода. Кому предъявлять обвинение?
12. Оружие и военная техника, автономно управляемые ИИ. Крайне аморальная вещь, даже когда она полностью под контролем владельца. Стивен Хокинг в свое время добивался запрета на военный ИИ.
Пропущено 386 постов, 35 с картинками.
>https://www.koreatimes.co.kr/www/opinion/2023/10/638_342796.html
>- Исследователи из Кореи: модели ИИ для генерации графики склонны создавать гиперсексуализированные изображения женщин. В каждом изображении по умолчанию большая грудь и тому подобное. Это искажает действительность, потому что в реальности далеко не каждая женщина так выглядит.
Да, этим Grok немного заёбывает, тогда как Sora - нет. При чём, в Grok грузишь тяночку определённой внешки, через энное время получаешь модель.
Так это специально сделали. Тайное мировое правительство глушит ИИ, капиталисты понимают, что с ИИ они станут не нужны, так же как в своё время в СССР уничтожили ОГАС, если даже примитивная программа на десяток килобайт могла заменить генсеков, что может ИИ?! Развивать в военных целях - будут, картинки генерить, но в экономику и политику ему лезть не дадут.
Прошлый тред: >>1378751 (OP)
Пропущено 532 постов, 149 с картинками.
Богатеям похуй на кризис. Они будут рады нанимать рабов за копейки.
Какие программы лучше использовать? Живу в РФ.
Из России большинство сервисов напрямую недоступно.
Dall-E
https://bing.com/images/create/
https://www.cici.com (ищем бота ACO)
Imagen
https://labs.google/fx/tool/image-fx а также https://labs.google/fx/tools/whisk (доступны только в США, Кении, Новой Зеландии и Австралии)
https://gemini.google.com/app
Reve
https://preview.reve.art/app
GPT-4o
http://chatgpt.com/
https://sora.chatgpt.com/explore
Stable Diffusion и прочие
https://civitai.com/generate
https://dreamina.capcut.com/
https://ideogram.ai
https://www.meta.ai
https://ximagegenerator.com
https://www.recraft.ai
https://app.klingai.com/global/text-to-image/new
https://hailuoai.video/create
https://lumaphoton.com
https://leonardo.ai/
https://aistudio.google.com/prompts/new_chat (модель Gemini image)
https://tensor.art
https://getimg.ai/text-to-image
https://www.mage.space/
https://problembo.com/ru
https://deepai.org/machine-learning-model/text2img
https://dezgo.com/
https://dream.ai/create
https://www.krea.ai/
Дополнительные сервисы:
https://www.pixited.com/ - библиотека промптов с примерами
https://rentry.org/From-4ch-To-2ch-Dall-3-Prompts - сборник промптов
https://www.stylar.ai - AI-редактор картинок (дорисовка, инпейнт, работа с лицами)
https://astica.ai - сборник ИИ-сервисов, в частности довольно мощный де-промптер (Vision AI -> Describe and Caption)
https://huggingface.co/spaces/fffiloni/CLIP-Interrogator-2 - де-промптер, разбирающий вброшенный пик на теги
https://bigjpg.com/ - апскейлер до 4096х4096
https://runwayml.com/ , https://www.stablevideo.com - анимирование генераций
Предыдущий тред: >>1042275 (OP)
Пропущено 515 постов, 265 с картинками.
Зато своя.
Я может и использовал, но анальная цензура даже малейших намеков на намеки. Пусть идут нахуй, крч.
>>1408566 (OP)
>>1408566 (OP)
>>1408566 (OP)
ПЕРЕКАТ
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышла GLM 4.6 - https://z.ai/blog/glm-4.6
• Вышел Deepseek v3.2 - https://huggingface.co/deepseek-ai/DeepSeek-V3.2-Exp
• Вышел Claude Sonnet 4.5 - https://www.anthropic.com/news/claude-sonnet-4-5
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• NoAssTavern: https://github.com/Tavernikof/NoAssTavern | https://rentry.org/noasstavern
• Risu: https://risuai.xyz/
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Тредовский список: https://rentry.org/2ch-aicg-jb
• Бургерский список: https://rentry.org/jb-listing
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
• Сборник рентри: https://rentry.org/mrhd
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list | https://rentry.co/card_theory
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• Арена: https://beta.lmarena.ai/ | https://web.lmarena.ai/
• OpenRouter: https://openrouter.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives4
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1387128 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1397631 (OP)
Пропущено 1503 постов, 253 с картинками.
>Гемини как-то более склонен всё скатывать в романтику
Попробуй с яндере-карточками поиграть - охуеешь.
> Штраус Зельник: ИИ не сможет создать игру вроде GTA
Тоже самое пиздели хуйдожники пару лет назад, когда визжали что ии не сможет создать красивую картинку. И где они сейчас?
Локальные языковые модели (LLM): LLaMA, Gemma, Qwen и прочие №173 /llama/
Аноним
21/10/25 Втр 01:12:49
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под ExllamaV2 (а в будущем и под v3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd )
• Неактуальные списки моделей в архивных целях: 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1387128 (OP)
>>1384087 (OP)
Пропущено 505 постов, 44 с картинками.
ПЕРЕКАТ
>>1400555 (OP)
ПЕРЕКАТ
>>1400555 (OP)
ПЕРЕКАТ
>>1400555 (OP)
Но есть нюанс:
https://t.me/krists/2386
> На моём бенчмарке для измерения качества русского языка занимает уверенное последнее место.
Хотя для агентов может быть отличная, посмотрим.