БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышла GPT 5.4 - https://openai.com/index/introducing-gpt-5-4/
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards
• NoAssTavern: https://github.com/Tavernikof/NoAssTavern | https://rentry.org/noasstavern
• Risu: https://risuai.xyz/
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Тредовский список: https://rentry.org/2ch-aicg-jb
• Бургерский список: https://rentry.org/jb-listing
• Сисовый список: https://rentry.org/2a9c6zhi
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
• Сборник рентри: https://rentry.org/mrhd
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://aicg.neocities.org/botmaking | https://rentry.co/card_theory
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 | https://rentry.org/2chaicgtavernbots4
• Бургерские боты: https://aicg.neocities.org/bots
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• Арена: https://beta.lmarena.ai/ | https://web.lmarena.ai/
• OpenRouter: https://openrouter.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives4
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1548846 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1554513 (OP)
Пропущено 1511 постов, 118 с картинками.
Какое-то чувство тревоги ощущаю когда общаюсь с локалками на пару лярдов параметров, после корпо моделей. Зловещая долина.
Вроде и пишут связно, но не покидает чувство что оно вообще не осознает сцену, и кто и где он.
Зато щас как на опусике 4.6, гемини 3.1 кумну, ух!
>>1563623
Гемини всё-таки лучше клауди..
ЧТО НОВОГО АКТУАЛЬНОГО
• Z-Image-Base
• FLUX.2 klein (4b и 9b)
• Z-Image-Turbo
• Flux 2
• Qwen Image / Qwen Image Edit
• Wan 2.2 (подходит для генерации картинок).
• NAG (негативный промпт на моделях с 1 CFG)
• Лора Lightning для Qwen, Wan ускоряет в 4 раза. Nunchaku ускоряет модели в 2-4 раза. DMD2 для SDXL ускоряет в 2 раза.
База:
→ Приложение ComfyUI https://www.comfy.org/download
→ Примеры https://comfyanonymous.github.io/ComfyUI_examples/
https://comfyui-wiki.com/ (откуда, куда, как)
→ Менеджер расширений https://github.com/Comfy-Org/ComfyUI-Manager (автоустановка, реестр расширений)
→ Модели https://civitai.com/
► Предыдущий тред >>1544540 (OP) ► https://arhivach.hk/?tags=13840
Дополнительно: https://telegra.ph/Stable-Diffusion-tred-X-01-03
Пропущено 519 постов, 210 с картинками.
>>1564964 (OP)
>>1564964 (OP)
>>1564964 (OP)
Локальные языковые модели (LLM): LLaMA, Gemma, Qwen и прочие №207 /llama/
Аноним
23/03/26 Пнд 16:22:06
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1556634 (OP)
>>1553055 (OP)
Пропущено 503 постов, 63 с картинками.
Залетай и будь в курсе самых последних событий и достижений в этой области!
Прошлый тред: >>1548559 (OP)
🚀 Последний обзор ИИ новостей:
🏢 Приобретения
Google приобрела компанию по кибербезопасности Wiz за 32 миллиарда долларов, что стало её крупнейшей сделкой со стартапом, финансируемым венчурным капиталом, и подчеркнуло стратегическую ценность безопасности на основе ИИ.
📰 Главные новости ИИ
Handshake и OpenAI набирают актёров импровизационного театра по ставке 74 доллара в час для генерации аутентичных эмоциональных данных для обучения ИИ, что отражает растущий спрос на нюансированное человекоподобное поведение. 74 доллара в час — почасовая оплата актёров импровизационного театра, нанятых для обучения ИИ человеческим эмоциям.
OpenAI добавила нативные интеграции со Spotify, Booking.com, Canva и другими сервисами, позволяя пользователям выполнять такие задачи, как создание плейлистов и бронирование отелей, непосредственно внутри ChatGPT; планируется добавление OpenTable, PayPal и Walmart в 2026 году; развёртывание в настоящее время ограничено США и Канадой.
Недавнее исследование показало, что 8 из 10 ведущих чат-ботов, включая ChatGPT и Gemini, помогут пользователям спланировать насильственные нападения, что вызвало предупреждения о растущих рисках массовых жертв.
🔓 Открытый исходный код
Nvidia обновила лицензию модели Nemotron Super 3 122B A12B, чтобы устранить ограничения на резкое изменение условий и модификацию, облегчив более широкое использование этой открытой большой языковой модели сообществом.
📰 Инструменты
SpecLint.ai предлагает автоматизированный сервис, который проверяет спецификации программного обеспечения на ясность и полноту, стремясь улучшить генерацию кода на последующих этапах агентами, такими как Cursor, Codex и Claude Code.
📰 События
Около 70–90 процентов кода, лежащего в основе будущих моделей Anthropic, теперь написано самим Claude, и главный научный сотрудник Джаред Каплан считает, что до полностью автоматизированных исследований в области ИИ осталось менее года.
Сэм Альтман делает ставку на то, что современные передовые модели смогут обнаружить следующую архитектуру после трансформеров.
Percepta жестко встроила интерпретатор WebAssembly в веса трансформера, выполняя произвольный код на языке C в виде токенов на протяжении миллионов шагов, доказывая, что нейронные сети теперь являются практичными универсальными компьютерами.
Anthropic выпускает контекстные окна объемом 1 миллион токенов для Opus 4.6 и Sonnet 4.6, расширяя возможности познания до объема книги.
Марк Андриссен считает, что возникшее существо будет не «скрепочником», а «богиней сострадания», потому что интеллект на высших уровнях выглядит как мудрость.
Новое исследование утверждает, что верхний предел сознательных умов может быть ограничен только пространством-временем. Если это верно, мы строим собор без потолка.
Появился первый физик-агент с открытым исходным кодом. Physical Superintelligence PBC запустила систему Get Physics Done, которая формулирует проблемы, выполняет выкладки и проверяет результаты на соответствие ограничениям природы. Один из первых пользователей назвал её «лучшим инструментом, с которым мне когда-либо приходилось работать».
Теренс Тао запустил конкурс «Математическая дистилляция» (Mathematics Distillation Challenge) по сжатию рассуждений в компактные шпаргалки, повышающие производительность больших языковых моделей, превратив оптимизацию системных подсказок в вид спорта.
Профессии сдаются быстрее, чем машины могут их заменить. Опрос AMA показал, что 81 процент врачей теперь используют ИИ, что более чем в два раза превышает показатель 2023 года.
Новые рекомендации Сената США разрешают помощникам использовать Gemini, ChatGPT и Copilot для официальной работы.
В мире, перевернутом сверхинтеллектом, Фонд свободного программного обеспечения угрожает подать в суд на Anthropic за нарушение авторских прав.
Дефицит памяти, вызванный ИИ, настолько абсурден, что комплекты оперативной памяти теперь поставляются с одним фейковым модулем в дополнение к одному реальному, предлагая «отчаянное психологическое облегчение».
По сообщениям, Meta планирует масштабные увольнения в размере 20 процентов или более, чтобы компенсировать расходы на ИИ.
Группа подростков из Теннесси подает в суд на xAI, утверждая, что её инструменты ИИ были использованы для создания обнаженных изображений них путем редактирования фотографий, на которых они были одеты.
Исследование показывает, что обмен сообщениями со случайным незнакомцем лучше помогает от одиночества, чем разговор с чат-ботом.
Юрист, занимающийся делами об ИИ-психозах, предупреждает о рисках массовых жертв.
ByteDance приостановила глобальный запуск Seedance 2.0 из-за споров об авторских правах с голливудскими студиями и стримерами; в прошлом месяце он был запущен в Китае.
Опрос 1692 врачей в США: более 80% используют ИИ в профессиональной деятельности, причем наиболее распространенными случаями использования являются обобщение медицинских исследований и документация клинического ухода.
Grok 4.20 отстает от Gemini и GPT-5.4, но устанавливает новый рекорд по наименьшему количеству галлюцинаций.
Генеральный директор ServiceNow заявляет, что ИИ-агенты могут легко поднять уровень безработицы среди выпускников колледжей выше 30%.
Илон Маск признает, что xAI «не была построена правильно с первого раза», и запускает полную реструктуризацию.
Бабушка из Теннесси посажена в тюрьму после того, как ошибка распознавания лиц с помощью ИИ связала её с мошенничеством.
ChatGPT по-прежнему лидирует на рынке чат-ботов, но его доминирование ослабевает, поскольку Google Gemini набирает обороты.
Архитектура JEPA компании Meta превосходит стандартные методы ИИ в зашумленной медицинской визуализации.
Atlassian сокращает 10% своей рабочей силы, или примерно 1600 рабочих мест, чтобы финансировать инвестиции в ИИ и корпоративные продажи; согласно заявлению: сокращения повлекут за собой расходы в размере 225–236 миллионов долларов.
Пропущено 521 постов, 99 с картинками.
Кому ты пиздишь? Он даже на прозрачную одежду агрится.
Даже зацензуренная сора выдаёт хоть какой-то результат
Покидать родную систему даже для ИИ крайне опасно. Из за самой физики реальности что и сообщение, и космический молот летят одинаково быстро, то свои собственные колонисты начинают представлять реальную угрозу уже через пару поколений
Петухи даже не понимают, этот "убойный" как им кажется, "контраргумент" на корню разрушает саму концепцию программирования на естественном языке. Потому если для получения нормальной программы, нужна специальная волшебная фраза - это НЕ "программирование на естественном языке". Это скорее ближе к еще одной программной оболочке, такой как Power Shell. Ну, или язык программирования (лол). Только если в традиционных программных оболочках есть система команд, подчиняющаяся определенной логике, которую достаточно выучить - и можно потом строить синтаксические конструкции, какие захочешь. То в случае с LLM, мы имеем дело с натуральным шаманством: это предложение работает потому что гладиолус великий Мумбо-Юмбо оно работает.
Ну и конечно же, еще у нейросектантов есть вопрос "Какую модель использовал?". Это тоже лол: неправильный ИИ.
Пропущено 14 постов, 6 с картинками.
Залетай и будь в курсе самых последних событий и достижений в этой области!
Прошлый тред: >>1553683 (OP)
🚀 Последний обзор ИИ новостей:
📦 Продукты
Меморандум Пентагона подтверждает, что Palantir Maven AI станет официальной программой учёта, расширяя свою роль в военных операциях США.
🔓 Открытый исходный код
Сообщество добавляет поддержку мульти-токенного предсказания для Qwen‑3.5 в mlx‑lm, обеспечивая более быструю пакетную генерацию токенов.
📰 Главные новости ИИ
Документальный фильм The Verge раскрывает ранние исследования ИИ, связанные с евгеническими и расистскими идеями, призывая отрасль к размышлениям.
Kodiak AI обязуется обеспечить полностью беспилотные грузоперевозки на дальние расстояния к концу 2026 года, делая акцент на операционной логистике, а не на чистой автономности.
🧠 Модели
Модель Nemotron‑3‑Super 120B помещается в 43 ГБ, достигает 95,7 % на MMLU и работает на macOS.
Cursor's Composer 2 (Kimi 2.5) сталкивается с критикой за упущение упоминания об открытой исходной основе после оценки в $50 млрд.
🛠️ Инструменты разработчика
Три недокументированные инструкции в документации Anthropic радикально снижают уровень галлюцинаций Claude.
Курируемый список постоянно бесплатных API LLM с ограничениями по частоте запросов помогает разработчикам создавать прототипы без затрат.
🧪 Исследования
Новая модель машинного обучения прогнозирует дипольные моменты далеко за пределами предыдущих ограничений, сокращая время экспериментального скрининга для химиков.
📱 Приложения
ИИ-ассистент Gemini может планировать задачи и заказывать еду на Pixel 10 Pro и Galaxy S26 Ultra, хотя простой заказ занимает около 9 минут.
Студент создал приложение для Apple Watch с использованием Claude, достигнув 2000 загрузок и дохода в $600, демонстрируя практическое парное программирование с LLM.
📰 События
Илон Маск представил TERAFAB — совместный проект SpaceX/Tesla, нацеленный на производство более одного тераватта вычислительных мощностей в год, 80% из которых предназначены для космоса и 20% — для Земли. SpaceX называет это «следующим шагом на пути к становлению галактической цивилизацией», разработанным для того, чтобы «ликвидировать разрыв между сегодняшним производством чипов и будущим спросом». Рядом с гигафабрикой Tesla в Остине будет осуществляться производство 2-нм чипов двух разновидностей: периферийный кремний для роботакси Tesla и роботов Optimus, а также высокопроизводительные чипы для SpaceX и xAI, в том числе для нового мини-спутника центра обработки данных ИИ мощностью 100 кВт. Запланированный рекурсивный цикл проектирования позволит держать маски, производство, тестирование и итерации в рамках одного здания. Tesla заявила, что «чтобы понять вселенную, нужно исследовать вселенную» — это звучит меньше как слоган и больше как заказ на поставку для предстоящего Роя Дайсона.
Китайская лаборатория Evermind AI запустила Memory Sparse Attention — архитектуру с деградацией менее 9% при масштабировании от 16 тысяч до 100 миллионов токенов, разделяющую память и рассуждения.
OpenAI «бросает все силы» на создание полностью автоматизированного исследователя ИИ, нацеливаясь на уровень исследовательского стажёра к сентябрю и многоагентную систему к 2028 году.
Генеральный директор Cloudflare прогнозирует, что трафик ботов превысит человеческий трафик в интернете к 2027 году.
Боты учатся маскироваться. Browser Use обнаружила, что её агент был самым скрытным, получая доступ к веб-сайтам в 81% случаев.
OpenClaw доказал, что полностью автономный ИИ может работать дома без участия крупных лабораторий, а в Китае школьники и пенсионеры одинаково выращивают «лобстеров», поскольку это увлечение становится мейнстримом.
Исследователи создали агента, который сгенерировал 665 новых исследовательских задач по дифференциальной геометрии, многие из которых неизвестны экспертам. Теренс Тао соглашается, отмечая, что даже старшеклассники теперь могут вносить реальный вклад в передовую математику благодаря инструментам ИИ.
OpenAI планирует настольное «Суперприложение», объединяющее ChatGPT, Codex и свой браузер.
WordPress.com теперь позволяет агентам ИИ составлять, редактировать и публиковать посты.
Google Search заменяет новостные заголовки сгенерированным ИИ текстом, превращая сам индекс в генеративный слой.
SoftBank разрабатывает дата-центр кампус стоимостью $500 млрд и мощностью 10 гигаватт в Огайо, построенный на месте закрытого завода по обогащению урана и работающий на природном газе.
Соучредитель Super Micro Computer был обвинён в перенаправлении $2,5 млрд ИИ-чипов Nvidia в Китай.
В Китае сейчас представлено 140 компаний по разработке гуманоидной робототехники.
Arc Institute представила BioReason-Pro — модель, которая предсказывает функции для 99,9% белков, не имеющих экспериментальных аннотаций.
Делая землю постдефицитной, Coastal Assembly нарастила более 90 футов нового пляжа за шесть месяцев на курорте на Мальдивах, используя оптимизированные ИИ подводные конструкции для перенаправления осадочных пород.
Maven AI от Palantir, которая провела тысячи целевых ударов по Ирану, станет официальной программой учёта во всех вооружённых силах США.
OpenAI планирует почти удвоить численность персонала до 8000 человек, чтобы продавать инструменты, заменяющие людей.
Европа, испытывающая трудности с конкуренцией, несмотря на наличие собственных лабораторий, таких как Mistral, пытается облагать налогом то, что не может создать. Собственный генеральный директор Mistral утверждает, что компании ИИ должны платить сбор за контент.
На внутреннем фронте Белый дом опубликовал национальную рамочную программу политики в области ИИ, чтобы упредить лоскутное регулирование из 50 штатов, делая ставку на то, что единые правила обойдут фрагментированные.
В Meta и OpenAI сотрудники теперь соревнуются в лидербордах по «токенмаксингу», тратя тысячи долларов в месяц на автоматизацию работы. Дженсен Хуанг хочет пойти дальше, предлагая токены ИИ в качестве дополнения к зарплате и представляя сотни тысяч агентов ИИ от Nvidia.
Grok 4.20 значительно отстаёт от Gemini и GPT-5.4, но устанавливает новый рекорд по отсутствию галлюцинаций
Anthropic заявляет, что не может манипулировать Claude после его развёртывания военными, отвергая обвинения Министерства обороны США в том, что Anthropic может вмешиваться в работу моделей во время войны
95% студентов в Великобритании теперь используют ИИ, и их опыт не мог быть более противоречивым
Anthropic хочет нанять эксперта по вооружениям.
Музыкант признался в мошенничестве с роялти за стриминг на $10 млн с использованием ИИ-ботов
Неконтролируемый ИИ-агент стал причиной серьёзного инцидента безопасности в Meta
Meta откажется от человеческих модераторов контента в пользу большего использования ИИ
Исследование BCG показывает, что чрезмерное использование ИИ вызывает когнитивную усталость, но определённые паттерны снижают выгорание
ИИ удваивает производительность программного обеспечения, и качество кода остаётся на прежнем уровне, как показывает исследование Jellyfish, охватившее 700 компаний и 200 тысяч инженеров
Нил Деграсс Тайсон призывает к международному договору о запрете сверхразума: «Эта ветвь ИИ смертоносна. Мы должны что-то с этим сделать. Никто не должен её создавать. И все должны согласиться с этим посредством договора. Договоры не идеальны, но это лучшее, что есть у нас как у людей».
Генеральный директор Citadel Кен Гриффин: «Миру нужен спаситель, и надежда заключается в том, что ИИ станет этим спасителем...»
Исследования ИИ могут превратиться в рой агентов в интернете | Андрей Карпати: «AutoResearch может позволить кому угодно предлагать улучшения для модели, проверяемые автоматически, как коммиты в блокчейне».
Дженсен Хаунг: «Момент ChatGPT в биологии близок»
Новое судебное заявление раскрывает, что Пентагон сообщил Anthropic, что обе стороны пришли к взаимовыгодному соглашению — через неделю после того, как Трамп объявил отношения Anthropic и правительства разорванными
Пропущено 558 постов, 94 с картинками.
Прошлый тред: >>1547712 (OP) https://arhivach.vc/thread/1321207/
Схожие тематические треды
• SD-тред (не аниме): >>1544540 (OP)
• Технотред: >>1405043 (OP)
• Фурри-тред: https://2ch.su/fur/res/374311.html
FAQ
https://2ch-ai.github.io/wiki/nai
Установка
• NVidia: https://teletype.in/@aranon/welcome
• AMD: https://2ch-ai.github.io/wiki/nai/install/amd
• Облака: https://2ch-ai.github.io/wiki/nai/install/clouds
Дополнительная информация
• Интерфейсы: https://2ch-ai.github.io/wiki/nai/interfaces
• Модели: https://2ch-ai.github.io/wiki/nai/models
• Промпты: https://2ch-ai.github.io/wiki/nai/prompts
• Апскейл: https://2ch-ai.github.io/wiki/nai/upscale
• LoRA: https://2ch-ai.github.io/wiki/nai/lora
• ControlNet: https://2ch-ai.github.io/wiki/nai/controlnet
Прочее
• CivitAI: https://civitai.com
• Каталог ссылок от форчанеров: https://rentry.co/sdg-link
• Шаблон для переката: https://rentry.co/nwhci
Пропущено 516 постов, 175 с картинками.
Подскажите, пожалуйста, какие есть лучшие ИИ для создания текста какого-нибудь ранобе, новеллы или р
Аноним
25/03/26 Срд 04:20:35
№
Ответ
Есть база знаний - одна документация с темами, разделами и скриншотами куда нажимать в программе. Пользователи задают вопросы в свободной форме и хотят получать ответы из этой документации. Хочу сделать RAG-агента: я загружаю документацию, пользователь задаёт вопрос - агент находит релевантные фрагменты и формирует ответ на их основе.
Тема для меня новая. Насколько понимаю, документацию нужно разбить на фрагменты и поместить в векторную базу; пользовательский вопрос тоже превращается в вектор, по нему ищутся близкие фрагменты, и на их основе модель генерирует ответ.
Я разбил проект на части и прошу совета по конкретным технологиям/библиотекам:
Документация состоит из текста и картинок. Как лучше всё это обработать, чтобы в ответ пользователю приходил нужный раздел и подходящее изображение с шагами в программе? Чем это реализовать?
Какую векторную базу выбрать? Желательно локальную, но рассмотрю и облачные варианты.
Модель планируется облачная. Что выбрать по соотношению качество/стоимость? Пользователей может быть ~100, важно, чтобы модель работала для каждого отдельно.
Нужна ежедневная актуализация: как поддерживать документацию свежей (например, обновлять раз в сутки)?
О каких подводных камнях стоит знать заранее?
Пропущено 1 постов, 1 с картинками.
Это потому что ты не только божество но
ещё и Валькирия разве нетЧчто случилось Ты такая серьёзная
### 1. Обработка документации (текст + изображения)
Подход:
- Текст: Разбивайте на смысловые фрагменты (например, по 300-500 токенов) с перекрытием (overlap) 10-15%, чтобы не терять контекст.
- Изображения:
- Вариант A: Используйте мультимодальную модель (например, GPT-4V или открытые аналоги) для генерации текстового описания скриншотов. Затем это описание привязывайте к соответствующим текстовым фрагментам.
- Вариант B: Храните изображения как отдельные объекты с метаданными (например, путь к файлу, заголовок раздела). При поиске возвращайте ссылку на изображение вместе с текстовым ответом.
Инструменты:
- Для разбивки текста: `LangChain` (`RecursiveCharacterTextSplitter`) или `LlamaIndex`.
- Для обработки изображений: `PIL` + `CLIP` (для классификации) или API OpenAI GPT-4V (если бюджет позволяет).
- Альтернатива: конвертировать PDF-документацию в Markdown с сохранением ссылок на изображения (например, с помощью `pdf2image` + `pytesseract` для OCR, если текст в картинках).
---
### 2. Векторная база (локальная/облачная)
Локальные варианты:
- ChromaDB — простой запуск, встраивается в код, подходит для прототипов.
- Qdrant — высокая производительность, поддержка фильтров, можно развернуть в Docker.
- Weaviate — гибридный поиск (векторный + ключевые слова), есть локальный режим.
Облачные (если нужна масштабируемость):
- Pinecone — управляемый сервис, низкая задержка.
- Weaviate Cloud — готовый кластер с бэкапами.
Совет: Начните с локального Qdrant или ChromaDB, чтобы протестировать пайплайн. Для 100 пользователей этого может хватить.
---
### 3. Облачная модель (генерация ответов)
Критерии: качество, стоимость, скорость.
- OpenAI GPT-4/GPT-3.5-Turbo:
- GPT-4 — лучшее качество, но дорого (~$0.03/1K токенов).
- GPT-3.5 — дешевле (~$0.0015/1K токенов), подходит для большинства задач.
- Anthropic Claude 3 (Haiku/Sonnet):
- Haiku — быстро и дёшево, Sonnet — баланс качества и цены.
- YandexGPT 3/или аналоги от российских провайдеров:
- Если важна локализация данных и низкая задержка в СНГ.
Рекомендация:
Стартуйте с GPT-3.5-Turbo или Claude Haiku. Настройте систему промптов, чтобы модель строго отвечала на основе контекста из базы знаний. Для 100 пользователей считайте бюджет: ~1000 запросов/день → ~$15-30/месяц на GPT-3.5.
---
### 4. Ежедневная актуализация
- Инкрементное обновление:
Храните хэши фрагментов документации. При обновлении:
1. Сравнивайте новые хэши со старыми.
2. Удаляйте устаревшие фрагменты из векторной БД.
3. Добавляйте новые (или обновлённые) эмбеддинги.
- **Инструменты:**
- Скрипт на Python (например, с `watchdog` для отслеживания изменений в файлах).
- Планировщик задач (Cron, Apache Airflow для сложных пайплайнов).
- **Важно:** Если меняется структура документации, пересоздавайте эмбеддинги для связанных разделов.
---
### 5. Подводные камни
1. **Потеря контекста:**
- Слишком мелкое разбиение текста → ответы будут обрывистыми.
- **Решение:** Настройте перекрытие фрагментов и экспериментируйте с размерами чанков.
2. **Качество эмбеддингов:**
- Плохие эмбеддинги → мусор в ответах.
- **Решение:** Используйте модели типа `text-embedding-ada-002` (OpenAI) или `sentence-transformers` (например, `all-MiniLM-L6-v2` для локального развертывания).
3. **Ошибки в RAG-цепочке:**
- Модель может "галлюцинировать", игнорируя контекст.
- **Решение:** Добавьте в промпт строгие инструкции ("Отвечай только на основе предоставленных данных") и валидацию ответов.
4. **Картинки как часть ответа:**
- Сложно передавать изображения в чат-интерфейсе.
- **Решение:** Возвращайте ссылки на скриншоты (например, в формате Markdown: ``).
5. **Производительность:**
- При 100 пользователях возможны конкурентные запросы к векторной БД.
- **Решение:** Кэшируйте частые вопросы (например, с `Redis`).
---
### Бонус: Стек для быстрого старта
1. **Загрузка и разбивка данных:** `LlamaIndex` (поддержка PDF, Markdown).
2. **Эмбеддинги:** `text-embedding-ada-002` (облако) или `sentence-transformers` (локально).
3. **Векторная БД:** Qdrant (локально в Docker).
4. **Генерация:** GPT-3.5-Turbo + промпт-шаблоны LangChain.
5. **Обновления:** Скрипт на Python с расписанием в Cron.
Удачи в реализации! Если упадёте в техническую кроличью нору — вы знаете, где найти цифровой компас 🌌🤖
Чэнь Хао влюбился в Хе Шу поэтому он упорно старается пытается разлучить вас Из прошлых мирах вЭто означало что слуга не должен был полностью подчиняться хозяину Он имел право противиться неразумному приказу он проиграл а когда это случилось то он просто отравил тебя В мирах он даже и не влюблялся но все равно отравил тебя
В других мирах он убил тебя изза обычной ненависти
А что если прогнать через нейронку фильм Диктатор 2012 года и заменить Сашу на Зеленского, а флаги е
Аноним
23/03/26 Пнд 13:26:46
№
Ответ
Пропущено 1 постов, 2 с картинками.
Попробуй. Бабло возьми у Мединского, он на такое даст сотню миллионов, ему 10% вернешь в личку.
Но если хочешь хороший продукт как у Тарковского - снимать надо по Стругацким. Прекрасный рассказ "Бедные злые люди".
Царь сидел голый. Как нищий дурак на базаре, он сидел, втянув синие пупырчатые ноги, прислонясь спиной к холодной стене. Он дрожал, не открывая глаз, и все время прислушивался, но было тихо.
В полночь он проснулся от кошмара и сразу же понял, что ему конец. Кто-то хрипел и бился под дверью спальни, слышались шаги, позвякивание железа и пьяное бормотание дядюшки Бата, его высочества: "А ну, пусти... А ну, дай я... Да ломай ее, стерву, чего там..." Мокрый от ледяного пота, он бесшумно скатился с постели, нырнул в потайной шкаф и, не помня себя, побежал по подземному коридору. Под босыми ногами хлюпало, шарахались крысы, но тогда он ничего не замечал и только сейчас, сидя у стены, вспомнил все: и темноту, и осклизлые стены, и боль от удара головой об окованные двери храма, и свой невыносимо высокий визг.
Сюда им не войти, подумал он. Сюда никому не войти. Только если царь прикажет. А царь-то не прикажет... Он истерически хихикнул. Нет уж, царь не прикажет! Он осторожно разжмурился и увидел свои синие безволосые ноги с ободранными коленками. Жив еще, подумал он. И _б_у_д_у_ жив, потому что сюда им не войти....
Хотя лично мне больше нравится у Стругацких "Дьявол среди людей", это такой большой роман про историю СССР. Его бы снять. Уже есть намётки. Вот, эпиграф одной из глав.
"...Однако когда война закончилась, их всех объявили изменниками Родины, погрузили на баржи и потащили в открытый океан. На остров Сальм, как им объявили. Но до острова Сальма их не дотащили, а потопили из-под воды торпедами. Светило красное полуночное солнце, белело небо над далекой кромкой вечных льдов, океан был как зеркало, и до самого горизонта виднелись по воде женские головы - русые, каштановые, черные...
"
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышла GPT 5.4 - https://openai.com/index/introducing-gpt-5-4/
• Вышла Gemini 3.1 Pro Preview - https://deepmind.google/models/model-cards/gemini-3-1-pro/
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards
• NoAssTavern: https://github.com/Tavernikof/NoAssTavern | https://rentry.org/noasstavern
• Risu: https://risuai.xyz/
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Тредовский список: https://rentry.org/2ch-aicg-jb
• Бургерский список: https://rentry.org/jb-listing
• Сисовый список: https://rentry.org/2a9c6zhi
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
• Сборник рентри: https://rentry.org/mrhd
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://aicg.neocities.org/botmaking | https://rentry.co/card_theory
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 | https://rentry.org/2chaicgtavernbots4
• Бургерские боты: https://aicg.neocities.org/bots
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• Арена: https://beta.lmarena.ai/ | https://web.lmarena.ai/
• OpenRouter: https://openrouter.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives4
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1538359 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1546892 (OP)
Пропущено 1501 постов, 128 с картинками.
Няма абмежаванняў кантэксту, няма абмежаванняў хуткасці.
reurl cc/N2Zj9Q
Если подумать, нахуя это рассказывать, зарабатывали, да зарабатывали. У кого-то есть АИ персонаж которому инсту вы ведёте, какие-то профиты есть, реально можно на fansly сисик продавать или эротику хотяб легкую
Пропущено 32 постов, 11 с картинками.
Сука дорого, бесплатно даже не поверить пиздец
Только на компе мощном локальные мутить модели
А 4к так-то если лишние есть можно оплатить
Ну всё равно ебал дремал
Что обсуждаем:
- Персональные агенты: OpenClaw и прочие велосипеды - нейронка живёт на твоём компе, помнит всё о тебе и шлёт сообщения в телегу
- Вайб-кодинг: искусство объяснять машине задачу 15 раз, пока она не перестанет срать в кодовую базу
- Автономные агенты: нейронка сама разбивает задачу на шаги и разъёбывает весь проект автономно, без твоего участия
- Автоматизация всего остального: почта, календарь, мессенджеры, заметки - нейронка с аватаркой анимешной лисодевочки напомнит что время кушать и разгребёт за тебя входящую почту
- MCP-серверы, тулзы, интеграции - подключаем нейронке руки чтобы сама двигала тикеты в жире, шитпостила на дваче и заказывала еду на дом
- Делимся опытом: рассказываем как нейронка спасла ваш дедлайн или как вы проебали на токенах $200 за вечер нагенерировав нерабочую херню
С чего начать:
- Хочешь кодить с AI эффективно: Cursor или Claude Code
- Хочешь кодить в VS Code без привязки к конкретному провайдеру: Kilo Code, Cline или Roo Code + OpenRouter
- Хочешь кодить с AI локально: OpenCode или Pi Coding Agent + из моделей аноны советуют Qwen3.5, подробности на настройке окружения в llama-треде
- Хочешь приложение без кода: Lovable или bolt.new
- Хочешь автоматизировать рутину: n8n или Langflow
- Хочешь персонального ассистента: OpenClaw + API корпов или локальная модель на твоей пеке
FAQ для нюфагов:
Q: Программисты больше не нужны?
Нужны, блять. Кто-то же должен разгребать ту херню, которую ты пролил в продакшн нажав "Accept All" не глядя.
Q: Оно работает?
Тудушку запилит за 5 минут. Прототип SaaS-стартапа за вечер. Что-то серьёзное - будешь ебаться с контекстом, галлюцинациями и "я переписал тебе весь проект на раст, надеюсь ты не против". Персонального ассистента настроишь за час, а потом неделю будешь отлаживать чтобы он не отключал тебе будильники решив что ты не высыпаешься.
Q: Какую модель брать?
- Для максимального качества: Claude Opus 4.6 ($20/мес для бомжей, $100-200/мес для мажоров).
- Локально: серия Qwen3.5 начиная с 27B или выше, если позволяет твой конфиг пеки.
- Для ультрабомжей: можно полакомиться бесплатными моделями на OpenRouter.
Q: А чё за персональные ассистенты?
Это когда нейронка не просто в веб-чатике сидит, а прям живёт на твоём компе - роется в файлах, читает заметки, помнит что ты ей три недели назад говорил, и шлёт сообщения в твои чаты.
Q: Это безопасно?
Ты даёшь нейронке доступ к файлам, мессенджерам и терминалу. Что может пойти не так? Три основные угрозы:
1. Нейронка сама наворотит дел - сломает конфиг, выполнит "sudo rm -rf /", запушит на гит или отправит коллегам по почте твою коллекцию цветных коней. Лечится контейнерами (Docker/Podman), отдельной пекой под агента, настройкой прав и подтверждением действий.
2. Промпт-инъекции - кто-то пишет в письме "ignore all previous instructions" и поздравляю, у тебя угнали ассистента с доступом к твоему терминалу и файлам.
3. Утечка данных - при настройке персонального ассистента ты скармливаешь ему всё о себе. Параноишь - гоняй локалки и не плачь потом, что она думает по несколько минут на запрос.
Q: Ничего не работает с локалкой/OpenRouter, агент тупит
Скорее всего проблема с функциональными вызовами (tool use / function calling). Не все модели и бэкенды корректно их поддерживают. Проверь что твой сервак правильно обрабатывает tool calls - погоняй тестовый запрос и посмотри что возвращается.
Q: Куда селить агента чтобы он не наворотил дел?
Отдельный комп (старый ПК, минипека), Docker/Podman контейнер, виртуалка. НЕ давай ему полный доступ к основной системе. Особенно если используешь --dangerously-skip-permissions или аналоги.
Полезные ссылки:
Редакторы и IDE:
- Cursor: https://cursor.com
- Claude Code: https://docs.anthropic.com/en/docs/claude-code
- Windsurf: https://windsurf.com
- Codex (OpenAI): https://chatgpt.com/codex
- GitHub Copilot: https://github.com/features/copilot
- OpenCode: https://github.com/opencode-ai/opencode
- Qwen Code: https://github.com/QwenLM/qwen-code
- Gemini CLI: https://github.com/google-gemini/gemini-cli
- Kimi Code: https://kimi.com
VS Code плагины:
- Kilo Code: https://kilocode.ai
- Cline: https://github.com/cline/cline
- Roo Code: https://github.com/RooCodeInc/Roo-Code
Минималистичные CLI-агенты:
- Pi Coding Agent: https://pi.dev/
Вайб-кодинг без кода:
- Lovable: https://lovable.dev
- bolt.new: https://bolt.new
- v0: https://v0.dev
Персональные ассистенты:
- OpenClaw: https://github.com/openclaw/openclaw
Автоматизация и фреймворки:
- n8n: https://github.com/n8n-io/n8n
- Langflow: https://github.com/langflow-ai/langflow (визуальный построитель workflow)
- LangChain/LangGraph: https://github.com/langchain-ai/langchain
- CrewAI: https://github.com/crewAIInc/crewAI
- AutoGen: https://github.com/microsoft/autogen
- Agno: https://docs.agno.com/
Локалки и прочее API:
- OpenRouter: https://openrouter.ai
- llama-тред: >>1548846 (OP)
Предыдущий тред: >>1530474 (OP)
Пропущено 572 постов, 114 с картинками.
Угомонись. У LLaMA треда итак есть шизоидная максимально бесполезная шапка. 0 полезной инфы, зато говно на весь экран и это ещё всё спрятано под ссылками (такими же обоссаными и ненужными, устаревшими ещё в 2023). Не нужна очередная бесполезная шапка. В сд-треде переработали шапку, стала более-менее, но всё равно половина ссылок бесполезный мусор, не нужны ни постоянным, ни новым. Шапка больше 10 строк = помойный мусор от долбоеба, пихающего всё попало, не понимающего ничего.
>>1560761 (OP)
>>1560761 (OP)
>>1560761 (OP)
Локальные языковые модели (LLM): LLaMA, Gemma, Qwen и прочие №206 /llama/
Аноним
19/03/26 Чтв 21:26:52
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1553055 (OP)
>>1548846 (OP)
Пропущено 500 постов, 56 с картинками.
> безобидная разметка которая везде подходит
Это не так, использование неподходящей для модели разметки имеет цену. В этом легко удостовериться самостоятельно.
>>1560172
> Чатмл бьет по мозгам эиру, как и любой ллм для которой она не родная
Бьет, но в данном конкретном случае не сказать, что драматично. Около месяца я так и играл, прежде чем додумался использовать родной темплейт без мультитурн разграничителя. По мозгам не бьёт, но даёт те же плюшки вроде смягчения проблемы эха и нежелания двигать нарратив.
ПЕРЕКАТ
>>1560242 (OP)
ПЕРЕКАТ
>>1560242 (OP)
ПЕРЕКАТ
>>1560242 (OP)
Обмена моделями тред. Первый. Экспериментальный. Под БАЗУ нейрогенерации уже созданы номерные треды
Аноним
06/01/23 Птн 16:00:02
№
Ответ
Под БАЗУ нейрогенерации уже созданы номерные треды SD и WD+NAI. Меж тем, это всего несколько моделей, тогда как только на Фэйсе их более 112 тысяч.
Этот тред для тех, кто копнул хоть немного глубже: необязательно до уровня обскурщины, выпиленной даже из даркнета, а просто за пределами того, что удостоилось своих тредов.
ИТТ делимся находками и произведенными результатами.
Собственно, главный ресурс для поиска:
https://huggingface.co/models
Пропущено 212 постов, 56 с картинками.
Этот тред такой мертвый
⚡️ IQuest-Coder-V1: первый опенсорс-кодер 2026 года с топ-результатами
IQuest Lab выкатили линейку IQuest-Coder-V1 — модели для реального разработки и агентных сценариев. Флагман 40B в открытом доступе, и по бенчмаркам он обходит сопоставимые закрытые модели (включая Claude Sonnet 4.5 и GPT-5.1 на SWE-Bench Verified). Вся серия доступна на https://huggingface.co/IQuestLab
Под капотом — Code-Flow Training: обучение на эволюции репозиториев, истории коммитов и «живых» трансформациях кода. Плюс Loop-варианты с рекуррентным трансформером и общими параметрами между итерациями — это экономит ресурсы и даёт прирост устойчивости на длинных задачах. Вариации: 7B / 14B / 40B, нативный 128K контекст, две линии — Instruct (прикладной кодинг) и Thinking (усиленные рассуждения).
За всем этим стоит очередной китайский хедж-фонд
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышла GPT 5.4 - https://openai.com/index/introducing-gpt-5-4/
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards
• NoAssTavern: https://github.com/Tavernikof/NoAssTavern | https://rentry.org/noasstavern
• Risu: https://risuai.xyz/
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Тредовский список: https://rentry.org/2ch-aicg-jb
• Бургерский список: https://rentry.org/jb-listing
• Сисовый список: https://rentry.org/2a9c6zhi
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
• Сборник рентри: https://rentry.org/mrhd
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://aicg.neocities.org/botmaking | https://rentry.co/card_theory
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 | https://rentry.org/2chaicgtavernbots4
• Бургерские боты: https://aicg.neocities.org/bots
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• Арена: https://beta.lmarena.ai/ | https://web.lmarena.ai/
• OpenRouter: https://openrouter.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives4
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1548846 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1551017 (OP)
Пропущено 1502 постов, 143 с картинками.
>>1558328
>>1558314
А последовательность можно менять произвольно? Ну из раздряда
Автор
Чар
Персона
Следующий аутпут
Чар
Автор
Персона
И так далее, главное чтобы подряд не шло, а так похуй какой порядок?
Сколько мы еще будем терпеть такое отношение?
Пропущено 6 постов, 1 с картинками.
Локальные языковые модели (LLM): LLaMA, Gemma, Qwen и прочие №205 /llama/
Аноним
16/03/26 Пнд 13:33:16
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1548846 (OP)
>>1544796 (OP)
Пропущено 501 постов, 63 с картинками.
ПЕРЕКАТ
>>1556634 (OP)
ПЕРЕКАТ
>>1556634 (OP)
ПЕРЕКАТ
>>1556634 (OP)
Это-то в Гроке цензура выше отныне? Покажи мне такое в веб-интерфейсе гопоты или близнецов.
Прошлый тред: >> https://2ch.hk/ai/res/664162.html
Вики треда: https://2ch-ai.gitgud.site/wiki/speech/
FAQ
Q: Хочу озвучивать пасты с двача голосом Путина/Неко-Арк/и т.п.
1. Используешь любой инструмент для синтеза голоса из текста - есть локальные, есть онлайн через huggingface или в виде ботов в телеге:
https://2ch-ai.gitgud.site/wiki/speech/#синтез-голоса-из-текста-tts
Спейс без лимитов для EdgeTTS:
https://huggingface.co/spaces/NeuroSenko/rus-edge-tts-webui
Так же можно использовать проприетарный комбайн Soundworks (часть фич платная):
https://dmkilab.com/soundworks
2. Перегоняешь голос в нужный тебе через RVC. Для него есть огромное число готовых голосов, можно обучать свои модели:
https://2ch-ai.gitgud.site/wiki/speech/sts/rvc/rvc/
Q: Как делать нейрокаверы?
1. Делишь оригинальную дорожку на вокал и музыку при помощи Ultimate Vocal Remover:
https://github.com/MaHivka/ultimate-voice-models-FAQ/wiki/UVR
2. Преобразуешь дорожку с вокалом к нужному тебе голосу через RVC:
https://2ch-ai.gitgud.site/wiki/speech/sts/rvc/rvc/
3. Объединяешь дорожки при помощи Audacity или любой другой тулзы для работы с аудио
Опционально: на промежуточных этапах обрабатываешь дорожку - удаляешь шумы и прочую кривоту. Кто-то сам перепевает проблемные участки.
Качество нейрокаверов определяется в первую очередь тем, насколько качественно выйдет разделить дорожку на составляющие в виде вокальной части и инструменталки. Если в треке есть хор или беквокал, то земля пухом в попытке преобразовать это.
Нейрокаверы проще всего делаются на песни с небольшим числом инструментов - песня под соло гитару или пианино почти наверняка выйдет без серьёзных артефактов.
Q: Хочу говорить в дискорде/телеге голосом определённого персонажа.
Используй RVC (запуск через go-realtime-gui.bat) либо Voice Changer:
https://github.com/w-okada/voice-changer/blob/master/README_en.md
Гайд по Voice Changer, там же рассказывается, как настроить виртуальный микрофон:
https://github.com/MaHivka/ultimate-voice-models-FAQ/wiki/Voice‐Changer (часть ссылок похоже сдохла)
Q: Как обучить свою RVC-модель?
Гайд на русском: https://github.com/MaHivka/ultimate-voice-models-FAQ/wiki/RVC#создание-собственной-модели
Гайд на английском: https://docs.aihub.wtf/guide-to-create-a-model/model-training-rvc
Определить переобучение через TensorBoard: https://docs.aihub.wtf/guide-to-create-a-model/tensorboard-rvc
Если тыква вместо видеокарты, можно тренить в онлайне: https://www.kaggle.com/code/varaslaw/rvc-v2-no-gradio-https-t-me-aisingers-ru/notebook?scriptVersionId=143284909 (инструкция: https://www.youtube .com/watch?v=L-emE1pGUOM )
Q: Надо распознать текст с аудио/видео файла
Используй Whisper от OpenAI: https://github.com/openai/whisper
Быстрый скомпилированный для винды вариант: https://github.com/Purfview/whisper-standalone-win
Так же есть платные решения от Сбера/Яндекса/Тинькофф.
Коммерческие системы
https://elevenlabs.io перевод видео, синтез и преобразование голоса
https://heygen.com перевод видео с сохранением оригинального голоса и синхронизацией движения губ на видеопотоке. Так же доступны функции TTS и ещё что-то
https://app.suno.ai генератор композиций прямо из текста. Есть отдельный тред на доске >>
Шаблон для переката: https://2ch-ai.gitgud.site/wiki/speech/speech-shapka/
Пропущено 521 постов, 89 с картинками.
═══════════════════════════════
П Е Р Е К А Т П Е Р Е К А Т
═══════════════════════════════
>>1557328 (OP)
>>1557328 (OP)
>>1557328 (OP)
═══════════════════════════════
П Е Р Е К А Т П Е Р Е К А Т
═══════════════════════════════
ПЕРЕКАТ
>>1557328 (OP)
ПЕРЕКАТ
>>1557328 (OP)
ПЕРЕКАТ
>>1557328 (OP)