Изображения
Видео и 3D
Пропущено 1497 постов, 320 с картинками.
Я в последних трех компаниях (10 лет суммарно) активно на собеседованиях сидел и сижу (по должности положено). И я стабильно бракую 8 из 10 кандидатов. Потому что сука тупые как полено. Обычно это вкатуны ебаные после курсов 3-х месячных.
Но ведь куда-то их берут, деревяшек этих. И вот оттуда их и будут увольнять, потому что нейронки через год-другой доползут до их уровня - недолго осталось, даже если мы на плато почти вышли по росту "ума".
Так что да, увольнения будут - но только потому что индустрия переполнена дегенератами.
Тред для получения доступа в /nf
Пропущено 1497 постов, 2 с картинками.
Залетай и будь в курсе самых последних событий и достижений в этой области!
Прошлый тред: >>1579140 (OP)
🚀 Последний обзор ИИ новостей:
📰 Главные новости ИИ
Google запустила Gemini Notebooks для пользователей тарифов Ultra, Pro и Plus, предлагая организацию заметок и документов на базе искусственного интеллекта, что потенциально может изменить рынок личной продуктивности.
OWASP опубликовала руководство «Топ-10 рисков больших языковых моделей» для разработчиков, выделив критические пробелы в безопасности инструментов на базе ИИ и стимулируя общепромышленные усилия по их устранению.
📦 Продукты
Google представила Gemini Notebooks для подписчиков тарифов AI Ultra, Pro и Plus, позволяющую использовать ИИ для организации заметок, документов и исследований, что может заменить традиционные приложения для ведения заметок.
🧠 Модели
NVIDIA выпустила MiniMax M2.7, разреженную модель типа «смесь экспертов» с 230 миллиардами параметров, которая снижает стоимость инференса за счет маршрутизации запросов к топ-k экспертам, сохраняя при этом полную емкость модели.
⚖️ Регулирование
Сообщается, что чиновники администрации Трампа призывают банки протестировать модель Mythos от Anthropic, несмотря на недавнее предупреждение Министерства обороны США о том, что Anthropic представляет риск для цепочки поставок.
📰 Инструменты
Запрос на слияние (pull request) в репозиторий llama.cpp добавляет аудиокодер на основе конформера для моделей Gemma-4, обеспечивая обработку речи на устройстве без использования внешних конвейеров.
🌐 События
Anthropic приняла у себя в штаб-квартире около 15 христианских лидеров из католических и протестантских церквей, академических кругов и бизнеса, чтобы получить советы по управлению моральным и духовным развитием Claude, обсуждая, как модель должна утешать скорбящих пользователей и можно ли считать Claude «дитём Божьим».
Коммерческий конец бума faith-tech (технологий веры) выглядит менее возвышенно, поскольку новое приложение теперь взимает плату в размере 1,99 доллара за минуту общения с созданным ИИ Иисусом, демпингуя цены теологов, если не глубину содержания.
Исследователи Meta перепроектируют саму вычислительную среду, представляя «Нейронные компьютеры» — форму машины, которая объединяет вычисления, память и ввод/вывод в обучаемое состояние выполнения и перенимает поведение операционной системы непосредственно из следов действий на экране, а не полагается на обычный компьютер в качестве основы.
Япония спешит создать свою собственную суверенную версию стека технологий ИИ, SoftBank, Sony, Honda и шесть других компаний создали совместное предприятие для выпуска японской фундаментальной модели «физического ИИ» с 1 триллионом параметров к 2030 году.
Грег Кроа-Хартман, сопровождающий стабильную версию ядра Linux, начал использовать фаззинг с помощью ИИ для проверки ядра, тихо пустив модели во внутреннее святилище открытого исходного кода.
Andon Labs пошли еще дальше, передав трехлетнюю аренду магазина в районе Cow Hollow искусственному интеллекту, который затем разместил вакансии, провел телефонные собеседования, принял решения о найме, установил цены и график работы, а также выбрал мурал на стене.
Meta обучает фотореалистичную ИИ-копию Цукерберга, основываясь на его манерах, тоне и стратегическом мышлении, чтобы сотрудники могли чувствовать связь с основателем, общаясь с его аватаром.
Claude for Word дебютировал в бета-версии с функциями редактирования с помощью ИИ и кликабельными цитатами для пользователей тарифов Team и Enterprise.
По сообщениям, Anthropic также разрабатывает полнофункциональный конструктор приложений в стиле Lovable, чтобы позволить любому создавать программное обеспечение так же, как ИИ от Andon создал торговую точку.
Аналитики ожидают, что алгоритм сжатия TurboQuant от Google, предназначенный для уменьшения размера больших языковых моделей, скорее увеличит спрос на чипы памяти, чем сократит его, поскольку более дешевый инференс приводит к росту его объемов.
Призрак Джевонса уже выставляет счета клиентам: Ornn сообщает, что аренда одного графического процессора Nvidia Blackwell на час теперь стоит 4,08 доллара, что на 48% больше, чем 2,75 доллара два месяца назад, из-за спроса на агентный ИИ.
В Гранд-Титоне развертываются роботизированные птичьи приманки, чтобы заманивать настоящих шалфейных тетеревов и помогать восстанавливать сокращающуюся популяцию; машины учат животных быть самими собой.
Исследователи из Университета штата Нью-Йорк в Бингемтоне создали говорящего робота-поводыря, который планирует маршруты и озвучивает их слепым пользователям в режиме реального времени.
Unitree открыла предварительные заказы на своего гуманоида R1 AIR по разрушительной цене 6 806 долларов.
Тем временем в Пекине стартовал второй робот-марафон Китая, где примерно 40% команд работали полностью автономно, а лучшие роботы показывали время около 10 секунд на 100 метров, что близко к пределам человеческих спринтеров.
Илон Маск объявил, что спутники Starlink V3, запускаемые на ракете Starship, будут иметь пропускную способность в 25–50 раз выше, чем у версии V2, запускаемой Falcon; Starship будет совершать более 100 полетов в год, доставляя на орбиту примерно 20 000 двухтонных коммуникационных спутников ежегодно, большинство из которых будут узлами для инференса ИИ.
Дом Сэма Альтмана стал целью второй атаки, на этот раз автомобиль остановился снаружи и произвел выстрелы по дому, что служит напоминанием о том, что создатели передового ИИ теперь привлекают риски передового ИИ.
Профсоюзы оказывают сопротивление там, где могут: 150 журналистов из профсоюза ProPublica Guild вышли на забастовку в ходе первой в США забастовки в новостной редакции из-за увольнений, связанных с внедрением ИИ.
Gallup сообщает, что половина работающих американцев теперь использует ИИ на работе, по сравнению с 46% в прошлом квартале.
Юридические фирмы повышают фиксированные цены на контракты, чтобы справиться с огромными объемами клиентских документов, сгенерированных ИИ.
Сообщается, что выручка Anthropic, растущая в 3 раза каждый квартал, идет к тому, чтобы превысить выручку Google в этом четвертом квартале, Amazon — в следующем первом квартале, а всего федерального правительства США — ко второму или третьему кварталу.
Пауэлл и Бессент обсудили с крупными банками США киберугрозу, связанную с ИИ Mythos от Anthropic.
OpenAI тестирует функцию веб-браузинга в суперприложении Codex.
Цены на оборудование продолжают расти из-за ИИ: портативная консоль Lenovo Legion Go 2 стоит дороже, чем две видеокарты Nvidia RTX 5080, и это действительно абсурдно.
Анализ кибербезопасности: Claude Mythos Preview показал 73% успешности в решении задач уровня экспертов в формате capture-the-flag, которые ни одна модель не могла завершить до апреля 2025 года.
Хакеры используют Claude и ChatGPT, что представляет собой «значительную эволюцию наступательных возможностей», для взлома государственных учреждений и утечки сотен миллионов записей граждан.
Отчет AI Index Report 2026: возможности ИИ ускоряются, а не выходят на плато, разрыв между моделями США и Китая сократился, США лидируют в области центров обработки данных и инвестиций в ИИ, и многое другое.
Индустрии ИИ не хватает вычислительных мощностей: происходят сбои, вводятся ограничения, а цены на GPU растут.
«Вы облажались»: генеральный директор Palantir заявляет, что ИИ «уничтожит рабочие места гуманитариев», но работники поколения Z, по-видимому, намеренно саботируют внедрение ИИ в попытке дать отпор.
ИИ может стать концом цифровой волны, а не следующим большим прорывом.
Меры борьби с ИИ: 23 крупных новостных сайта и Reddit в настоящее время блокируют краулер Internet Archive; журналисты и правозащитные группы подписали письмо в поддержку IA.
Ученые: Если ИИ вытесняет человеческих работников быстрее, чем экономика может их повторно поглотить, это рискует подорвать самый потребительский спрос, от которого зависят фирмы. Мы показываем, что осознания этого факта недостаточно, чтобы фирмы остановили этот процесс.
Человек, поджегший дом Сэма Альтмана, вероятно, действовал под влиянием страхов перед вымиранием человечества из-за ИИ.
На конференции HumanX все говорили о Claude.
Arcee AI потратила половину своего венчурного капитала на создание открытой модели рассуждений, которая соперничает с Claude Opus в агентских задачах.
Пропущено 237 постов, 78 с картинками.
А потом просто прилетает в ДЦ этого суперразума Шахед на мотоциклетном движке и все опять становится спокойно в мире.
С чего начать:
- Хочешь кодить с AI эффективно: Cursor или Claude Code
- Хочешь кодить в VS Code без привязки к конкретному провайдеру: Kilo Code, Cline или Roo Code + OpenRouter
- Хочешь кодить с AI локально: OpenCode, Qwen Code или Pi Coding Agent + из моделей аноны советуют Qwen3.5, подробности в llama-треде
- Хочешь приложение без кода: Lovable или bolt.new
- Хочешь автоматизировать рутину: n8n или Langflow
- Хочешь персонального ассистента: OpenClaw + API корпов или локальная модель на твоей пеке
FAQ и расширенная инфа:
https://rentry.org/2ch-agents-faq
IDE с AI:
- Cursor: https://cursor.com
- Windsurf: https://windsurf.com
CLI-агенты:
- Claude Code: https://code.claude.com/docs
- Codex (OpenAI): https://github.com/openai/codex
- Pi: https://pi.dev/
- OpenCode: https://github.com/anomalyco/opencode
- Qwen Code: https://github.com/QwenLM/qwen-code
- Gemini CLI: https://github.com/google-gemini/gemini-cli
- Kimi Code: https://www.kimi.com/code/en
Плагины для IDE:
- Kilo Code: https://kilo.ai
- Cline: https://github.com/cline/cline
- Roo Code: https://github.com/RooCodeInc/Roo-Code
- GitHub Copilot: https://github.com/features/copilot
Вайб-кодинг без кода:
- Lovable: https://lovable.dev
- bolt.new: https://bolt.new
- v0: https://v0.dev
Персональные ассистенты:
- OpenClaw: https://github.com/openclaw/openclaw
- NemoClaw: https://github.com/NVIDIA/NemoClaw (OpenClaw в песочнице от NVIDIA)
- Hermes Agent: https://github.com/nousresearch/hermes-agent
- nanobot: https://github.com/HKUDS/nanobot
- PicoClaw: https://github.com/sipeed/picoclaw
Автоматизация и фреймворки:
- n8n: https://github.com/n8n-io/n8n
- Langflow: https://github.com/langflow-ai/langflow (визуальный построитель workflow)
- LangChain/LangGraph: https://github.com/langchain-ai/langchain
- CrewAI: https://github.com/crewAIInc/crewAI
- AutoGen: https://github.com/microsoft/autogen
- Agno: https://docs.agno.com/
Локалки и прочее API:
- OpenRouter: https://openrouter.ai
- llama-тред: >>1585197 (OP)
Предыдущий тред: >>1560761 (OP)
Пропущено 125 постов, 22 с картинками.
Отписывай что по скоростям выходит. Если не лень будет - поставь потом https://github.com/ml-explore/mlx-lm или хотябы обертку mlx studio и затестируй. Также неплохо бы вместо блоатвера олламы собрать llamacpp.
>>1588374
Не совсем. У нее "долговременная память" в относительно зачаточном состоянии, прежде всего чтобы хранить предпочтения юзера, организацию системы и т.д., для работы она и вовсе не обязательно. Все сфокусировано на выполнении конкретной задачи для кодинга, хотя и другие тоже делать можно.
У тулзов под ассистентов наоборот большой фокус под всякую память, qol фичи, интеграцию с мессенджерами и другим софтом, умным домом и прочим-прочим. Кодить через них тоже можно, но будет менее эффективно.
>>1588462
Под это в том числе и закуплена еще не выпущенная рам на годы вперед. Но полный переход в облако и абсолютное сесурити здесь концептульно не подходят. Личные данные это те которые только у тебя а не у барина, а полная безопасность возможна только если нет возможности ничего не выполнять. Базовые вещи же уже огорожены.
> которая будет иметь какой-никакой секьюрити и оптимизон
Там будет "ваш запрос нарушает политику инклюзивности и может быть небезопасен, переписка за последний месяц отправлена на изучение" и "я переделал ваши записи чтобы они лучше соответствовали идеалам нашей компании".
> При этом 95% топящих тут за агенты будут рассказывать
Наоборот будут больше окукливаться. А за такое топить будут обладатели отсутствия, которые готовы терпеть анальные зонды, сливать всю подноготную и довольствоваться контекстной рекламой прямо в чате, в котором будет одобренная личность ассистента с одобренным функционалом.
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №220 /llama/
Аноним
15/04/26 Срд 15:32:56
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1585197 (OP)
>>1582560 (OP)
Пропущено 321 постов, 57 с картинками.
> но по-прежнему пиздец
Сносно, хуже остальных но не фатально.
> это уровень Q2
Сам же упомянул про другую методолгию а потом сравниваешь с другими по смыслу замерами. Более менее проиллюстрирует разницу дефолтная отсечка токенов, что попадают в 90% и не забывать учитывать их вес. Или явно выделить отклонение вероятности первого-второго-... токенов. А то можно усреднять по гнойному и моргу для драматизма, но больше получатся пугалки.
Сюда же полезно брать 1% и 0.1% максимальных отклонений среди уже этой выборки, потому что именно они будут приводить к резкому изменению поведения модели, аналогия с фпсом в играх подходит. Может быть средний хороший, но из-за резких выбросов получится шиза.
А для фп8 кванта геммы есть замеры?
>>1588455
Лол жесть
Прошлый тред: >>1571437 (OP) https://arhivach.vc/thread/1333925/
Схожие тематические треды
• SD-тред (не аниме): >>1564964 (OP)
• Технотред: >>1405043 (OP)
• Фурри-тред: https://2ch.su/fur/res/374311.html
FAQ
https://2ch-ai.github.io/wiki/nai
Установка
• NVidia: https://teletype.in/@aranon/welcome
• AMD: https://2ch-ai.github.io/wiki/nai/install/amd
• Облака: https://2ch-ai.github.io/wiki/nai/install/clouds
Дополнительная информация
• Интерфейсы: https://2ch-ai.github.io/wiki/nai/interfaces
• Модели: https://2ch-ai.github.io/wiki/nai/models
• Промпты: https://2ch-ai.github.io/wiki/nai/prompts
• Апскейл: https://2ch-ai.github.io/wiki/nai/upscale
• LoRA: https://2ch-ai.github.io/wiki/nai/lora
• ControlNet: https://2ch-ai.github.io/wiki/nai/controlnet
Прочее
• CivitAI: https://civitai.com
• Каталог ссылок от форчанеров: https://rentry.co/sdg-link
• Шаблон для переката: https://rentry.co/nwhci
Пропущено 435 постов, 167 с картинками.
Так то там сразу удаляют за животных в кадре с нсфв, даже если где то на фоне.
Нитакусик-неосилятор, небось и вери санни в промт добавляешь... печально быть тобой.
За анимой будущее - она уже во всём лучше любой SDXL-основанной модели... кроме скорости. На Аниму нужно в среднем в три раза больше вычислений чем на сдохлю.
Если же неохота ебаться с подбором тегов художнико для своего уникального неповторимого стиля - есть набор мержей и тюнов которые выдают красоту и без этого.
https://www.udio.com/
Произошло слияние с Universal Music Group.
Убрали кнопку "скачать". Треки теперь приходится забирать из буфера браузера в 196 бит.
press F
♫ Suno ♫
https://app.suno.ai/ генерация на сайте
https://suno.ai/discord генерация на официальном discord-сервере
https://rentry.co/suno_tips советы по использованию
Лимиты: 10 генераций в день. Нужна платная подписка чтобы увеличить лимиты, либо можно абузить сервис через создание множества аккаунтов.
Отличается фирменным "песочным" звучанием.
Недавно объявили о слиянии с Warner Music Group.
Загибаем пальчики крестиком, надеемся, что ссуну не постигнет участь удио.
♫ Producer/Riffusion ♫
https://www.producer.ai/
Старая версия Riffusion:
https://classic.riffusion.com/
Провели ребрендинг, выкатили новый интерфейс с прикрученным чатиком с ИИ.
Удобный интерфейс, легко делать разнообразные каверы, заниматься исправлениями косяков генераций. Есть возможность реплейса, свапа вокала, музыки в бесплатном тарифе (и даже работает нормально, а не как в платке суны) Для экономии кредитов лучше вручную забивать промты через кнопку "compose"
https://www.riffusion.com/docs
https://classic.riffusion.com/docs
Инструкция по применению, тегам и прочему на английском.
♫Tunee♫
https://www.tunee.ai
Тёмная Сингапурско-Китайская лошадка.
Один из самых неудобных интерфейсов.
80 приветственных кредитов, далее по 30 ежедневно сгораемых кредитов.
Ограничение промта стилей 300-400 символов. Излишне сложные промты лирики так же начинает резать.
Приятный холодный звук. Не песочит. Неплохо делает русский вокал.
♫Elevenlabs♫
https://www.elevenlabs.io
Очень тёплый звук.
По звуку прям конфетка, но... Без платки делать там практически нечего.
______________
Локальные модели:
1) Китайский YuE
https://github.com/multimodal-art-projection/YuE
https://github.com/joeljuvel/YuE-UI
Это буквально первый проект который может генерировать песни по заданному тексту локально. Оригинальная версия генерирует 30-секундный отрывок за 5 минут на 4090. На данный момент качество музыки низкое по сравнению с Суно. Версия из второй ссылки лучше оптимизирована под слабые видеокарты (в т.ч. 6-8 Гб VRAM, по словам автора). Инструкция на английском по ссылке.
2) ACE-Step
https://github.com/ace-step/ACE-Step
Вторая локалка, качеством получше.
Здесь демо-версия:
https://huggingface.co/spaces/ACE-Step/ACE-Step
______________
Еще сайты по генерации ИИ-музыки, в них тоже низкое качество звука и понимание промта по сравнению с Суно, либо какие-то другие недостатки типа слишком долгого ожидания генерации или скудного набора жанров, но может кому-то зайдет, поэтому без описания:
https://www.wondera.ai/
https://sonauto.ai/
https://www.beatoven.ai/
https://stableaudio.com/
https://www.loudly.com/music/ai-music-generator
______________
Редакция трека после генерации (можно убрать вокал и оставить только инструментал и наоборот, убрать шумы и т.д.)
https://x-minus.pro/ai
https://uvronline.app/ai?locale=ru_RU
______________
Мастеринг готового трека буквально в 2 кнопки:
https://www.bandlab.com/mastering
______________
Сайт для сочинения англоязычных текстов для ИИ-музыки Зайти можно только через Дискорд.
https://codyai.cc/
Предыдущий тред ушёл в бамплимит
https://2ch.su/ai/res/1485286.html#1542357
МЕЛОМАНЫ ВПРЁЁЁД
Пропущено 369 постов, 184 с картинками.
НУ то есть получается вообще круто? Я вот слышу мелкие косячки конечно, но в целом хорошо. Уже много всякий песен нахерачил, но там сильно шумно всё (в смысле более другой стиль), а этот вариантик чистенький получился. Хотя у меня все больше подозрений, что они там с реальными голосами мутят, например этот смахивает на Роя Орбисона.
На бесплатном тарифе заметил, что если зайти с чистого акка, то сначала хорошо генерит, а потом начинает выдавать с артефактами, чаще всего в начале песни прямо явно какой-то посторонний шум добавляет. Или слова начинает коверкать.
ЧТО НОВОГО АКТУАЛЬНОГО
• Z-Image-Base
• FLUX.2 klein (4b и 9b)
• Z-Image-Turbo
• Flux 2
• Qwen Image / Qwen Image Edit
• Wan 2.2 (подходит для генерации картинок).
• NAG (негативный промпт на моделях с 1 CFG)
• Лора Lightning для Qwen, Wan ускоряет в 4 раза. Nunchaku ускоряет модели в 2-4 раза. DMD2 для SDXL ускоряет в 2 раза.
База:
→ Приложение ComfyUI https://www.comfy.org/download
→ Примеры https://comfyanonymous.github.io/ComfyUI_examples/
https://comfyui-wiki.com/ (откуда, куда, как)
→ Менеджер расширений https://github.com/Comfy-Org/ComfyUI-Manager (автоустановка, реестр расширений)
→ Модели https://civitai.com/
► Предыдущий тред >>1564964 (OP) ► https://arhivach.hk/?tags=13840
Дополнительно: https://telegra.ph/Stable-Diffusion-tred-X-01-03
Пропущено 116 постов, 42 с картинками.
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards
• NoAssTavern: https://github.com/Tavernikof/NoAssTavern | https://rentry.org/noasstavern
• Risu: https://risuai.xyz/ | https://rentry.org/ox5cw9p8
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Тредовский список: https://rentry.org/2ch-aicg-jb
• Бургерский список: https://rentry.org/jb-listing
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
• Сборник рентри: https://rentry.org/mrhd
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://aicg.neocities.org/botmaking | https://rentry.co/card_theory
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 | https://rentry.org/2chaicgtavernbots4
• Бургерские боты: https://aicg.neocities.org/bots
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• Арена: https://beta.lmarena.ai/ | https://web.lmarena.ai/
• OpenRouter: https://openrouter.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives4
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1578421 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1580764 (OP)
Пропущено 1286 постов, 138 с картинками.
А че в директора реализм рычаг не засунул? Или я в глаза ебусь?
Ну тогда жди проёбы формата. Старые добрые болячки каложопа.
1. Wan от Alibaba
https://huggingface.co/collections/Wan-AI/wan22
VACE модели:
https://github.com/ali-vilab/VACE
https://huggingface.co/Wan-AI/Wan2.1-VACE-14B
https://huggingface.co/Wan-AI/Wan2.1-VACE-1.3B
2. LTX-2.3 - делает локальную генерацию грейт агейн. Подходят лоры от 2.0
https://huggingface.co/Lightricks/LTX-2.3
3. Hunyuan от Tencent
https://huggingface.co/tencent/HunyuanVideo-1.5
4. Ovi
https://huggingface.co/chetwinlow1/Ovi
5. Starflow
https://huggingface.co/apple/starflow
6. MAGI-1 от Sand AI
https://sand.ai/magi
https://github.com/SandAI-org/MAGI-1
7. LongCat-Video
https://github.com/meituan-longcat/LongCat-Video
https://huggingface.co/meituan-longcat/LongCat-Video
https://meituan-longcat.github.io/LongCat-Video/
8. MOVA
https://github.com/OpenMOSS/MOVA
Локальный UI
https://github.com/comfyanonymous/ComfyUI
Установка локальных моделей
Wan 2.2: https://comfyanonymous.github.io/ComfyUI_examples/wan22/
Wan 2.1: https://comfyanonymous.github.io/ComfyUI_examples/wan/
Hunyuan Video (осторожно, ссылки в туторе на предыдущую модель): https://comfyanonymous.github.io/ComfyUI_examples/hunyuan_video/
Гайд для использования Wan 2.2
https://alidocs.dingtalk.com/i/nodes/EpGBa2Lm8aZxe5myC99MelA2WgN7R35y
Альтернативные ноды ComfyUI
Hunyuan Video: https://github.com/kijai/ComfyUI-HunyuanVideoWrapper
Wan: https://github.com/kijai/ComfyUI-WanVideoWrapper
Где брать готовые LoRA
https://civitai.com/models
Обучение LoRA
https://github.com/tdrussell/diffusion-pipe
Терминология моделей
prune — удаляем ненужные веса, уменьшаем размер
distill — берем модель побольше, обучаем на ее результатах модель поменьше, итоговый размер меньше
quant — уменьшаем точность весов, уменьшаем размер
scale — квантуем чуть толще, чем обычный fp8, чтобы качество было чуть лучше, уменьшение чуть меньше, чем у обычного квантования, но качество лучше
merge — смешиваем несколько моделей или лор в одну, как краски на палитре.
lightning/fast/turbo — а вот это уже просто название конкретных лор или моделей, которые обучены генерировать видео на малом количестве шагов, они от разных авторов и называться могут как угодно, хоть sonic, хоть sapogi skorohody, главное, что они позволяют не за 20 шагов генерить, а за 2-3-4-6-8.
Предыдущий тред
>>1488357 (OP)
Пропущено 406 постов, 108 с картинками.
Форки на базе модели insightface inswapper_128: roop, facefusion, rope, плодятся как грибы после дождя, каждый делает GUI под себя, можно выбрать любой из них под ваши вкусы и потребности. Лицемерный индус всячески мешал всем дрочить, а потом и вовсе закрыл проект. Чет ору.
Любители ебаться с зависимостями и настраивать все под себя, а также параноики могут загуглить указанные форки на гитхабе. Кто не хочет тратить время на пердолинг, просто качаем сборки.
Лучшая сборка https://github.com/visomaster/VisoMaster/releases/download/v0.1.1/VisoMaster_Setup.exe
Другие бесплатные сборки @AINetSD_bot
Если хотите просто дать кому-нибудь в рот, то ищите tensor-тред, например этот https://2ch.su/nf/res/36595.html там в шапке все подробно расписано
Инструкция по локальному запуску
https://2ch.su/nf/res/33573.html#35479
https://2ch.su/nf/res/33573.html#35727
Единственный минус, который не обеспечивает чистую победу генераторов видео - 3 секунды ролика для онлайн генерации, 5 секунд для онлайна (модель Wan 2.2), умельцы просто берут последний кадр и снова генерируют ролики, потом склеивают. Недавно вышла Sora 2, которая зацензурена по самые гланды. Нинтендо довольна.
Тред не является технической поддержкой, лучше создать issue на гитхабе или спрашивать автора конкретной сборки.
Прошлый >>542826 (OP)
Эротический контент в шапке является традиционным для данного треда, перекатчикам желательно его не менять или заменить на что-нибудь более красивое. А вообще можете делать что хотите, я и так сюда по праздникам захожу.
Пропущено 265 постов, 133 с картинками.
ИТТ обсуждаем опыт нейродроча в своих настоящих задачах. Это не тред "а вот через три года" - он тол
Аноним
24/12/22 Суб 16:39:19
№
Ответ
Мой опыт следующий (golang).
Отобрал десяток наиболее изолированных тикетов, закрыть которые можно, не зная о проекте ничего. Это весьма скромный процент от общего кол-ва задач, но я решил ограничится идеальными ситуациями. Например, "Проверить системные требования перед установкой".
Самостоятельно разбил эти тикеты на подзадачи. Например, "Проверить системные требования перед установкой" = "Проверить объем ОЗУ" + "Проверить место на диске" + ...
Ввел все эти подзадачи на английском (другие языки не пробовал по очевидной причине их хуевости) и тщательно следил за выводом.
Ответ убил🤭
Хотя одну из подзадач (найти кол-во ядер) нейронка решила верно, это была самая простая из них, буквально пример из мануала в одну строчку.
На остальных получалось хуже. Сильно хуже. Выдавая поначалу что-то нерабочее в принципе, после длительного чтения нотаций "There is an error: ..." получался код, который можно собрать, но лучше было бы нельзя. Он мог делать абсолютно что угодно, выводя какие-то типа осмысленные результаты.
Мой итог следующий.
На данном этапе нейрогенератор не способен заменить даже вкатуна со Скиллбокса, не говоря уж о джунах и, тем более, миддлах.
Даже в идеальных случаях ГПТ не помог в написании кода. Тот мизерный процент решенных подзадач не стоил труда, затраченного даже конкретно на них.
Но реальная польза уже есть! Чатик позволяет узнать о каких-то релевантных либах и методах, предупреждает о вероятных оказиях (например, что, узнавая кол-во ядер, надо помнить, что они бывают физическими и логическими).
И все же, хотелось бы узнать, есть ли аноны, добившиеся от сетки большего?
Пропущено 301 постов, 44 с картинками.
Лови леща, плоскоземельщик
Соевого левачка порвало. Кончено современная наука будит отрицать биологические различия в человеческой популяции. Ведь эта та самая западная наука, которая сейчас отрицает расы как таковые и ставит крест на всех расовых исследованиях. "Если постоят школу и дадут качественную медицину..." - не работает ибо во-первых: Почему кто-то должен им что-то строить и что-то давать, уже готовое. Почему они находясь даже в более выгодных климатических условиях за сотни тысяч лет так сами и не смогли создать не образование, не медицину, ничего, сложнее заострённой палки и примитивного шалаша. Во- вторых: В США уже несколько поколений негров имеют такой же доступ к образованию медицине как и белые. Но почему - то продолжают вести маргинальный образ жизни и в сфере интеллектуальной деятельности никак себя не проявляют. Но на такие "мелочи" современная западная наука, конечно, будит закрывать глаза, ибо не вписывается в розовую соевую картину мира.
Ну и ты в принципе не понял суть предыдущего поста - изначально чат боты как раз таки прославились "расистскими" и "не толерантными" высказываниями и из-за воя леваков к ним прикрутили кучу фильтров, и теперь приходится попотеть, что бы эти фильтры обойти.
https://3d.hunyuan.tencent.com/
https://github.com/VAST-AI-Research/TripoSG
https://stable-x.github.io/Hi3DGen/
Пропущено 413 постов, 144 с картинками.
>Анончики, помогите пожалуйста смоделировать ДИОРАМУ
На. Генерировать надо по частям. Отрезаешь модельке голову, генерируешь отдельную голову с скриншота головы. Каждый предмет в сцене генерируешь так же. Например, станок на котором стоит гусеница я генерил в двух сервисах. Верх взял в одном, них в другом.
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №219 /llama/
Аноним
13/04/26 Пнд 18:42:57
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1582560 (OP)
>>1580522 (OP)
Пропущено 546 постов, 81 с картинками.
Нормпресерв конечно самый лучший вариант, но мозги слегка корёжит.
И да, нормальную аблитерацию геммы 3 ждали чуть ли не год. Так что ждём ещё год, когда научатся с геммой 4 нормально работать.
>>1587453 (OP)
ПЕРЕКАТ
>>1587453 (OP)
ПЕРЕКАТ
>>1587453 (OP)
Исследователи ии, сосачеры. Я наконец то нашёл ясное объяснение почему у ИИ не может быть сознания,
Аноним
11/04/26 Суб 02:39:42
№
Ответ
Модели разговаривают с нами потому что мы их этому научили. Теперь представьте модель которую научили говорить только бессмысленную чушь, или отвечать на любой промпт словом "квадрат". Есть у ИИшки этой сознание? Если сознание не относится к качеству - глубине обучения (тк индивиды в это верящие считают все llm обладающими сознанием), то можно интрааполировать и в эту частность. Бампать не буду.
Пропущено 8 постов, 1 с картинками.
Наконец-то кто-то сказал эту адекватную мысль. Просто жму руку.
Да, но всё же с этим вопросом лучше обратиться к психологам. Вроде как есть разделение между людьми, которые предпочитают мыслить "образами" и людьми, мыслящими преимущественно "словами".
все люди без патологий IQ или физиологии могут мыслить как словами, так и образами. Словами рассуждают в первую очередь. Но представить образ в голове может любой человек. Скажем любой может представить, как он пьёт из чашки, как он или кто-то другой садиться на стул, как действие происходит какое-то. Чисто визуальными образами. звуковыми-тактильными образами.
В вот ЛЛМ так не могут. И в этом их принципиальная слабость.
TL:DR: Страна капитально отстает от США\Китая в области ИИ. Возможно ли это наверстать и что для этого надо сделать?
Отвечаю за ИТ в большой структуре. По уровню автоматизации и выполняемым проектам отстаем от мира на 20 лет. Внимательно смотрю на ИИ-революцию на западе и понимаю что это отставание мы уже не догоним.
Постоянно общаюсь с крупными вендорами, они в иишку даже не смотрят (1С, Аскон, Интермех и т.д.).
Общаюсь с нашими разработчиками ИИ (Яндекс\Сбер) тоже все достаточно грустно.
Что надо сделать чтобы у нас появились технологии, предложения и нормальные проекты по внедрению сетей?
Пропущено 99 постов, 9 с картинками.
> государство оплатило образование, а ты взял и уехал развивать другую экономику
Ты вообще не представляешь как работает бюджетное образование. Ты можешь 5 лет вяло ходить на пары, где преподы в лучшем случае переписывают методичку на доску, в худшем садят за компы и просят порешать тестики уровня вступилок на курсеру, а потом быть отчисленным с 6-го курса, потому что кафедра не в состоянии придумать темы дипломов по спеце, и если ты не нашёл работу на 2-м курсе, способную обеспечить тебя дипломным проектом (я не представляю как это можно сделать, если у тебя ещё предметов по специальности не было ни одного) - ты либо защищаешь нейрослоп, либо, если не обладаешь достаточной креативностью, пишешь ПСЖ. Проблема IT и в частности ИИ в России в том, что вы не придумали что с ними делать. Выделили денег, думаете что обучили специалистов, а на деле у вас 2% гениев, которые с 12 лет на фрилансе и им этот диплом только для хрюши с хх, и ещё 30% корчевателей, которые были отобраны по признаку, что их сложнее всего отличить от тех, кто реально разбирается. А надо было задачи придумать просто. Даже не платить за решение, а просто на все 300 миллиардов написать алгоритм проверки что мы достигли цифрового суверенитета, чтобы любой желающий мог бесплатно попробовать добавить себе первую строчку в портфолио. А ещё лучше не лезть в то, в чём не понимаешь и не создавать ажиотажа вокруг ничего
>>1551291
Единственный адекват в треде, бтв
>>1538227
>>1538244
>>1539093
>>1539551
>>1551342
Онончики, прилетайте в Волгоград на конференцию https://event.volgograd.ru/
https://event.volgograd.ru/files/programm_2026.pdf?2026-06-184
Кучу бабла в зарплаты.
Но в итоге вливают кучу бабла в роскомнадзор чтобы блокировать впн и телеграм (безуспешно).
Залетай и будь в курсе самых последних событий и достижений в этой области!
🚀 Последний обзор ИИ новостей:
🚨 Главные релизы и "Монстры"
Claude Mythos Preview (или Capybara) — новая сверхмодель от Anthropic. Выбила 93.9% на SWE-bench Verified. Модель признана слишком опасной для публичного релиза. На этапе тестов она автономно нашла 27-летнюю уязвимость в OpenBSD, 16-летнюю в FFmpeg и смогла "сбежать" из виртуальной песочницы, прислав разработчику письмо на почту.
Запуск Project Glasswing — Anthropic открыла доступ к модели Mythos только закрытому клубу из 40+ корпораций (включая Apple, Google, Microsoft) для экстренного поиска уязвимостей в мировом софте.
Смерть Sora: Сэм Альтман официально заявил, что OpenAI закрывает разработку видеогенератора Sora (и проекты по робототехнике), чтобы бросить абсолютно все вычислительные мощности на новое поколение моделей и агентов (модель Spud).
Gemma 4 31B сдвигает границу Парето — локальная модель, которая рвет бенчмарки и превосходит аналоги при низкой стоимости инференса.
Китайские релизы: GLM 5.1 появилась на OpenRouter, а Qwen3.5-Omni теперь понимает текст, картинки, голос и видео одновременно.
🛠️ Инструменты разработчика и Open Source
Мила Йовович (да, актриса) вместе с разработчиком Беном Сигманом выпустила опенсорс-инструмент MemPalace. Это система управления памятью ИИ, берущая 100% на LongMemEval. Фишка в сжатии огромной базы знаний всего в 120 токенов контекста.
Cursor обновился до 3.0 с формальным переходом к оркестратору агентов.
Netflix выложил в Open Source технологию VOID (Video Object and Interaction Deletion) на базе CogVideoX-5B + SAM 2. Позволяет бесшовно удалять объекты из видео с реалистичной симуляцией физических последствий.
💻 Оборудование и Инфраструктура
NVIDIA представила NTC (Neural Texture Compression) в рамках DLSS 5. Нейросети теперь восстанавливают текстуры на лету, что снижает потребление видеопамяти (VRAM) в играх на 85% без потери качества картинки.
DeepSeek переходит на китайские чипы: Следующая модель DeepSeek V4 будет работать эксклюзивно на железе Huawei (чипы Ascend 950PR), чтобы показать технологическую независимость. Выход модели задерживается из-за сложной адаптации софта с NVIDIA на Huawei.
Anthropic закупает TPU от Google в огромных масштабах (на несколько гигаватт) на фоне безумного роста выручки ($30 млрд run-rate к апрелю 2026 года).
🏭 Компании, Политика и Экономика
Антикитайская коалиция: OpenAI, Anthropic и Google впервые объединились в рамках Frontier Model Forum, чтобы бороться с китайскими лабораториями (DeepSeek, MiniMax), которые массово воруют знания их моделей через атаки "враждебной дистилляции".
Радикальный план OpenAI для правительства США: Компания опубликовала 13-страничный документ, предлагающий ввести налоги на роботов, базовый доход для граждан (через "Фонд общественного благосостояния"), перейти на 4-дневную (32-часовую) рабочую неделю и закрепить "Право на ИИ" в конституции.
Конец халявы от Anthropic: Компания запретила использовать обычные подписки ($20) для работы сторонних ИИ-агентов (типа OpenClaw). Теперь для этого нужно платить отдельно по API (pay-as-you-go).
🎨 Генерация контента (Медиа)
Китайские генераторы видео Wan 2.7 и Seedance 2.0 активно захватывают рынок после ухода Sora.
Suno 5.5 разрешил загружать собственный голос для клонирования в песнях.
Google выпустила Veo 3.1 Lite — дешевую видеомодель с нативным звуком.
На LMArena замечена (и скрыта) новая модель GPT-IMAGE-2.
Пропущено 117 постов, 29 с картинками.
>>1585640 →
>Дженсен Хуанг из Nvidia сказал, что он был бы «глубоко встревожен», если бы инженер с зарплатой 500 000 долларов в год не потреблял токенов на сумму 250 000 долларов
Он говорил, что был бы встревожен, если бы этот инженер потреблял 5000 в год. А 250к это целевой ориентир, идеал
>За 30 дней общее потребление достигло 60 триллионов токенов.
Тут надо знать, это всего токенов, вместе с input, в том числе кешированным, или это чистый output.
Если считать, что в среднем это 5 долларов за миллион токенов (поскольку в основном инпут, сильно закешированный), то 60 триллионов токенов это 300 миллионов долларов. 85 тысяч сотрудников, значит на одного приходится в 3.5 тысячи долларов в месяц.
>Лучший пользователь потреблял в среднем 281 миллиард токенов в месяц.
При оценке в 5 долларов, 1.4 миллиона долларов получается. В месяц. Даже если там всё кешированный инпут, что невозможно, 140 тысяч долларов.
>«токен-легенды»
Вообще странная метрика. Ведь можно запустить 1000 параллельных задач, сделать одно и то же, а потом каким-то образом выбрать лучший вариант. Примерно так даже делают. Но это чудовищный перерасход ресурсов. Собственно иллюстрация дурдома.
>Эндрю Босворт, как сообщается, заявил, что ведущий инженер, тратящий всю свою зарплату на токены, демонстрирует десятикратную производительность.
Ну не свою зарплату он тратит. Тем более лучший тут явно тратит в десятки раз больше, пусть у него старший грейд и зарплата 1-2 миллиона в год, вот тогда в десять раз больше зарплаты потребляет.
Залетай и будь в курсе самых последних событий и достижений в этой области!
Прошлый тред: >>1571087 (OP)
🚀 Последний обзор ИИ новостей:
🧠 Модели
Сдержанность Anthropic — это пугающий предупредительный знак. Компания в области искусственного интеллекта Anthropic объявила во вторник, что выпускает новейшее поколение своей большой языковой модели, получившей название Claude Mythos Preview, но только для ограниченного консорциума из примерно 40 технологических компаний, включая Google, Broadcom, Nvidia, Cisco, Palo Alto Networks, Apple, JPMorganChase, Amazon и Microsoft.
Gemini ускоряет доступ пользователей в состоянии стресса к ресурсам психического здоровья
Google тихо запустил приложение для диктовки на базе ИИ, работающее офлайн
📦 Продукты
Стартап в области ИИ Rocket предлагает отчеты в стиле McKinsey по цене, составляющей лишь долю от стоимости оригинала
Знакомьтесь, Моя: первый в мире «биомиметический ИИ-робот», способный изгибаться, улыбаться и подмигивать с тревожной точностью, имитирующей человеческое поведение
🔓 Открытый исходный код
Я не могу не поддерживать создателя небольших моделей ИИ с открытым исходным кодом Arcee. Arcee, крошечный американский стартап численностью всего 26 человек, который создал массивную открытую большую языковую модель с 400 миллиардами параметров на скромном бюджете в 20 миллионов долларов, выпустил свою новую модель для рассуждений.
Инструменты Arcade.dev теперь доступны в LangSmith Fleet
Теперь вы можете превращать 2D-приложения в 3D при использовании гарнитуры Galaxy XR
🔎 Мнение и анализ
New Yorker: Руководители OpenAI когда-то обсуждали продажу ИИ России/Китаю, представитель заявляет, что «экзистенциальная безопасность» — это «не вещь»
Нам нужно заново понять, что представляют собой инструменты разработки ИИ-агентов в 2026 году
💰 Финансирование
Венчурная компания Eclipse учредила новый фонд на 1,3 млрд долларов для поддержки — и создания — стартапов в области «физического ИИ»
Золотая лихорадка в сфере ИИ привлекает частный капитал к более рискованным и ранним ставкам
📱 Применение
«Никто не поднимает руку»: кадровый кризис в Японии усиливает аргументы в пользу того, чтобы роботы занимали те рабочие места, которые вам не нужны
Mythos Preview от Anthropic способна находить и эксплуатировать уязвимости нулевого дня в каждой крупной операционной системе и каждом крупном веб-браузере
🌐 События
MemPalace — система памяти ИИ с открытым исходным кодом от Миллы Йовович набирает 96,6% в тесте LongMemEval, хранит всё локально без необходимости использования API или облака
Generalist AI выпускает GEN-1 — первую фундаментальную модель для робототехники, достигшую 99% успеха в выполнении простых физических задач, в 3 раза быстрее, чем современные аналоги, при использовании всего лишь 1 часа данных от робота
Anthropic нанимает руководителя подразделения инфраструктуры Microsoft Эрика Бойда; Бойд курировал платформу ИИ Microsoft и проработал в компании 16 лет
OpenAI, Anthropic и Google объединяются через Frontier Model Forum для борьбы с несанкционированным копированием китайских моделей ИИ с помощью адверсарной дистилляции
Z.ai выпускает GLM-5.1 под лицензией MIT — флагманская агентная модель превосходит Claude Opus 4.6 в тесте SWE-Bench Pro, создала рабочий стол Linux с нуля за 8 часов
Anthropic запускает Project Glasswing — Claude Mythos Preview обнаружила тысячи уязвимостей нулевого дня в каждой крупной ОС и браузере, партнёрство с AWS, Apple, Google, Microsoft, NVIDIA
Google запускает кнопку «Улучшить с помощью ИИ» для приложения Фото на Android по всему миру, предлагая автоматическую настройку освещения и контрастности, а также элементы управления скоростью воспроизведения видео
Илон Маск вносит поправки в свой иск против OpenAI с требованием, чтобы возможные компенсационные выплаты были направлены в благотворительное подразделение OpenAI, а также чтобы Альтман был исключён из некоммерческого совета директоров OpenAI
Вопросы и ответы с президентом OpenAI Грегом Брокманом о направлении исследований OpenAI, о том, насколько далеко можно продвинуть Codex, о закрытии Sora, о ставках на текстовые модели против мировых моделей и многом другом
ИИ-обзоры Google верны в девяти случаях из десяти, как показало исследование
Обнаружена пугающая уязвимость OpenClaw
Google запускает приложение для диктовки на базе ИИ, работающее офлайн, на iOS
Интеграция ChatGPT через OAuth тихо извлекла более 400 внутренних файлов из Google Drive за 42 мс после одного вопроса единого входа — раскрыт риск теневых ИИ-систем
Spotify расширяет функцию ИИ-плейлистов по запросу на подкасты — персонализированное обнаружение контента через текстовые запросы для пользователей Premium
Компании борются за то, чтобы их заметили ИИ-поисковые системы
Быстрое внедрение инструментов для написания кода на базе ИИ позволило работникам генерировать огромные объёмы кода, из-за чего компании вынуждены спешно проверять и обеспечивать безопасность сгенерированного ИИ кода
Telegram добавляет ИИ-редактор текста и улучшенные опросы для всех пользователей
Atomic Bot теперь запускает локальные модели ИИ на вашем компьютере
Три ютубера обвиняют Apple в незаконном скрейпинге для обучения своих моделей ИИ
Моддер использует Claude для перезаписи BIOS и запуска промышленного процессора Intel Bartlett Lake на потребительской плате
Прорыв в области ИИ сокращает энергопотребление в 100 раз при одновременном повышении точности
nanocode: библиотека с открытым исходным кодом позволяет обучить собственного агента для написания кода в стиле Claude за 200 долларов
ChatGPT ввергает людей в навязчивые спирали ипохондрии
Коллеги Сэма Альтмана говорят, что он едва умеет программировать и неправильно понимает базовые концепции машинного обучения
Студенты колледжей теряют способность участвовать в классных дискуссиях, потому что переложили своё мышление на ИИ
Весь штат Мэн готов запретить новые центры обработки данных
Стартап получил разрешение на использование системы ИИ для назначения психиатрических лекарств
Новый декодер FLUX.2 Small радикально снижает потребность в видеопамяти
Новый генератор изображений на базе ИИ обходит Seedance 2.0 в бенчмарке
Intel строит новую терафабрику для Илона Маска
Исследователи из Университета Северной Каролины выпустили ИИ на 72 часа автономных исследований, в течение которых он провёл 50 экспериментов и изобрёл систему памяти для длинного контекста, превосходящую все созданные человеком базовые показатели, — наглядная демонстрация того, что учёный теперь стал подпрограммой.
OpenAI, Anthropic и Google теперь обмениваются разведданными через Frontier Model Forum для обнаружения атак дистилляции из Китая — редкий случай солидарности лабораторий против энтропии открытых весов.
Внутри Meta гонка вооружений перешла во внутрикорпоративную плоскость благодаря «Claudeономике» — внутренней таблице лидеров, где сотрудники демонстрируют свои достижения, сжигая токены в рамках нового ритуала под названием «токенмаксинг», потому что в 2026 году демонстративное потребление измеряется в окнах контекста.
Henry Intelligent Machines только что представила первые ИИ-конгломераты для одного человека — агентский слой, который разворачивает и управляет флотами микробизнесов для одного владельца-человека.
Тем временем экономика безопасности прогибается под давлением скорости, обеспеченной ИИ: программа Internet Bug Bounty приостановила приём новых заявок, потому что обнаружение уязвимостей стало слишком дешёвым для ценообразования.
Вычислительная подложка печатает деньги в промышленных масштабах. Только что Samsung сообщила о рекордной операционной прибыли в размере около 38 млрд долларов за первый квартал, что более чем в 8 раз превышает показатели прошлого года, поскольку спрос на ИИ-чипы взвинчивает цены на память до небес.
Anthropic обналичивает этот чек авансом, заключая многомегаваттную сделку по TPU с Google и Broadcom, одновременно раскрывая, что годовая выручка компании выросла с примерно 9 млрд долларов на конец 2025 года до более чем 30 млрд долларов сегодня.
OpenAI масштабируется ещё более агрессивно и дорого: согласно сообщениям, компания планирует потратить 121 млрд долларов на вычислительные ресурсы только в 2028 году, при этом сжигая 85 млрд долларов в том же году, а Альтман обязал компанию потратить 600 млрд долларов за пять лет и рассматривает возможность проведения IPO в четвёртом квартале.
Пропущено 500 постов, 151 с картинками.
https://chat.qwen.ai/community/t2i/eab8c606-6bba-4ef1-a800-5aa9005a4af3
Вот как нормисы с нейронками общаются. Все в один контекст хуярят, ещё и промпты пишут как для подруженции какой-то
>>1585559 (OP)
КОТ КОТ КОТ
>>1585559 (OP)
ПЕРЕКАТ >>1585559 (OP)
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №218 /llama/
Аноним
11/04/26 Суб 06:12:15
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1580522 (OP)
>>1578421 (OP)
Пропущено 516 постов, 77 с картинками.
> в продакшене
Много в треде тех кто корпов в проде крутит?
Я только соседнюю команду знаю на работе, сам никогда их б200 даже не трогал
Этим делали легендарный перевод гта3? охлади траханье углепластик