>>1642175 Ну тогда закупайся пекой за 500к, потому что единственная проблема локалок это контекст. Но до 100-150к его локально можно догнать, хотя будет дорого.
>>1642177 А я кстати вполне могу за 500к пекарню взять, вот только нахуя? Поток это 70B модели, а 400B уже не заведутся. Вот пару дней назад скачал локалок на 200 гигабайт, 8-13B едва 2+2 могут сложить, от 30-40B с большой натяжкой норм, но я ахуел, что даже на ЛОКАЛКАХ есть ебучие соевые фильтры, хотя качал всякие heretic uncensored. Нет, я уверен они пробиваются легко, но я-то думал, что на локалках вообще фильтров нет из коробки, вы что ебанулись там? Отуплять и без того тупую локалку и тратить контекст на пробив я ебал-дремал. Лучше уж дипсик.
>>1642186 >но я-то думал, что на локалках вообще фильтров нет из коробки Долбоёбы берут соевые модели локальные от копроратов с встроенной соей, а потом тренят своё не убирая сою. Естественно на выходе говно будет. А тренить свою модель тредовичок не может т.к. дораха. Хотя на том же дипсике локальном особо сои и нет, все промты из шапки работают.
Сап, кумерята. Есть у кого пресеты на дипсик? Сам сидел на переделанном пресете дяди жоры(ибо очень годно описывает сцену), но больно часто он бланки выдаёт. Ищу что-то похожее, но чисто для дипси
Почему вы так бугуртите из-за китайских моделей и говорите про дум?
Я в вашем треде сижу дня три, а остальное время в локальном, где-то с 2023, поэтому для меня утверждения некоторых товарищей выглядят абсолютно дико.
Дипсик, кими — это охуенные монстры с отличным качеством. Даже последняя GLM, несмотря на то, что параметров у неё меньше ожидаемого оказалось и русик пососный.
Безусловно, всякие опусы, гопоты и гемини лучше, но не настолько, чтобы это называть думом. Дум разве что в том смысле, что бесплатно получить доступ безумно сложно, ну и дешёвый доступ тоже сложно получить. По крайней мере мне.
А ведь есть модели 200-400б, которые я в 3-4 кванте сам щупал. Они прекрасно работают. У вас же 8 кванты и выше, и контекст тоже. Что уж там говорить, GLM Air прекрасная модель или Qwen 235b. А они старые.
Как я понимаю, многие из вас имеют доступ к таким вообще бесплатно, потому что олды треда, есть какие-то чужие ключи, конфочки, подгончики и т. п.
Дык почему не пользуетесь? Или я чего-то не понимаю? Весь тред ведь имеет доступ к модели уровня 200б?
>>1642573 Толсто, пчел. Кроме опуса и фимоза сетки не могут в рп. Геминище это лоботомит, а китайские сетки это бредогенераторы на уровне пигмы. А ты просто говноед, сырок.
>>1642611 Таки да. Но плюс опуса в том, что лучше понимает, правда.. там и с английским проблемы есть. Если на русском он просто сломан, на английском иногда ощущение, словно он просто кладёт болт на часть инструкций и не понимает верно слова, будто токенайзер шалит или что-то такое.
Доброго утречка, аноны. Не так давно начал интересоваться всей этой нейросетевой движухой от нехуй делать и у меня встал хуй вопрос касаемо локальных моделей. Можно ли полноценно гонять нейронку без фильтров через LM Studio? Мне это нужно не сколько для кумерства сколько просто для диалогов например о положении дел в мире и прочих бесед. Пришел к вам в нейрофап с таким вопросом поскольку вы тут неиронично больше советов даете и в целом ведете нормальную дискуссию по теме а не мериетесь письками как ебаные школьники. Про ST знаю но после курения гайдов на протяжении пары часов понял что я пока слишком смешарик что бы заставить это все функционировать а LM'ка вроде как проще для понимания аутистами по типу меня.
>>1642618 Просто сходи к ии и спроси как запустить Gemma 4 26b через llama.cpp со всеми шагами и ссылками. Ну и упомяни что нужна heretic версия. Если скажешь что у тебя за железо, то можно будет конкретнее говорить по моделям, но все ещё лучшим выбором будет лламацпп для запуска.
>>1642626 Ок, спрошу. Но все таки интересно послушать и здесь собравшихся на эту тему. По железу у меня скромно но вроде по ответам от той же нейронки должно хватать на около-нищие модели, у меня ноут с ноутбучной 4070 на 8 гигов, Инцел Кор 7 12650Н и 16 гигов ОЗУ, вроде как на не особо шустрые модельки 7б в локале должно хватать. А что не так с LM? По сути же в разы проще и удобнее накатить его и получить GUI и прочие ништяки "искаропки"
>>1642628 У лламы в виде сервера и так есть юай. А лм студио, оллама и прочие сорта кобольдов просто доедают за ней, и мне элементарно лень даже выяснять насколько все плохо с оптимизацией и настройками в лм студио, поэтому сразу отсылаю тебя на апстрим. Можешь и лм студио юзать если совсем лень . Модель похоже тебе светит gemma 4 26b qat q4 от unsloth. Она не бесцензурная, зато нормально работать у тебя будет. Если именно анценз все же нужен, то тогда просто ищи самый жирный qwen который влезет в видеопамять. Или же бери gemma 12b heretic q5km и начинай терпеть секунды за токен.
>>1642630 Понял, спасибо, анон. Я в целом готов ждать, потому что для меня это своего рода игрушка а не что-то прям необходимое, а безценз нужен именно потому что если уж и крутить локально то без цензуры иначе можно не ебаться и просто через web-версии общаться с каким-нибудь ГПТ или Дипсиком и прочими Гемини.
>>1642631 Анценз это всегда потери в мозгах. Так что лучше пробуй обычную, у геммы в целом достаточно мягкая цензура, плюс всегда можно попробовать jailbreak в нее кинуть (это в гугл, я вообще мимокрок и не занимался этим), если у тебя не жесть, то этого хватит. А заодно можно будет и qat 26b использовать, который все же умнее 12b и при этом быстрее будет у тебя.
>>1642634 Не у меня достаточно лайтовые темы для обсуждения без какой-то хуйни уровня способов РКН, веществ или любви к детям. Просто сейчас уже до смешного доходит когда хочешь обсудить что-то что выходит за грань соевого маня-мирочка и получаешь ответы уровня Я НЕ МОГУ ОТВЕТИТЬ НА ЭТОТ ЗАПРОС/МОИ АЛГОРИТМЫ НЕ СМОГУТ ПОДДЕРЖАТЬ ЭТОТ РАЗГОВОР. А так в целом понятно, будем значит методом проб и ошибок подбирать что-то более менее подходящее.
>>1642653 У меня время на час больше от мск, забей. Отправил я в 8:07 по мск для тебя, а у меня в это время уже 9:07 было, а время на скрине как раз 8:45.
есть ли смысл промпт на русик переводить для клода, чтобы писал ответы на русском? Или особо разницы нет на каком языке инструкция, это на аутпут никак не повлияет?
>>1642660 а зачем господин киракисе переписал свой пресет для гемини на русик? вот ему я верю, а ты кто такой? какой вклад в нейрокум ты внес чтобы твое мнение можно было учитывать?
>>1642687 Раз уж ты, свинья, выжрала все наши ключи на геминьку, то кидай логи. Даже интересно что ты там такого в Evangelion-RPG играешь, что оставил нас тредовичков без ключей.
>>1642699 А ты типо не свинья? Пользовался бы тоже, кто тебе запрещает то? У меня обычные логи с литературным стилем, нахер тебе мой банальный слоп? Ну могу скинуть, мне не принципиально.
>>1642729 Он пишет лучше любой сетки иу мнее любой сетки, буквально понимает на интуитивном уровне к чему ты все вел. Именно по этой причине он самый популярный и желанный. И когда он есть другие сетки никто не использует.
>>1642755 рил, и этот разноцветный клоун говорит про лоботомию. запомните сырки раз уж и навсегда, лоботомируют сетку не корпораты, а сами тупые юзеры - это база.
>>1642752 Как можно на анге рпшить и нах вообще? Ты типо английский знаешь так хорошо или че? С переводчиком же хуже, чем когда изначально ответ на ру.
блядь этот китайский лоботомит и по его оригинальной цене кал собачий а они еще и взвинтили цену это совсем конченным надо быть лучше доплатить и опус купить чем этот кал
Анончики, дайте совет как искать хоть платные, но дешёвые прокси нейронок? Нуб в этой теме, а то почитаешь несколько тредов, какой-то масонский клуб с этим помидором блять в каждом десятом сообщении, куда кривозубых крестьян не пустят. Ссылки не выпрашиваю, просто где шерстить эту тему?
>>1643076 Ты уверен что оно тебе надо? Прокси это всегда компромисс. Китаец тебе за деньги может нарисовать опус а давать лоботомита, все логи доступны ему. Если дрочить может быть стыдно, если программировать можно случайно спалить ключ или еще че у себя на компе.
Используй бесплатные у каждого провайдера выжирая лимиты, потом ищи абузы какие подписок на фанпее например.
>>1643082 На опенроутере попробовал бесплатные, хуйня если честно. Я не особо требователен, мне и глм 5.2 или дипсика будет достаточно, но не по его официальной цене ясен хуй. За логи похуй, это вроде кумер тред, пусть китаец на мои фантазии подрочит. Понять хочу где этих китайцев находить, которые продают доступ
>>1643086 >я не особо требователен >ну 1Т+ и 700б намана фпринцопи
Хуя ты не требовательный, братишка. Если б ты сказал, чтогеммй 31б и 120б квен готов катать, то это ещё можно было бы назвать не требовательным в рамках ллм.
>>1643097 Друг, я поэтому и прошу совета. Если бы мне хватало 120б я бы сидел со своими 10 баксами на опенроутере или на локалке геммы и не пукал. Я к тому, что хочется комерс моделей не опусов или гемини при думе то, но хотябы китайцев, а вот платить много ясен хуй не хочется
>>1643101 Меньше бакса за лям выходных токенов это дорого для тебя? Учитывая еще скидку когда в кэше будет многое.
Ну хз чел, я плачу за диппсину как самый адекватный вариант по цене\качеству.
Если совсем жостком экономить можно поставить ограничения в контексте и саммари, для кума вполне норм если грамотно прописать.
Да и программировать если отдельные модули делать потихоньку норм - конешн это не та модель которая в петлях может тебе нормально чет сделать за один промт.
>>1643130 >>1643132 Если на говно реверсах сидеть и платить, то тогда уж в том что в прошлом треде в начале кидали. Там и дешевле и ру карты принимают. А вообще попроси в треде ключи на дипсик, кто-то да скинет
Какой же опус соплежуй, сцена: развратный блядушник на хате, одна из шмар ебётся с гг, вторая шмара, знающая и гг и первую шмару врывается посреди поебушек, и начинается драма, ведь шмары - подружки, как же так, что теперь делать, первая шмара обидела вторую тем, что ебётся с гг, которого вторая шмара хотела себе, хотя сама прибежала вот только что с поебушек с левым челом. Только ебучий Клод может так опозориться и чистейшую порнуху в сопли превратить. Умище - во!
>>1643101 Ну ты же можешь позволить 2к в месяц вкинуть в попен роутер?
Если кумишь, используешь дешман типа дипсик флеша, его хватит, ну или что-то в районе 100-300б. Для вдумчивого рп дипсик 4 про.
Всё. Никаких проблем. Конечно, если ты хуяришь свайпы без остановки, дрочишь 8 раз в день на самых дорогих моделях, то не хватит, да. Или если ты надмозг с 5-часовыми ролевыми играми. Но при адекватном и вдумчивом рп прям уж совсем чудовищных проблем не будет.
Основные траты вообще не на аутпут, а на инпут, потому что в хорошем рп хочется хотя бы 30-60к контекста держать, и если ты вдумчиво всё делаешь, то прикладывает по бабкам пересчётом кэша, и выходит дороже.
Сап. Есть у кого такая проблема, что ГЛМ 5.2 абзацы зачем-то рвет, предложения короткие делает, английский хуячит и вечные ем даши пихает невпопад? Это че за прикол? Я же видел как тут некоторые кидали свои логи с глмки, какого хуя у меня она так себя ведет
Странно, базовичок глм уверенно описывает анальную блаж Мухаммеда с конем и последующие роды через прямую кишку, а пикрил сразу визжит про хейтспич. Вроде оба китайцы.
>>1643279 всё началось с чулочников спунфидеров жируням если бы не они то дум наступил бы гораздо позже, и я почти уверен что столь жесткая накрутка сои в последнее время именно из-за популяризации нейрокума
>>1643300 >>1643302 Ну условно если я куплю аккаунт или доступ к клоду через кабанский апи, наскок его, хотя бы примерно, хватит если максимум по 30к контекста юзать на боярусе 4.6? Вообще бы понимать чё и как там бля с этим клодом нахуй....
>>1643298 Я даже в худшие моменты без векторизации, когда на чистом саммари сидел, по 100к не жрал 60-70 быо максимум, и это пару месяцев назад и ранее
>>1643306 у всех по разному есть кол-во запросов в день есть берешь токены а каждая модель имеет мульт х1.2 х0.5 и тп у какого жида или смола там на месяц берешь но там по моему есть ограничения по токенам в день либо токены с реверсов у китайцев где ты платишь за 1 запрос
>>1643309 Не плацебо, очень хорошо работает даже в чате на 2к сообщений с ограничением контекста 30к, вообще проблем не наблюдаю. Иногда только теряется, но он и с хорошим саммерайзом теряется, когда за 1.5к сообщений переваливает
>>1643281 ну вон тебе скинули chatgpt bisiness за 0. Да придется позаморачиваться НО ты же вот ты сука нихуя не нарегаешь аккаунтов и не отдашь ключи тому же помидору. Дешевый пиздабол популист от тебя толку тоже никакого нет вообще-то. Мусор ебаный
>>1643329 лол ты понимаешь свой ничтожный положняк вообще по жизни? т.е мне ради рп с лоботомитами ещё что-то делать? может быть ты там ещё за кум платишь, гой? ну да, кое что я сделал, слил в общий доступ одну проксю чтоб один холдер закрыл на неё рег за считанные минуты от греха подальше, и чтобы у меня был стабильный кум без кучи сис. а теперь съебал в свою нору и не отсвечивай
>>1643337 у меня был чат на 1.5-2к но потом уже никакая модель технически не вывозила играть дальше, это год назад было. из-за этого я ту карточку с чатом удалил о чём очень жалею
>>1643332 680 рублей за 18 месяцев google ai pro, для обосранных это 38 рублей в месяц. слишком блять лакшери для таких нищих долбоебов как ты. Про положняк он еще пиздит ало блять у тебя хлеб дороже стоит
>>1643244 То, что одной кнопкой устанавливается и одной кнопкой подсасывае все часты из старой таверны - эта крута. Крутость управления лорбуками оценить не смогу, т.к. никогда ими не пользовался. Не хватает сортировки персонажей по последним с которыми чятился, ползунка в списке промтов (а их скопилось много)
>>1643345 >Не хватает сортировки персонажей по последним с которыми чятился, ползунка в списке промтов (а их скопилось много) В менеджере или быстром доступе? Вообще лучше через гит ишью предлагать всякое, проект пока сырой достаточно. Всё сделаем
>>1643353 да как то одно время я ужимался делал саммарайзы а потом выкатывают стату и у тебя 90кк а у кого то 4б ну как то оно само желание отпадает хотя саммарайзы я все равно делаю но уже не на 30к
>>1643361 и че как помогли тебе саммари и векторы пока ты там ужимаешься вася по 150к свайпает уже сто раз говорил что помидор должен вводить ограничения сделать чекиин лимиты и регу по дискорду как у китаез
>>1643368 Так я не ужимаюсь, мне вообще заебись, а ты тупой еблан, которому лень пару кнопок тыкнуть и который скрывает что он еблан, высираясь с беспочвенными обвинениями на других, потому что на жрунов мексикосов обиделся Больше мне тебе сказать нечего хули
>>1643244 Охуенная вещь, но для людей с векторизацией нет инструментария, к сожалению, только через саммари ебошить Но потенциал прям огромный, интересная штука
щас бы залетать в левые таверны после прогона что какое то там приложение вполне легально с гитхаба пиздило из силли логи пресеты токены а тут целый потенциальный фишинг клиент от протычка причем им в кондитерской по приколу спиздить логи имплаин они не сделают этого если есть возможносчть
>>1643376 А проблема какая? Тупняка нет, модель нормально все держит, с векторизацией тебяет контекст так же, как без нее на 70к +- Я ж не тупая обиженка, чтобы назло блядям самому блядью становиться
>>1643380 Ну от сапплай чейн атак на 100% себя обезопасить сложно, это сейчас большая боль для всего что с нодой связано. Ну а в целом код открыт, никто не мешает его под лупой разобрать хоть построчно. Но никто этого конечно делать не будет. А вообще в проект слишком много сил въебано чтобы его похоронить спиздив логи таверны (хуле с ними делать вообще). Плагин который на коленке пишется за 5 минут другое дело
>>1643409 >нету антропик Если ты про этого, то напиши ему просто в сапорт >>1639179 → Я его попросил дать возможность купить за рефку токены. Он уже на следующий день навайбкодил убрав вообще нахуй возможность выводить рублями хD. Но мне нормъ
>>1643449 Ну так ща у него ключи есть и нагрузки нет будет честный опус, пусть и не 4.8 а 4.7 допустим. Потом чет случится и ебанет тебе сонет в середине сессии
>>1643450 Может и ебанёт, он не мой протык. Пока такого не замечал, из кринжа только сайт отваливался и опус на пару часов пропадал. чзх сойнет и китайцы каким-то образом у него дороже опуса
>>1643430 Твой кабан у меня ни под каким впном не открывается бля. Но проблема схожая, через OpenAi Compatible пишет что мол префил не поддерживается и всё там. Сука как же жопа горит.
>>1643469 >Твой кабан у меня ни под каким впном не открывается бля Я добавил сайт в антизапрет и всё заебись стало User list general или типо того файл куда свои сайты сувать