мы своего дождёмся
мне клауд 4 акк снесли. нет, именно мы не дождёмся - нам нельзя.
>клауд
Клод Шеннон
Только щас качался на качелях, шёл домой и дейдримил объясняя базу выдуманной аудитории.
27 слабый аги, 28 рси, 29 аси.
Но без трансцендентного и высшего это всё хуйня. Надо брать пример с Гёделя, Планка.
какой аги, еблан?) аги из статистического калькулятора ты собрался делать?
вся дата кончилась, а ты все срешь
твоя хуйня не может быть умнее тех, на чьих мыслях обучена - головой подумай своей тупой
Так говорят аналитики.
мы своего дождёмся и память будет стоить 100 000 т рублей это точно
Копиум про то, что обучение навсегда застряло на пассивном MLE по зашумлённому распределению, остался разве что у контуженных долбоёбов.
Кончился по факту только дешёвый публичный текст для претрейна, а маржинальный прогресс давно едет на RL, где сигнал даёт среда с верификатором, а не рандомный дамп из говна и палок. Задач, траекторий и синтетических окружений можно нагенерить сколько влезет, а test-time compute вообще отдельная ось скейлинга, которой побоку размер корпуса, так что бутылочное горлышко съехало с токенов на качество окружений, покрытие верификаторов и компьют. Дроч на бесконечный текст изначально был костылём: человек собирает модель мира на смехотворных 100kk слов, что прямо намекает - копать надо в архитектуру и сэмпл-эффективность, а не в бесконечное пылесосение интернета.
Ясен хуй, открытыми остаются вопросы, как переносить RLVR на неформализуемые домены без ревард-хакинга и схлопывания разнообразия, и реально ли этот поиск расширяет капабилитис базовой модели или просто заостряет её распределение, но из этого не следуют очередные похороны скейлинга.
Бля, где найти ещё таких треков? Просто охуеть как разъёбывает.
Когда Джейкоба Коксона спросили, что он имел в виду под «планами на следующий год», он ответил:
"Я говорил напрямую с людьми, которые руководят исследованиями. Не с Дарио Амодеи, а с теми, кто давно работает в Anthropic и хорошо понимает траекторию её развития. Они довольно единодушно утверждают, что в 2027 году начнется настоящее безумие. Главное, что неформально всплывало в разговорах: люди не рассчитывают, что государственное регулирование подоспеет вовремя, и, в частности, вообще не верят в возможность какого-либо международного сотрудничества. Возможно, меня это и не должно было удивить, но я всё же удивился".
• "В 2027 году начнется настоящее безумие" - согласен. Ещё в январе я предсказывал, что, оглядываясь назад, мы будем считать 2026-й последним нормальным годом. Если вам кажется, что мы уже перешагнули порог странности - это совсем не так. Сейчас всё ещё абсолютно нормально по сравнению с тем, что начнет происходить между 2027 и 2030 годами.
• "Люди не рассчитывают, что государственное регулирование подоспеет вовремя" - согласен, оно и не подоспеет. Для меня очевидно, что (если только не произойдет инцидента на волосок от масштабной катастрофы) в законодательном плане ничего не изменится как минимум до 2029 года. И по целому ряду причин я вовсе не уверен, что это произойдет даже тогда. В любом случае, в 2029 году будет уже слишком поздно, чтобы это имело хоть какое-то значение. На мой взгляд, к следующему лету у нас появится настоящий RSI (рекурсивное самоулучшение). Петля замкнется, и с этого момента прогресс на пути к ASI (сверхинтеллекту) пойдет взрывным образом.
• "Не верят в возможность какого-либо международного сотрудничества" - согласен, его и не будет. Чтобы стратегия сдерживания темпов ("Pacing the Frontier") сработала, "пейсерам" нужно было привлечь на свою сторону все национальные лаборатории, заручиться поддержкой действующей администрации и заключить соглашение с Китаем. У них нет ничего из этого, и ничего из этого они не получат. Вместо этого они имеют открыто враждебную администрацию, которая, скорее всего, будет противодействовать любым их инициативам вплоть до самого 2029 года. А без благосклонно настроенной администрации договориться с Китаем невозможно в принципе.
Я уже давно принял всё это как данность. Поэтому последние несколько недель, наблюдая, как люди рассуждают об успехе "пейсинга", я чувствовал себя Заратустрой. Пейсеры, говорю всё это вам без всякой злобы: инцидент с Коксоном вызвал у вас каскад предпочтений. В результате общество впервые по-настоящему осознало, что такое экзистенциальный риск. Потенциально вы могли бы превратить это в политический импульс к следующим выборам, а затем начать менять регуляторную политику, но чтобы это имело хоть какой-то смысл, вам нужно самое главное - время. А его у вас нет. У вас нет двух лет, чтобы дотянуть до всеобщих выборов. По-моему, у вас нет даже года. Лаборатории уже не в состоянии предсказать даже то, какими будут возможности моделей через три месяца. Очень многое оказалось намного проще, чем ожидалось. Мы ближе, чем кажется, и движемся быстрее, чем люди могут себе представить. Ваше время вышло. Этот поезд уже не остановить до того, как всё начнется по-настоящему.
В модели 5 триллионов нейронов, а в мозге человека тысяча триллионов. И потребляет он всего 20 ватт.
Это пока-что тот этап, по аналогии как сжигали нефть и газ для производства ветряков и солнечных панелей. а да, мы его ещё не прошли?
Время сверхэффективных мясных компов ещё наступит.
Хуй знает чё ОП-даун так трясётся.
>В модели 5 триллионов нейронов
Объём весов это узкое место поколения hbm и интерконнекта, а не архитектуры моделей. Модели могут быть какого угодно размера, там нет потолка. У претрейна Bel 10+ трлн, но не суть. На чипе Vera Rubin Ultra примерно через год будет уже 100 триллионов, на Feynman Ultra к 2029 уже квадриллион. Экспоненциальное масштабирование касается и чипов.
К тому же равнивать мозг с llm напрямую тоже хуета. Мозг за всю жизнь впитывает хуй да нихуя данных через каналы восприятия на ~40 бит/с. LLM компрессирует буквально всё знание человечества в единое пространственно, создавая буквально многодоменный синтез, который обезьяна в принципе не тянет
>равнивать
сравнивать
>пространственно
пространство
У нее связей очень мало, это статическая статистическая матрица, к мышлению не имеет отношения, + не меняется на лету. А между тем человек так усваивает знания и создаёт новые.
Чел это нейронка тебе ответ другой выдаст, от одного символа разницы, у человека контекст пошире, спок.
Ваш слабый Аги, чем он был месяц назад, жидко серит перед обычным опусом 5.5, который на эту роль не претендовал никогда. Это как так получилось?
>У нее связей очень мало
8B модели сегодня на более качественном уровне делают то, для чего GPT-3 юзал 175B - считать интеллект весам так же наивно, как считать его по числу синапсов.
>это статическая статистическая матрица, к мышлению не имеет отношения
Во-первых, статистика - это только функция потерь. Во-вторых, слово "мышление" давно и смачно измазано гуманитарными соплями, даже не буду разбираться, что там у тебя имелось в виду, энивей к биг сайенс оно отношения давно не имеет. Просто для простоты примем, что это какой-то процесс генерирования знаний. Знания и мозг не создаёт из абсолютного вакуума, "новые" идеи строятся через перенос концептов по аналогии, сжатие и интерполяция уже усвоенного культурного контекста. Когда модель выводит сложные доказательства, оптимизирует код или обобщает данные за пределами своего обучающего распределения, то как минимум в функциональном смысле она выполняет тот же класс задач - строит новые представления из ранее усвоенной структуры, а не достаёт "готовый ответ" из жопы (и зафиксируй, что я говорю про сходство, а не идентичность механизма).
>А между тем человек так усваивает знания и создаёт новые.
Твой мозг прямо сейчас не отращивает новые синапсы, чтобы прочитать этот коммент - понимание возникает из динамического прогона импульсов по уже существующей сетке, а долговременная консолидация пластичности идёт на гораздо более длинной шкале времени. У трансформера аналогично разделены масштабы - веса заморожены, а адаптация на лету живёт в активациях и kv-кэше.
Покормил.
Чел никто не знает что такое интеллект и я твои трансформеры один с другим не сравниваю, это
все прыжки говна на trust me bro бенчмарках. Нейронки по-прежнему просто трансформеры токенов и отдаватели усреднённых данных.
Не интерполяция, мозг как минимум создаёт новые связи во время мыслительного процесса. Твои нейронки это статистика. Температуру до 0 понизь и все эти условные функции заиграюи нихуя не стохастически. Это сложный конечный автомат, отъебись.
Ты кстати только про долговременную. Мыслительный процесс меняет силы аксонов, толщину. Старые удаляются. Нейронка не может хранить новый опыт, консолидировать, меняться, ещё и быть отказоустойчивой, как мозг. Ее можно отправить 5-10 документами из многомиллионного датасета. Я на дваче столько говна каждый раз вижу, что был бы нейронкой, ломался бы за один тред.
И уж если начинать, что такое сознание ответа нет, что такое мыслительный процесс это тоже зона для спекуляций. Мышление никак не генерирование знаний, я могу в выводах ошибаться. Но я каким то чудом проверяю, и меняюсь, потом учусь. Нейронка усредняет веса пока не проходит тест вот и все обучение. Ответы нейронки валидны внутри датасета, это простой перетюн. Она сможет выучить незнакомый язык? У нее есть мотивация? У нее может быть есть цель? Тогда откуда у этого террабайтного трансформера может быть мышление?
А верификатор пришельцы строили?
Ну то есть идёт про обучение на эвристике чтоли? Типа рандомно тыкается пока не получит ответ, а потом усиление на этом?
Угарно как ждали agi, но это слово зафоршмачила астра и стало стыдно, пришлось придумывать ещё 2
Окей она научится решать задачи из окружения, дальше что? Как ты ей прикрутишь эволюционный эмбрион типа сознание которые зарождался миллионы лет. Будешь давать задачи "отбей самку" в разных декорациях миллиарды раз подряд?
>Нейронки по-прежнему просто трансформеры токенов
Это описание интерфейса, а не механизма, как и редукционизм уровня "мозг - просто насос для натрий-калиевой жижи". Формально верно, но ничего не объясняет по сути.
>и отдаватели усреднённых данных
Если внятные бенчмарки для тебя траст ми бро, то объясни, как "усреднённые данные" физически способны закрывать out-of-distribution задачи, где буквального токен-в-токен шаблона в обучающей выборке попросту нет?
И кстати, удобно сначала расписаться в собственной беспомощности тейком "никто не знает, что такое интеллект", а через запятую с апломбом клеймить модели усреднителями, будто тебе этот критерий вдруг стал ясен.
>закрывать out-of-distribution задачи
Чел я 10 лет пишу код, который на одном уровне перекладывает биты, а на другом отдает людям внятные ответы. Что значит "объясни"
Ну с моделью то +- понятно, мы и маленькие нейронки запускали и на 8 нейронов, и сейчас на тысячи. Принцип то известен. Не знаем path в каждом отдельном наборе токенов. А надо? А мозг. Ну видим картину эм активации, а что на нее смотрим ответить никто не может.
Я бы дифференцировал все таки от понятия целеполагание. У нейронок в этой форме его быть не может это трансформер токенов. Вот и весь мой тейк.
Кстати я проходил бенчмарк один, ovf по-моему, регад супер сложная задачу на незнакомом языке. Решил за 5 минут тем что слазил в документацию собственно. Нейронка по бенчу такую минут 25 решала. То что у меня решилось установкой дебаггера и гуглом, у нейронк этим out of band способом неебаться органическим брутфорсом ушло 25 минут.
Ну кстати я в моменте могу тебя потролить, могу поддержать, посопереживать, осознавая контекст и свои реакции я могу иметь выбор. Где-то заметить автоматическую, где то изменить, если осознаю. У нейронки он делается.. Он не делается его кладет статистика.
Пробовали нейронке хотя бы по тому же интерфейсу ароматом задавать похожее на человеческое сознание?
Типа ты существо, идёшь на контакт, любишь абрикосы, социальное, а .. а что дальше написать? Смотришь на звёзды с надеждой? Что значит надежда.
Хуй знает китайская комната это.
>капабилитис
Порридж, что вронг с твоим вокабьюлари?
>>337164257
они тупеют от синтетики даже если ты ее смешивать с настоящей датой будешь, а файнтюн или что ты там собрался делать с помощью уточнений это хуйня из под коня - объемы информации смешные чтобы что-то менялось
>>337165183
>>337169857
>>337169888
да он шизик или не шарит или вообще в математике и ит - начитался статей продаванов, написанные чтобы в убыточную компанию ансропик гои несли инвестиции - он же не понимает, что ансропик обанкротится и китайцы просто все веса спиздят как обычно. ГЛМ стоит более чем в 5 раз дешевле ансропик, а по качеству уступает ну процентов ДО 5 или 10 в зависимости от бенчмарке
в общем он просто поехавщий
на синтетике говорит модели научу хаахахах
еблан, статистика это просто статистика - не может это никаким мышлением являться, полоумный, ты хоть какую архитектуру придумай
если ты мне скажешь, что это специальное АГИ мышление, на, еблан, посмотри как твое аги мышление на основе статистики банальной выглядит
на suno.ai с одного промпта такого поп мусора насрано на десятки петабайт - можешь вместо радио включать
поп-дрочилы могут приготовиться, музыканты расслабиться
то, чего много - не может стоит дорого, поэтому скоро все эти пукающие ртом пидорасы останутся без работы, а цениться вероятно будут те, кто реально музыканты