книгиPattern Recognition and Machine Learning, Bishop.Information theory, inference & learning algorithms, MacKay http://www.inference.phy.cam.ac.uk/itila/Machine Learning: A Probabilistic Perspective, MurphyIntroduction to Statistical Learning ( http://www-bcf.usc.edu/~gareth/ISL/ISLR%20Sixth%20Printing.pdf )Elements of Statistical Learning ( http://statweb.stanford.edu/~tibs/ElemStatLearn/printings/ESLII_print10.pdf )Foundations of Machine Learning, أشهد أن لا إله إلا الله وأشهد أن محمد رسول الله. http://www.cs.nyu.edu/~mohri/mlbook/А. Пегат, "Нечёткое моделирование и управление"другоеhttp://libgen.io / http://bookzz.org/ - здесь можно одолжить ^ книги и не толькоhttps://vk.com/deeplearning и http://deeplearning.net/reading-list/http://arxiv.org/find/all/1/all:+nejronochki/0/1/0/all/0/1http://videolectures.net/mlss09uk_cambridge/http://kaggle.com - весёлые контесты. денежные призыhttps://www.hackerrank.com/domains/ai/machine-learning/difficulty/all/page/1 - олимпиадкиhttps://www.reddit.com/r/MachineLearning/wiki/indexhttp://katbailey.github.io/http://rgho.st/8g68fTCSx две брошюры по deep learning для слесарей.курс от китаёзыяп1. http://julialang.org/ 2. https://www.microsoft.com/en-us/research/project/infernet/3. https://www.r-project.org/4. питухон и так все знают5. idris/coq - модные яп для формально верифицированных нейроночек с тренировкой на этапе компиляцииПЛАТИНАКниги хорошо, но с чего начать практический вкат?Во-первых, вам нужна любая unix-based система. На Windows возможно запустить нижеперечисленное, но ждите пердолева с настройкой и неодобрительных взглядов анонимуса. Кроме того, в компаниях, так или иначе связанных с разработкой йоба-ПО и machine learningом, Linux/OS X является стандартом. Привыкайте.Во-вторых, определитесь с языком. Python и C++ наиболее мейнстримовые инструменты, с ними вы без еды не останетесь. Есть еще R, на котором пацаны живут статистикой и анальными пакетами. Некоторые инструменты являются языко-независимыми (Vowpal Vabbit, XGBoost), но обвязывать их вы все равно будете из какой-либо среды.На Java разработано много production-ready инструментов для бигдаты и если вы угораете по терабайтам данных, то имеет смысл посмотреть в её сторону. Впрочем, лучше это делать уже потом, когда прийдет осознание потребностей.В-третих, выбирайте себе задачу. Что угодно: распознать качпу, обнаружить ботов по логам, найти раковых больных. Список можно посмотреть, например, на kaggle.com. После чего приступаете к решению выбранной задачи.Не прийдется ли мне потом с таким наборищем знаний идти в макдак работать?Несмотря на хайп вокруг ML, далеко не во всех IT компания есть необходимость в ML и понимание круга задач, которые можно решить этими методами. Но поверьте, в 2017 компетентный специалист будет востребован. В России потребителями ваших знаний могут стать: Яндекс, Mail.ru, Вконтакте, Rambler, Касперский, Билайн, Связной, ABBYY, Хуавэй. В биоинформатике есть определенный спрос, можно поскролить http://blastim.ruЗдорово, но я так и не понял чем же вы занимаетесь в IT компаниях?Попытаюсь ответить со своей колокольни и сразу хочу предупредить, что это едва ли консенсуальное мнение.ML-специалист - это такое зонтичное определение для человека, способного увидеть проблему, выгрепать кучу логов и данных, посмотреть на них, придумать решение проблемы и врезать это решение его в продакшн. По сути, это кодер, решающий не чисто технические, а, в некотором роде, человеческие проблемы.Имхо, мы все же остаемся в первую очередь разработчиками.Что такое TensorFlow?TensorFlow - опенсорсный гугловый инструмент для перемножения тензоров и оптимизации функционалов. Опенсорсный - потому что даже важные куски типа параллелизации уже выкачены в паблик. Если вам все ещё непонятно что это, значит это вам и не нужно, сириусли. Google перестарался с рекламой и теперь люди думают, что TF - это серебряная пуля и затычка для каждой бочки. До TF был Theano, который выполнял свою работу не хуже. И, в отличии от TF, он уже находится в стабильной фазе.будет ли ML нужен в ближайшие 10 лет, или это просто хайп?будет. хайп. хилари всех убьёт, лучше не вкатывайтесь ребятасмогу найти работу?Яндекс, мейлру, касперский, несколько биоинформатических компаний (iBinom, можно еще blastim.ru поскролить на тему работы), билайн (они с НГ целое подразделение открыли под ML и биг дату), связной. Ну и западные аутсорсы, если готов рачить за валюту.нужна математика?для начинающего ничего особого знать не нужнопоясните за нейроночкинейроночка - массивТред #1: https://arhivach.org/thread/147800/Тред #2: https://arhivach.org/thread/170611/Тред #3: https://arhivach.org/thread/179539/Тред #4: https://arhivach.org/thread/185385/Тред #5: https://arhivach.org/thread/186283/Тред #6: https://arhivach.org/thread/187794/Тред #7: https://arhivach.org/thread/196781/
>>856234 (OP)По поводу второй пикчи, полгода с ребятами угарали по EP и VMP. С несопряжёнными моделями хуйня, надо бы найти какие-нибудь пространства распределений, в которых можно было бы пилить какие-нибудь годные аппроксимации.
>>856257сопряжённые модели с гауссовым распределениемраспределение параметров - гауссово распределениераспределение средних значений гауссова распределения параметров - гауссово распределениераспределение ковариации - распределение вишартагиперпараметры - точечные оценки
>>856260Нет у нас сопряжённых моделей, у нас в экспоненицальных семействах сидит тьма нелинейностей.Линеаризацию пытались - хуйня, MCMC - слишком долго, 17 часов до адекватного результата на картинке 100х100
>>856360Я уже понял, что ты не слесарь.
если дабл то все кто выше - слесари
А датасцайентисты и NLP-гуру у вас есть? Посоветуйте, как быть с нечетким поиском.Одна из практических задач: есть конфочка со списком пользователей — ерохин, sychov, yoba, peka, biтард итд. — и есть бот, который должен реагировать на команды вида "забань ероху", "кикни ёбу", "mute bitard". Я понимаю, что это можно сделать как-то путем приведения всех имен к одному или нескольким "нормализованным" видам(кириллическая транслитерация, латинская транслитерация, фонетическое представление в нескольких вариантах) и вычислениям расстояния Левенштейна, например. Но наверняка эта задача уже давно решена и для нее есть готовые библиотеки, которые я пока не смог нагуглить. Можете что-нибудь подсказать?
>>856406Эта задача решается автодополнением никнейма по табу.
>>856406Транслитерируй и гугли soundex / sounds like, ML тебе тут не нужен.
>>856417Ты предлагаешь решение другой задачи.>>856418Точно, совсем про Methaphone/Soundex семейство забыл, спасибо.>ML тебе тут не нужен.Это я знаю, но у нас нет NLP-треда. А NLP-тематика мне кажется родственной обучению. Я ошибаюсь?
>>856422Если говорить об обучении применительно к NLP, то тебе сперва нужен охрененный объём текстовых данных с соответствующими формализованными значениями. В примерно таком формате:Словоформа, Значение, Падеж, ЧислоЕроха, 0.1342, 1.0 (И.П.), 0 (ед.)Ерохин, 0.1342, 1.0 (И.П.), 0 (ед.)Ероху, 0.1342, 0.7 (В.П.), 0 (ед.)Ерох, 0.1342, 0.7 (В.П.), 1.0 (мн.)Вася, 0.2045, 1.0 (И.П.), 0 (ед.)Значения, соответственно, определяешь просто беря float по номеру в списке возможных значений в выборке. И да, прочие падежи и числа ещё зависят от контекста. Ну так вот, как научишь нейросеть определять значение по словоформе и контексту - считай дело в шляпе, можно распознавать любую форму любого логина, а также команды, если на глаголы надрочишь. Вот только soundex будет сильно проще, чем такие глобальные задачи решать.
>>856406Оверкилл задачи же, в cs 1.6 подобная задача была решена довольно неплохо.
>>856534Каким образом?
>>856535Без всякого NLP.Комманда !ban @nickname работала.
>>856538а если никнейм = ''\\з= ( ʖ) =ε//’’ cRaZy|TaLiBaN [fRoM] fK cAiR* ''\\з= ( ʖ) =ε//’’ как тогда?
>>856545Бан по айди или номеру в команде, чё-то такое.
>>856545Простейший парсер комманд. Парси до первого пробела.
>>856547Охуенное решение задачи, да уж. Задача-то состоит в том, что с таким ником сработает простое "бан Талибан", ахалай-махалай.
>>856552Ну в самом "талибан" не все буквы могут быть на латинице/кирилице, поэтому такое решение и необходимо.
>>856406LSA жи есть. Если бота научить на нормальном корпусе документов (полно готовых), баны сможет лепить не только по близости слов с точки зрения расстояния Левенштейна (что вообще прошлый век), но и по семантической близости, притом не только отдельных слов, но и предложений. Проблема чисто техническая - как прикрутить LSA к боту. И да, раз уж вспомнили слово "нечеткий", то оно очень к месту, т.к. семантическую близость одного слова/словосочетания к другому можно рассматривать как нечеткое отношения со степенью принадлежности от 0 до 1.
>>856559> необходимоДа неужели? Для твоей задачи ничего не нужно кроме транслита и fuzzy matcher'а как во всяких саблимах.Или вот, дано три пользователя:____________DEADPOOL__________ ___________DEADPOOL___________ ____________DEADPOOL_________Тебе нужно забанить одного определенного из них. Enjoy your NLP.
>>856568Во-первых, это не моя задача.Во-вторых, это чудовищный оверинжирининг, причём абсолютно бесцельный.В-третьих, не понял при чём твой пример с одинаковыми никнеймами. Айдишники как раз от такой залупы и спасают.
>>856581> Во-первых, это не моя задача.Ах, я подумал, что ты тот, кто предлагал "бан ероху", а ты про бан по айди говорил?> Айдишники как раз от такой залупы и спасают.Согласен, либо тупо кликать мышкой по сообщению / пользователю.
ML - подзалупное говно, популярное только в рашке, сране тупых пидорасов, которые хотят по-простому зарабатывать.ML основано на вероятностной модели, поэтому, например, в робототехнике, если рука цуборга бьет тебе в ебало, она может промахнуться.Но если вместо вероятностной модели использовать алгебраическую геометрию, точность будет идеальна. Однако для того, чтобы использовать алгебраическую геометрию, надо прочитать не одну толстую книжку, и только через несколько лет будет профит.В этом разница между пидорашкинской наукой и зарубежной.
>>856648Совсем вы уже со своим швитым западом поехали.
>>856648каждый раз поражаюсь точностью формулировок
>>856648>Однако для того, чтобы использовать алгебраическую геометрию, надо прочитать не одну толстую книжку, и только через несколько лет будет профит.Что же лучше:-рука, которая бьет в ебало 5 раз из десяти, созданная за год;-рука, которая попадает каждый раз, но которую еще пилить и пилить?Этот вопрос в бизнесе уже давно решен. А твои представления о Западе сформированы экомацой.
>>856648так толсто что даже читать и отвечать не буду
>>856648> ML - подзалупное говно, популярное только в рашке, сране тупых пидорасов, которые хотят по-простому зарабатывать.Угадай страну с наибольшм количеством вакансий в ML.>>856648> ML основано на вероятностной модели, поэтому, например, в робототехнике, если рука цуборга бьет тебе в ебало, она может промахнуться.А то люди не промахиваются, а сейчас в AGI даже ставят себе задачу достижения качества хотя бы человека.> Но если вместо вероятностной модели использовать алгебраическую геометрию, точность будет идеальна. Однако для того, чтобы использовать алгебраическую геометрию, надо прочитать не одну толстую книжку, и только через несколько лет будет профит.Стоимость разработки учитываешь? ML, не считая йоба диплёнинг, может пилить школьник на лаптопе два гига, два ядра.> В этом разница между пидорашкинской наукой и зарубежной.ЛеКун, Хинтон, Ын, Шмидхубер, Хуттер и Гёртцель наши люди, да.
>Но если вместо вероятностной модели использовать алгебраическую геометрию, точность будет идеальна. Однако для того, чтобы использовать алгебраическую геометрию, надо прочитать не одну толстую книжку, и только через несколько лет будет профит.Копроматематики себе могут считать своими грязным ручишками что угодно, потом в любом случае задачу с цуборгом будет нужно решать управленцам, а в ТУ посмотрели на мазню математиков, сказали что оптимальная траектория - это конечно хорошо, а потом ввели внешнее возмущающее воздействие и сказали что это белый шум и не ебет. И вообще, всё суть черный ящик, главное шоб работало.>>856652Ты тоже хорош. Из твоих условий оптимального решения не может быть принято.
Маам, маам, я в телевизоре!
>>857183from scikit-learn import GradientBoosting
>>857183нахуй нужно, есть хгбустпоста поста постакаем на своём веку
>>857183нахуй нужно, есть хгбустпоста поста постакаем мы на своём веку
http://lemire.me/blog/2016/10/14/intel-will-add-deep-learning-instructions-to-its-processors/
>>856234 (OP)Анончики, где можно найти нормальный туториал по тензорфлоу? Документация вроде выглядит нормально, но хочется последовательного повествования с объяснением всего по порядку
>>857721А что там объяснять?
>>857721Палю годноту:https://www.kadenze.com/courses/creative-applications-of-deep-learning-with-tensorflow/infoМожно даже в шапку добавить будет.
>>857763Ну мне многое непонятно.Что такое сессия? На сайте ТФ написано что мы строим граф и выполняем все на С++ чтобы быстрее было, ну а соединение называется сессией. Ахуенно, а какая разница между with tf.Session() as session: и tf.InteractiveSession() ?Что за модели? model = tf.initialize_all_variables()Да и вообще хочется нормального, структурированного описания всего, а на сайте тф только пара примеров с описаниями что в каждой строчке делается. Все-таки отдельный фреймворк, своя структура кода должна быть, свои бест практисес и прочее.
>>857833Спасибо, выглядит очень годно
>>857856На самом деле только выглядит, мне кажется, что порой проще залезть в сырцы фреймворка/либы. Правда, там порой такой пиздец творится, что хочется громко и долго рыдать на кухне с водкой и песнями Пугачёвой.
>>856234 (OP)Пытаюсь сделать XOR пример на хаксе, но результаты выходят неважные. Error min: 0.146679667762552 Weight :[0.993097859025368,0.358106194371963,0.993144590457381,0.548357773363591,0.400469323659122,0.97559483873481] 0.665529010529132 0.713105233922201 0.70400433350312 0.740206773359699вместо 0, 1, 1, 0кодhttp://pastebin.com/D6wStRdxЧто я делаю не так?
>>857903обьясни что ты делаешь
>>857903Ты в каждой эпохе рандомишь веса?
он рандомом перебирает веса
>>857903> weight[j] = Math.random();это всегда даёт положительные числа? возможно тебе нужны отрицательные веса
>>856648Ты можешь вкатиться с ML, поднять бабла и купить себе трактор. Нет, ты будешь ныть. Дай угадаю, хотел вкотиться (мяу), но не осилил?
>>856652Лучше рука, которая попадает всегда.Ты мыслишь как <сюда что-нить русофобское>, тебе главное по бырику балбецп кропаль поднять и по тапкам.А вот <сюда подставить восхищение западом> работают на перспективу.Как только рука будет доделана - всем плохим рукам останется только дрочить, попадая в пинус 5 раз из 10.
>>858051Причем делает это на хаксе. Есть ли предел извращению?
ПАЦАНЫ, Я КОРОЧЕ ШЕЛ СЕГОДНЯ ПО ОФИСУ И УВИДЕЛ ЧЕЛА В МАЙКЕ "ANN & ML", НУ Я ПОДСКОЧИЛ И РЕЗКО ПЕРЕЕБАЛ ЕМУ В ЩЩИ С ВЕРТУШКИ И ПОЯСНИЛ ЭТО КРИКОМ "НЕ ЛЮБЛЮ НЕЙРОНКИ", ПОТОМУ ЧТО Я УГОРЕЛ ПО НИСХОДЯЩЕМУ ПОДХОДУ, ПАЦАНЫ ДУХ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА ЖИВЕТ ТОЛЬКО В ЛОГИЧЕСКОМ ПРОГРАММИРОВАНИИ, ГДЕ ЕБАШАТСЯ ПО ХАРДКОРУ, ГДЕ ПАЦАНЫ ЖИВУТ СИМВОЛЬНЫМИ ВЫЧИСЛЕНИЯМИ, ЭКСПЕРТНЫМИ СИСТЕМАМИ И ЕБУТ МАШИННОЕ ОБУЧЕНИЕ В РОТ! ТОЛЬКО PROLOG, ТОЛЬКО ХАРДКОР!!! МАККАРТИ ХАРДКОР МАКЛИСП ПРОЛОГ!!! пацаны ебашьте нейронщиков, машинлёрнеров, датасайнсеров, тензороёбов, угорайте на Macsyma, любите Алена Колмероэ, PROLOG и базы знаний! ГОВОРИТЕ ОТКРЫТО И СМЕЛО ПРЯМО В ЛИЦО! TOP-DOWN AI!
>>858270Поясни за гиперграфы с динамическими Байесовскими сетями в когнитивных архитектурах?
>>857968пытаюсь сделать пример отсюдаhttps://habrahabr.ru/post/312450/>>858017Да>>858073Math.random() выдает значения от [0.0, 1.0]Если нужны и отрицательные, то в каком диапазоне?
>>858295попробуй хотя бы [-5.0, 5.0] или [-10.0, 10.0][0.0, 1.0] уже совсем тухло
>>856677>Копроматематики Я тебе ща хуйцов в жопу-то понапихаю, пидор ебучий, сука!
>>858341попробовал, результаты все равно не важные
>>858295Ты понимаешь что такое эпоха?Зачем каждый раз рандомить? Естественно она у тебя обучаться не будет.
>>858391покажи новый кодможешь ехо увеличить до 6000000 напримералсо твой подход тоже не важный, оно может и не заработать вообще
>>858407http://pastebin.com/gL49zEmrизменил генерацию весов на weight[j] = Math.random()*10 - 5;
>>858410> var oInput:Float = h1Output weight[4] + h1Output weight[5];тут ошибка?
>>858410Тебе рандомить надо ДО обучения.
>>858414в чем?>>858424Я вроде как так и делаю. Вот написал более подробные комментарии к коду
>>858456thishttp://pastebin.com/WvjneNsu
>>858459Вот так короче должно бытьhttp://pastebin.com/cYANUPF5За 4 примера ты нихера не сможешь обучить рандомные веса.
>>858456> в чем?> h1Output · weight[4] + h1Output · weight[5];->> h1Output · weight[4] + h2Output · weight[5];х2аутпут похерился когда ты копипастил
>>858459Бля, погоди, так у тебя же и веса не обновляются нигде.
>>858461Ужас, ну и невнимательность. Спасибо, результаты улучшились, но все равно далеки от "ожидаемых". Error min: 0.0169421714870966 Weight :[4.20252078023247,-4.62134012761918,4.94013903530838,-4.75568818215233,2.00273622097117,-4.90724424147019] 0.189654914015695 0.875081564899919 0.872740092290493 0.88101808022021Последнее число, должно быть приближено к нулю.>>858460Так мне нужно всего решить эти четыре примера, что же касается эпох, то они проходят и весы обновляются. Сурс ниже//Начинаем новую эпоху обучения for (i in 0...echo){ //iteration //weight generation //Заново генерируем случайный массив весов var weight:Array<Float> = new Array<Float>(); for (j in 0...6){ weight[j] = Math.random()*10 - 5; }
>>858463Тебе надо не решить 4 примера, а на этих четырех примерах у тебя должна обучаться сеть, чтобы потом подобные примеры решать.
>>858463поставь веса интервал [-20.0, 20.0]и подольше погоняй, должно сойтись
>>858470Разве обучения тут нет? Есть четыре примера и четыре идеальных ответа, сменяя типы весов, где получается ответ с минимальной ошибкой и есть обученная сеть. Или я чего то не понял.>>858472Сделал 200 000 эпох, весы - как указано у Вас.Результаты, однако, занятные. Error min: 1.28708409018419e-006Weight :[9.86162644029049,-9.62339217008311,11.9078840327887,-15.7031429090112,7.70839242490986,-19.9625130491306] 0.00217823378333181 0.999551134126215 0.999550385305801 0.999551158780416все не пойму, почему последняя цифра стремится к 1, а не к нулю.
>>858478> Error min: 1.28708409018419e-006ошибка тоже не правильная, должна быть около 1 с такими выводами
а хгбуст то ВСЁhttps://github.com/Microsoft/LightGBM/wiki/Experiments
>>858915Ну все, новая игрушка у школуйни. Теперь все задания на кеггле будут этой хуйней пердолить.
>>856652>>856648 >, если рука цуборга бьет тебе в ебалоТут все жирнее - на самом деле, нихуя ты со своей алгебраической геометрии не получишь, кроме как доказательства существования руки в пространствах размерности не менее N с метрикой µ и при некоторых других дополнительных ограничениях которые потребовалось ввести, чтобы доказать эту теорему существования.Такова алгебраическая геометрия
Здаров Анон, дублирую пост, пишу научную работу, выбрал научрука, интересно было машинное обучение, выбор был не большой, из 1 тела, сначала я просто читал, много, много... читал. Начитавшись, начал заниматься темой что мне предложил научрук, а именно - этап нормализации лиц для распознавания, написал алгоритм, вывожу 68 точек описывающие характеристики лица, получаю вектора лиц, кароч все норм, но этот пес сказал мне не юзать НС, ибо типо нет ресурсов у нас, и вот написал, собрал каскад. Дальше что делать не особо понятно, в первые обратился к нему, просто помогите определится с направлением движения - нужна научная новизна. Он ничего не может сказать и тут я понял что он вообще не понимает что я написал и что я сотворил, я к нему с вопросом относительно направления, он мне в ответ, нужно выбрать направление. Что делать Анон? (Магистратура) Текущий результ на пикче, поднес картинку с телефона к вебке. Основной вопрос, есть нормальный, мной написанный, алгоритм выравнивания без нейросети, в каком направлении двигаться? Что почитать? Нужна научная новизна.
>>859037Глаза нашёл криво, ту этого ТП-поделия и то лучше получается: https://play.google.com/store/apps/details?id=com.cyberlink.youcammakeup - работает в риалтайме, похоже, что тоже без НС обошлись. Правда при повороте в полупрофиль начинает попизживать - у тебя с этим как?А вообще - не заморачивайся, наша наука в таком перде, что защитить может кто угодно любую пургу, сама по себе наша степень ничего не значит - хоть инновационный калькулятор пиши. Вот если по факту в твоей работе есть что-то ценное и препринт заинтересует дядей за бугром, то может выйти толк.
>>859065Знаю это дерьмо, там реализация алигмента от dlib, если интересно можешь глянуть, профиль немного тоже пидорасит у меня. Фишка моей работы в том что он разметит лицо даже его видно лишь на 60%, то есть закрой рот ладонью, он определит. А то что глаз подпидорасило, ну бывает хули, он быстро возращается обратно. Хз, требования большие у нас в универе. Просто ебанаты, такие как мой научрук могут не допустить к защите, если я не сделаю ничего нового. А чего сделать сказать не могут.
>>859075>dlibНу так и поясни, что новизна в том, что лицо определяется при неполной видимости.
>>859081Этого мало, потому что есть подобные методы, пусть решено по другому но все же есть. Я ж говорю, доебались пиздец. Новое давай, а чего давать не знают.
>>859088Ну, йопт. Добавь распознавание1. Состояния глаз (открыт/закрыт)2. Точек для закрытого глаза3. Распознавание профиля и полупрофиля.А также отслеживание текущего лица и использование его признаков для выравнивания в дальнейших кадрах (может пригодиться при поиске профиля/полупрофиля: т.е. мы уже знаем, как выглядит конкретный уголок конкретного глаза и можем этим воспользоваться при поиске опорной точки на сложном кадре с профилем)Будет ново и охуенно, запилишь статью на хабре, прославишься. На научрука похуй, но ему тоже может понравиться.
>>859096Надо на сколяре погуглить. Ок спс за и идею. Но чет есть такое уже, помню читал подобное.
>>858915А у них есть сайт с красивыми картиночками? У хгбуст есть.
>>859103но раскрасок то у них нет
>>856234 (OP)> нужна математика?> для начинающего ничего особого знать не нужноА потом мне пиздец?
>>859169Если полезешь в statistical learning.
>>859169тебе в любом случае пиздец
>>859196От пикрила шишка встала.Весь сет выложить можно?
>>859209ну выкладывай
>>859211У меня нет.У тебя есть?Выложить можешь?
Датаны, посоветуйте что прочитать про классификацию ML методов. А то могу только в нейроночки и немного а SVM. А что такое random forest и почему нельзя использовать нейроночки вместо всех остальных методов я не знаю.
>>859353читни книжек из шапкичитни бишопа, мёрфи читни, у них все методю хорошо расклассифицированы
Привет, двач. Хочу в будущем заниматься машинным обучением. В какую сторону лучше двигаться: становиться программистом или заниматься научной деятельностью? С одной стороны, хочу делать что-то прикладное, чтобы виден результат, с другой хочу создавать что-то новое. Хватает ли обычным программистам знаний для того, чтобы заниматься исследованиями?Интересно так же, как происходит работа над новыми технологиями в тех же google и miсrosoft: принимают ли в этом участие обычные разработчики или только люди с PhD из research отделов?
Аноны, поясните пожалуйста за нормализацию. Это реально может повысить качество предсказания?Ну вот предположим я нормализовал данные и вот приходит мне строка с тестовыми данными, что мне с ней делать, как ее нормализовать?
>>859507Аниму меньше смотри, даун.
>>859514Я ее не смотрю, просто няшка понравилась
>>859507Забыл добавить, что у меня задача линейной регрессии.
>>859507Забыл добавить, что я строю линейную регрессию.
>>859535Какие признаки?
>>859538Их там около 200. Признаки все float'ы.
>>859547Нормализация переведёт все признаки в double/float.Серьёзно, что признаки собой представляют, как и чем их извлекал?
>>859507Озаботься тем, чтобы у тебя даже в теории предельные значения тестовых данных не вылазили за предельные значения датасета. То есть, если датасет у тебя строго от 0 до 65535, то тестовые данные не более того. Если западло или не реально, то выравнивай по теоретическим максимуму/минимуму.
>>859550Это обезличенный реальный дата сет. У нас учебное приватное соревнование на кегле. Это просто X и y. Нам даже не сказали что это.Я вроде все перепробовал, и вот решил попробовать нормализовать данные. Но я честно говоря не понимаю, что это даст, да даже если и даст, как мне потом прогнозировать то? Данные тестовые у нас же не нормализованны!
>>859555Спасибо за совет.Попробовал нормализовать, нихуя. Даже немножко ухудшилось качество предсказания.
>>859403>Привет, двач.Двач давно мертв, ты находишься на филиале мейлру.>Хочу в будущем заниматься машинным обучением.Похвально.>В какую сторону лучше двигаться: становиться программистом или заниматься научной деятельностью? С одной стороны, хочу делать что-то прикладное, чтобы виден результат, с другой хочу создавать что-то новое.См. прошлый тред про слесарное дело и науку, и выбери для себя. Если ты хочешь, чтобы я за тебя решил, то иди в науку. Естественно, программировать нужно будет в любом случае, если ты не на бумажке собрался нейроночки считать.>Хватает ли обычным программистам знаний для того, чтобы заниматься исследованиями?Нет.>Интересно так же, как происходит работа над новыми технологиями в тех же google и miсrosoft: принимают ли в этом участие обычные разработчики или только люди с PhD из research отделов? Новые технологии разрабатывают пхд, внедряют обычные кодерки.
Ребята, а вообще у вас есть какие нибудь лафхаки, как улучшить качество предсказания линейной регрессии?
>>859575Не использовать линейную регрессию.
>>859577Ну вот надо именно ее, есть что нибудь еще, короме нормализации, добавления-удаления факторов-наблюдений?
>>859579Есть выбросы?
>>859581Был один, но я его уже выкинул, качество модели улучшилось существенно.
>>859575https://en.wikipedia.org/wiki/Bayesian_linear_regression>>859571наверно где-то обосрался
>>859584А если найду?
>>859559Прогнозировать денормализацией. Алсо, большинство алгоритмов заточено на представление данных в виде числа с плавающей точкой в диапазоне значений 0..1, также в таком случае значение ошибки легко приводится к %.
>>859629Где про это почитать можно?
>>859618Проверил еще раз. Просто ничего не изменилось.
>>859647>>859507лол пардон, упустил> Это реально может повысить качество предсказания?нет
Почему для opencv до сих пор нет адаптера под третий питон?
>>859823Спроси ещё откуда там такая упоротая система хранения информации в изображении. Потому что OpenCV очень костная либа, править и адаптировать там что-либо - сущий ад.
>>859823Из сорцов собирай, что как не родной.
>>859037двачую другого анона, в рашке, украшке и тд науки нет. Защитишь все, что угодно. Можно добавить какую-то специфику, типа шумных условий, распознавании лиц нигеров, распознавании мимики и тд. Кроме того, насколько я понимаю, эта задача уже решена.
>>859516Хороший выбор.
>>859852На самом деле и правда не родной, первый день как вкатился в мл.
>>856234 (OP)Анончики, сложно сделать нейроночку, чтобы она за меня реферат написана на основе нескольких готовых, чтобы этот рефер через антиплагиат прошёл?
>>860458Да.
>>860463Как? Неужели никто готовых решений не реализовал до меня?
В контесте от Сбербанка участвует кто-нибудь? Палите результаты. Или тут тред теоретиков, вяло рассуждающих о будущем?
>>860489> тред теоретиков, вяло рассуждающих о будущем?this.Но, если кто-нибудь будет тащить сюда и обсуждать реальные задачи, то все будут только рады.
>>859507Масштабирование данных (в общем смысле, не только конкретно нормализация) нужны для того, чтобы алгоритм работал с данными в более-менее стандартизованном масштабе. Основные подводные камни - не все данные можно масштабировать под одну гребенку и не все методы масштабирования применимы в конкретном случае. Нужно понимать, что это даст именно в данном случае, т.е. для конкретного алгоритма на конкретном датасете, т.е. как минимум нужно представлять работу алгоритма, что именно он делает с данными и желательны некоторые познания в предметной области, касающейся происхождения датасета. А не просто нормализовать все подряд потому что где-то так посоветовали.
>>8604913 задачи. Сайт - https://contest.sdsj.ruЗадача AДля клиентов, у которых неизвестен пол (которых нет в обучающей выборке customers_gender_train.csv, но которые есть в transactions.csv), необходимо предсказать вероятность быть мужского пола (значение 1).Пример решения: http://nbviewer.jupyter.org/urls/dl.dropbox.com/s/pcoqkxzn4nnc4mj/baseline_a.ipynbЗадача BНеобходимо предсказать объем трат по каждой из 184 категорий на каждый день следующего месяца. Итоговый файл должен содержать предсказания по 184 30 = 5520 объектам. Объем трат в конкретной категории считается как сумма всех расходных транзакций в текущей категории по всем пользователям.Пример решения: http://nbviewer.jupyter.org/urls/dl.dropbox.com/s/tbtomfkohwe02qz/baseline_b.ipynbЗадача CНеобходимо предсказать объем трат в следующем месяце в каждой из 184 категорий для каждого customer_id, которого нет в обучающей выборке customers_gender_train.csv, но есть в transactions.csv. Итоговый файл должен содержать предсказания по 184 3 000 = 552 000 объектам.Объем трат пользователя в конкретной категории считается как сумма всех расходных транзакций этого пользователя в текущей категории.Пример решения:http://nbviewer.jupyter.org/urls/dl.dropbox.com/s/j1595xoqa9oheyo/baseline_c_new.ipynbЕсли кого заинтересовало, регайтесь. Введенную инфу не проверяет. На мыло ничего не присылает. Телефон тоже молчит. Решения можно загружать таблицей и автоматом получить оценку.Архив с данными для лентяев - http://rgho.st/6B979GQqZИз того, что получилось у меня. Высчитал даты, которых изначально не было в оригинальной таблице. Прикрутил к ним даты праздников РФ, но пока не знаю как буду использовать.Улучшил решение задания А до 0.86, похимичив с amount, и только преступаю к B и С. Из печального, в оригинальном файле отсутствуют многие типы транзакций, которые присутствуют в tr_types. Некоторые приходится угадывать.Забавно, но в оригинальной таблице есть вот такое вот провисание (пикрелейтед) между тратами мужчина/женщина. Женщины почему-то в среднем сливают на мотоциклы больше, нежели мужчины. Не знаю уж, с чем это связано. Может скутеры покупают сыновьям-уебанам.Если есть молодые и шутливые ребята, то можно в телеграмме продолжить обсуждение. Да и просто поболтать на эту тему.
>>860489>Сбербанк>Или тут тред теоретиков, вяло рассуждающих о будущем? Практик дохуя? LightGBM или xgboost решат любую задачу, предложенную грефопарашей, кто лучше научился настройки крутить, тот и победит.
>>860519Охуенно. Покручу, хуле. Ты сам-то на первое место накрутил уже?
>>860518>описание задачНу я же говорил. Хгбуст содомируй, лучше там все равно ничего не придумать. Алсо можешь еще SVM навернуть, тоже стильно-модно-молодежно.
>>860523Спасибо за совет.
>>860522>Ты сам-то на первое место накрутил уже? Я теоретик, вяло рассуждающий о будущем. А тута чистая сантехника, а-ля первый оп-пик.
>>860529Для таких ребят, там есть еще вот это - https://sdsj.ru/challenge.html Чем не будущее?
>>860458 Зачем вам решать олимпиадные задачки, когда здесь имеется задача, непосредственно связанная с практикой?
>>860535Бля, ну и ёбла у них на пике.Последний во втором ряду сфоткался в стиле экстрасенсопараши.
>>860539Я слышал у третьекурсников в общагах неплохие нейронки за пачку доширака в аренду сдаются.
>>860544Говорят, что кусок сочной пиздятины они будут тюнить гиперпараметры всей комнатой.
>>860826> за кусокбыстрофикс
>>859362Сразу видно: дата слесарь преподаёт.
>>860542> саша видяхинзаебок чо
Блджад, помогите перевести вот эти два абзаца:You can interpret the output as a probability. In particular, we interpret it as the probability:P(Y=1 | X)Which can be read as “the probability that Y is equal to 1 given X”. We usually just use this and “y” by itself interchangeably.Of course, since binary classification can only output a 0 or 1, then the probability that Y=0 given X:P(Y=0 | X) = 1 - P(Y=1 | X),что это за "probability that Y=0 given X"? Куда копать для большего понимания, в сторону условной вероятности?
>>860542последний во втором виду довольно известен в области в рашке, не знаю, толковый он или нет, но в интернете активен.>>861316вероятность, что y=0 при данном x
Сап лерначПодскажите, пожалуйста, хороший задачник по терверу.
Добавьте уже в шапку какой-нибудь учебник по теорверу попроще и на русском, хоть "Теория вероятностей" Вентцель, вопросы типа >>861316 >>861383 показывают, что тута некоторые даже азов не знают, а ML без теорвера это разве что нечеткие модели, остальное почти все на вероятностях.
>>861475Я нашел какой-то задачник у своего универа, решаю в данный момент по нему. http://www.study.urfu.ru/Aid/Publication/970/1/Grahov.pdf
https://www.amazon.com/Introduction-Probability-2nd-Dimitri-Bertsekas/dp/188652923Xхорошая
>>861475http://rgho.st/8GhWmZWpg
Там это, нейроночки научились абстрактный вырвиглазный прон рисовать. https://nplus1.ru/news/2016/10/21/neural-porn https://open_nsfw.gitlab.io/
>>861823Здесь пару тредов назад даже поднимали этот вопрос.
>>861827Хуи и пезды вместо собачек - это не то, обыкновенная пошлятина. Тут круче - нейроночку совращают NSFW-контентом, в итоге она накладывает на пейзажи и др. картинки не просто собачек или залупы, а саму суть порна, усвоенную ей в виде абстрактных фич подобного контента. Посмотри на фотки на гитхабе - как таковых половых органов нет, но при этом полученные картинки все-таки неуловимо порнушные. Любой человек посмотрит и скажет, что это ебля. Это жи чисто человеческий уровень абстракции, какой-нибудь художник вполне мог бы нарисовать такое, но нейроночка не человек. Все эти дипдримы - очень годное направление и в IT, и в искусстве, и в психологии даже.
>>861848Нужные для результата факторы определяет всё равно человек, в меру своей человеческой однобокой фантазии.
https://open_nsfw.gitlab.io/
Блядь. Нувыпонели.
>>861908спс пдрчл
>>861848Это не "Хуи и пезды вместо собачек". Там принципиально другой подход к генерации, и нормальные люди прутся с этого. А у быдла - порно, да.
Какие разделы чистой математики родственны данной отрасли информатики?
>>862163Статистика, теория информации, оптимизация?
>>862163меры/тервер, множества, нечёткое логиказачем?
>>860518А как химичил с amount, если не секрет?Алсо, как я понял, в базовом скрипте для зачади А они разворачивают таблицу, чтобы по строкам были только уникальные ID, а по столбцам mcc?Ньюфаг, не пинай, обоссы.
Аназмисы, у меня встал вопрос.На всяких амазонах можно взять в аренду ну там с миллион инстансов, верно? Если ты богат, офк.На каждом инстансе можно реализовать с 10 тысяч нейронов нейронов, допустим. Связь между этими нейронами тоже вполне можно реализовать.Так почему нет хоть каких-либо больших нейронных сетей которые вполне могут распознавать речь, годно распознавать картиночки, видео, хуй знает что еще. В чем проблема?
>>862900Нахуя?
>>862901Как нахуя? Просто так, чтобы было. Да и применений можно найти массу.
>>862900Распараллеливание нейроночек в виде готовых решений только в прошлом году стало появляться в виде готовых к использованию проектов - TensorFlow там, MXNet. Сейчас как раз гогл и т.п. конторы реализовывают то, о чем ты говоришь. Результаты будут в обозримом будующем, года через 2-3.
>>862906Чот как-то медленно, не? Так много кода и сложность большая? Разве нельзя собраться с мыслями и написать свою реализацию отдельного нейрона и связей на локальной машине и через сеть?И в случае готовых решений (TensorFlow, к примеру), почему это не реализовали вот прямо сейчас? Есть какие-то технические трудности?
>>862904> применений можно найти массуНу вот когда будет спрос - будет и предложение. Арендовать мульон инстансов у амазона прост так)) никто не будет.
>>862908>И в случае готовых решений (TensorFlow, к примеру), почему это не реализовали вот прямо сейчас? Есть какие-то технические трудности? Все реализовано, распараллеливание вычислений подграфов одной сколь угодно большой нейроночки на сколь угодно большом количестве комплюктеров в тензорфлоу есть вот прямо здесь и сейчас. Родина дала, бери, занимайся.
Больше того, там есть возможность записи промежуточных результатов вычислений. Допустим, один из камплюктеров, обсчитывающий некоторую часть нейроночки, сдох после недели непрерывной работы. Результаты не потеряются, а могут быть продолжены с момента последней записи сохраняющим узлом, а не с самого начала.
>>862912>>862913Таки что, хоть прямо сейчас могу сделать нейросеть в миллиард-другой нейронов(графов?)? Какое потребление ресурсов у этого TensorFlow?И самый волнующий вопрос, а почему никто такой хуйни не сделал раньше?>обсчитывающий некоторую часть нейроночки, сдох после недели непрерывной работыТут наверное нужен вопрос про быстродействие, но совсем не разбираюсь в этом. Это всё будет работать в более-менее реальном времени?
>>862916Создаётся впечатление, что ты про какие-то абстрактные бананы рассуждаешь.Что за задача, какая конкретно модель, бюджет?
>>862916>Таки что, хоть прямо сейчас могу сделать нейросеть в миллиард-другой нейронов(графов?)?Да. Хоть в триллион, если есть достаточно аппаратных ресурсов. Отдельные аппаратные устройства в этой общей сети могут использоваться конкретно для ввода данных, н-р нейроночке на тензорфлоу или MXNet можно скармливать фото/видео/звук со смартфона. Конкретно на тензорфлоу не все заявленное разработчиками уже есть в общедоступной версии, я за модой не слежу, м.б. уже и разродились (обещали точно).>И самый волнующий вопрос, а почему никто такой хуйни не сделал раньше?Неизвестно. Много чего интересного не реализуют и даже не собираются.
>>862918Да нет никакой конкретной задачи, только абстракции. Может что появится в процессе изучения.Накопил денег немношк, вот и думаю проебать их на недельный проект в несколько десятков тысяч инстансов хотя бы.>>862920Как-то это всё блядь странно, что ли. И еще раз, уточняющий вопрос про ресурсы. Сколько необходимо TensorFlow на тысячу графов? Может из-за потребления ресурсов никто даже не собирается этим заниматься в текущее десятилетие?
>>862925>уточняющий вопрос про ресурсы. Сколько необходимо TensorFlow на тысячу графов? Может из-за потребления ресурсов никто даже не собирается этим заниматься в текущее десятилетие? Сверточные нейроночки вообще очень ресурсоемкие, собственно, поэтому и пришли к идее как-то все это распараллеливать. На одной машине все это еле дышит, даже если это многопроцессорный суперкомпьютер на GPU, типа теслы. В какой-то статье читал про нейроночку, которая на 4х процессорном тесле сходится по 4 недели, но там обучение было на сложном датасете. Другое дело, что тензорфлоу - это не только сверточные сети, там похоже вообще все что угодно можно сбацать, опять же была реализация карт Кохонена для тензорфлоу. https://codesachin.wordpress.com/2015/11/28/self-organizing-maps-with-googles-tensorflow/ Все зависит от конкретной задачи, что-то и на лету обработается, а что-то и на кластере будет тупить не одну неделю.
>>862932А есть какая-либо реализация нейросети которая менее требовательна к ресурсам? И вообще, от чего возникает такие требования к ресурсам системы?
>>862942твой мозг напримеркрайне, КРАЙНЕ экономен
>>862942>А есть какая-либо реализация нейросети которая менее требовательна к ресурсам? Почти любые кроме сверточных сетей и всяких глубоких аутоэнкодеров и машин Больцмана.>от чего возникает такие требования к ресурсам системы?Там жи десятки слоев, и на каждом все эти перемножения тензоров. Хорошо еще, что сигмоиды оттуда выкинули, вместо них relu. Так бы вообще вся эта шляпа сходилась до японской пасхи.
>>860518> Прикрутил к ним даты праздников РФРасскажи как эту хуйню делал? Не руками же 0 и 1 вбивал?
>>861316google.comусловные вероятности
>>862957Такс-такс, очень спасибо. Ну и последний вопрос. Какие преобразователи используются кроме тензоров?
Стоит задача написать сеть, которая смогла бы распознавать естественный письменный русский язык, а также обучаться на конкретных примерах: предложение -> выделенные сущности из предложения. Аноны, в какую сторону копать, что читать?
>>863039Как распознавать отдельные рукописные символы можно посмотреть на примере датасета MNIST. Там цифры, но общий принций сохраняется. Легко гуглятся разные способы работы с этим датасетом. А вот как разбить слова на отдельные буквы - хз. Думаю, задача решаема с приемлемой погрешностью, но примеры как это делать в голову не приходят.
>>863042Я, наверное, не точно выразился. У меня на входе именно текст (строки), а не картинки с текстом. Надо обучить сеть таким образом, чтобы она смогла вычленять от туда определённые сущности.Например, есть статья с погодой на завтра. Надо вычленять город и кол-во градусов.
>>863050Сформулируй задачу на нормальном русском языке без нейронных сетей и сущностей. И разъясни что-за сущности требуется вычленять.
>>863050тебе в named entity recognitionначать можешь с классификации скользящих окон w2v исходного текста, если ограничено число классов, которые ты жочешь извлекать
>>862975Какие-то ебанутые вопросы в треде про машинное обучение. Распарсил это http://www.calend.ru/holidays/russtate/ питоном в csv таблицу и прикрутил к основной таблице.
>>859964>>859964магистратура же, не требуеся решать какие то супер задачи ну, нет сразу ныть начинают, наука в рашке етсь тока она финансируется хуево и не для магистрантовмимо-нечеткий-магистрант
>>863139> тока она финансируется хуево и не для магистрантовС пиздатым научником и магистранту кусок пирога достанется.
>>863139деньги пилятся, отчеты пишутся. Вот и вся наука в рф.
>>863012Тензоры в нейроночках - это не то что нормальные тензоры в физике. Тута речь просто о матрицах размерностью больше 2. Если по нарастающей, то сначала идет скаляр (одно значение, вещественное число), затем вектор - строка или столбец вещественных чисел, затем матрица - таблица, строки или столбцы которой есть векторы, ну и потом тензоры. Самый простой вариант тензора - 3х мерная матрица, т.е. н-р есть картинка, каждый слой (R,G,B) которой представим матрицей. А все это вместе - тензор.
SUP /pr/, я тут решил вкатится в машинное обучение, сейчас читаю Бишоба и прохожу курсы на COURSERA от ВШЭ и Яндекс. Очень сложно поддаются всякие формулы и интегралы, что почитать чтоб с первого взгляда знать о чем формула и как его вывести? просто упороться в вышмат?
>>863290> что почитать чтоб с первого взгляда знать о чем формула> просто упороться в вышмат?thisНо, мне кажется, что раздупление бишопа не потребует особого упарывания, с первого взгляда обычно хуй проссышь, что там тебе говорят, всё приходит с опытом.
Есть 80000 точек, размерность точки 1500. Каким образом это все кластеризовать примерно на 10 классов без байды типа out of memory?
>>863321500мб же всего? чеши память почаще?
>>863321Векторное квантование же любое. Те же карты Кохонена. Помоднее и для пистона - https://github.com/peterwittek/somoclu
>>863287И что получается в итоге, результат схождения за приемлемое время можно получить только через квантовые алгоритмы? Это первое что пришло на ум, да.
>>863383Почему? Полно нормальных алгоритмов, это только школьникам известны сверточные сети, SVM да градиентный бустинг. Ими все машинное обучение не ограничивается. Вопрос больше в том, как конкретному алгоритму подсунуть конкретную задачу.
>>863384Мне всё кажется что только концептуальный квантовый компьютер схождение матриц на раз-два будет щелкать.Где можно почитать про абсолютно все используемые математические алгоритмы нейросетей? Хочу построить на этой основе аппаратную реализацию. Но что-то мне кажется что такие попытки уже были и не увенчались успехом.
>>863321Что за область? Откуда задача?
>>863390>Где можно почитать про абсолютно все используемые математические алгоритмы нейросетей?Чтобы все и в одном месте, думаю нигде. Но описание бОльшей части того, что обычно называют нейроночками, из серии "это классика, блядь, это знать нада!":http://gen.lib.rus.ec/book/index.php?md5=AE6CE64B978DCC3E4C0623C70D6D5973http://gen.lib.rus.ec/book/index.php?md5=4F0A14A680F5B4845422E6C32D57BCDChttp://gen.lib.rus.ec/book/index.php?md5=E94FDEA71D591A5E1B0AE39E47795C03Очень годный взгляд на нейроночки - Коско:http://gen.lib.rus.ec/book/index.php?md5=CCC0771774E761EB91EE2019A244305B>Хочу построить на этой основе аппаратную реализацию. Но что-то мне кажется что такие попытки уже были и не увенчались успехом. Аппаратные реализации были, да. Даже на оптоэлектронике, с лазерами и голографией. И даже на основе осциллирующих реакций типа реакции Белоусова-Жаботинского, только с системами протеинов, что уже вообще киберпанк какой-то. Причем, еще в 80е-90е годы.
>>863412Ох, большое спасибо, буду изучать, через недельку-две задам еще вопросов.>Аппаратные реализации были, да.И если общими словами, почему это всё не увенчалось значительным успехом?
>>863430>почему это всё не увенчалось значительным успехом? Как такового неуспеха или успеха не было, мне не известны практические применения того, что я упомянул. В литературе по нейроночкам 90-х не так редко встречаются разработки аппаратных реализаций, но дальше статей и глав в книгах дело почему-то не пошло.
>>863430Попытаюсь рассказать с колокольни оптики.Потому что в самом простом приближении голограммы считают просто взаимную корреляцию изображений, инвариантности к повороту и масштабу нет.Как обучать голограмму - хуй его знает сейчас активно не слежу, мб сейчас уже что-то придумали. Если я всё правильно помню, то на них просто записывают изображения и смотрят на корреляционные отклики. Количество изображений, которые можно записать, зависит от селективности голограммы.Голографические установки нужно юстировать, по своему опыту могу сказать, что юстировка интерферометра - полный пиздец, требущий прямых рук, иначе хуёвые результаты.Мб ещё дополню, но это первое, что пришло на ум.
>>863451Последние года на глаза очень часто читал различные доклады по реализациям нейростетей на FPGA и именно из-за этого заинтересовался аппаратной реализацией. Есть какая-нибудь информация по этому?Мысль, которую хочу хотя бы на бумаге проверить - разделение функций (умножителей и сигмовидных функций без использования таблиц) сложных нейронов на отдельные аппаратные уровни. Имеет ли это право на существование?>>863464Мне кажется это тупиковая ветвь которая порождает огромное число зависимостей технического уровня.
>>863488Довольно перспективно в плане быстродействия, но пока не реализуемо на адекватном уровне.
>>863488>ПЛИСЫ и КМОПhttps://scholar.google.ru/scholar?hl=ru&q=fpga+neural+network&btnG=&oq=FPGA+neu>мемристорыhttps://scholar.google.ru/scholar?q=memristor+neural+network&btnG=&hl=ru&as_sdt=0%2C5Ну и GPU, но это мейнстрим. ну и гугли книги и статьи, по теме нейрокомпьютеры.
>>859823scikit-image в сто раз лучше. Но не быстрее.
>>860518Можно логистическую регрессию попробовать, она оценку вероятности класса даёт. Для SVM оценки вероятностей класса на костылях прикручены. Для деревьев и ансамблей над ними вообще не знаю как, может местные пояснят.
>>862265В базовом варианте для каждого ID высчитывается количество транзакций по каждому mcc_code. Просто делается через unstack, а не через get_dummies
>>860518еще инфа:1) Блог Александра Дьяконова:https://alexanderdyakonov.wordpress.com/2016/10/14/da..2) Обсуждение в ODS слаке:https://opendatascience.slack.com/messages/sberbank_c..Регистрация в ods слак: https://docs.google.com/forms/d/e/1FAIpQLSdjQB90EdZGV..3) Тренировки ML:https://www.youtube.com/watch?v=2HK2XImh9hM
>>863605сажа случайно приклеилась
Очень заинтересовали BD и ML, но, как обычно для меня, ссыкотно из-за возраста. Не поздно ли вкатываться в 20 лет? В проганье умею(в логику происходящего, нужные языки и прочие фреймворки не знаю), в математику (матан, тервер, линал, компл. ан., вот это всё) умею. Но возраст...боже, как же он жмёт.
>>863613после 20 лет обычно и вкатываются в эту тему.
>>863613Иди ты нахуй, возраст ему мешает. База у тебя есть, пиздуй штудировать литературу с упражнениями. Возраст ему жмёт, охуеть.
>>863624>>863815Без вышки по cs (учусь на инженегра) возможен вкат в нормальные конторы? Алсо, ШАД кажется убергоднотой. Что скажете?
>>863820Куда угодно возможен вкат с наличием адекватной базы и желанием учиться. Знакомый тимлид порой на позиции разработчиков собеседует специалистов по сверхнизким температурам.По поводу ЩАД высказываемся в каждом треде. Приятная штука, но не стоит опускать руки, если не прошёл. Можно просто послать их нахуй.
>>863822>>863624Спасибо, анончики. Извиняюсь, если выбесил своим тупым вопросом, но таковы мои тараканы и ничего не могу с этим поделать. Тогда начинаю ботать шапку + дважды попытаюсь попасть в ШАД. Если всё пройдёт так, как хочу, то попытаюсь пойти в аспу на математику у нас или зарубежом. Вероятно, что всё сотни раз поменяется, но изначально план таков.
>>863838Попытайся свалить с трактором. Зарубежом пизже, базарю, как съебавший магистрант, успевший побыть мла.научным сотрудником в рашке.
>>863848Знаю, что лучше, но трактор кажется мне очень далёкой возможностью, которая пока мельтешит где-то на горизонте.
>>863613Вкатываться, конечно, можно, но результаты будут соответствующие, если ты не какой-то гений (тогда бы ты здесь не спрашивал). Тут как и в профессиональном спорте: теоретически ты можешь начать заниматься каким-нибудь плаванием в 20 лет, но надо понимать что на олимпиаду ты вряд ли попадешь, а реалистично смотря на вещи тебе очень повезет, если ты вообще сможешь получить хоть какой-нибудь разряд. Ну "для себя" можешь научиться норм плавать.
>>863934Чего ты гонишь? Среднеслесарем вполне можно стать и после двадцати, имея среднюю техническую базу.
>>863940Кого вы понимаете под "слесарем"? мимоанон
>>863940Может, на уровне HTML-программиста, хорошо если освоившего StackOverflow-driven development. Чтобы понимать суть происходящего в этой области и хотя бы успевать следить за прогрессом, нужно (было) этим жить последние пять лет.
Нейронач, думаю попытаться вкатиться хотя бы чуть-чуть в нейроносети.Идея следующая.Я хочу сделать онлайн игру, где игроки дерутся с боссом.После битвы с боссом, нужно будет регистрировать полностью историю боя с боссом.И в зависимости от этого в будущем перестраивать алгоритм поведения босса, чтобы его победить стало еще сложнее.Знаю только шарпы. На других ЯП не писал, с тех пор как окончил шарагу местный универ.Соответственно, юниксы, линукс и прочие ОС не трогал. Не думаю, что это так важно.Хотелось бы также на шарпе писать. Скорость выполнения не так важна, пусть хоть сутки анализирует, похуй.Так вот, как считаете, реально ли такое сделать. И если да, т о с чего начать. Если нет, то почему.
>>863993Reinforcement Learning.Начать с того же, с чего начинают и другие - шапка треда. А можешь попытаться взять с наскоку какой-нибудь курс по RL вбей в тытрубе RL David SilverПочему к тебе отнесутся скептически. 1. Будь у тебя хотя бы какой-нибудь навык в ML, ты бы не задал этот вопрос.2. Сделать это, не имея бэкграунда, сложно. Читай, как пойти в вузик на программиста, чтобы клепать игры. Большинство таких воннаби-клепальщиков потом идут в 1С и прочие области, не связанные с гейдевом.3. Сделать это, не имея адекватного финансирования сложно/дорого/займёт дохуя времени. Почему?a. Рейды сложные, множество игроков используют разные абилки. Рейды могут варьироватья по составу. Придётся учить босса учить, кто такие хилы/мдд/рдд/танки.b. С точки зрения MDP наблюдения имеют нехуёвую такую размерность - кто чего кастует, сколько дамага нанёс, расположение и прочее. На обучение будет уходить реально большое количество вычислительных ресурсов, а обучать ты хочешь не одного босса в одной инсте, наверное.c. В большинстве, знакомых мне ММО, обучение босса дало бы непроходимых боссов. Просто дай боссу возможность игнорировать аггро, и он расхуярит хилла и весь рейд за ним. То есть нужно думать, как вписать это всё в концепцию аггро.Резюмируя, идея охуительно интересная, но дорогая и требует хорошей тимы, которая знает своё дело.
>>863993Алсо, тебе все компании отсосут, если ты запилишь это на каком-нибудь интересном уровне в одиночку.
>>864012>вписать это всё в концепцию аггро.>концепцию аггро.Параша для школодебилов не нужна.
>>864023Кудахтающие дебилы без пояснений своего кудахтания не нужны.
>>864026>Кудах>кудахА вот и оскорбленный за любимую днотку школодебил, хаха.
>>864028Давай, расскажи мне, какие ммо были лучше WoW десять лет назад?
>>864045>лучше WoWЛюбые.
Учил некоторое время работу нейросети, какие бывают нейроны, как они записываются, что делают, сколько их куда надо вставлять, как находить ошибку, как брать градиент. В общем до метода обратного поиска ошибки доучился.Захожу на каггле ком. Там прохожу вступительную обучалку, сортирую данные, заполняю отсутствующие, в общем очень интересно. Потом перелистываю страницу, где уже должно быть само по себе машинное обучение и вижу:import randomforestrandomforest.fitrandomforest.predictВсё, ответ готов. Так и должно быть? Я не очень понимаю, что тогда делают кодеры
>>864069Собирают данные [опционально], чистят данные, визуализируют данные, подбирают алгоритмы анализа, советуются с людьми по поводу фичей, пробуют, тестируют, дрочат на митингах, общаются с коллегами, хуйнянейм с особенностью конторы. Уйму разных вещей делают.
>>864073Мне как-то не верится, что сами нейронные сети они не делают.Почистить и визуализировать данные сможет человек который неделю назад научился писать на PHP
>>864075> что сами нейронные сети они не делают> подбирают алгоритмы анализа> Почистить и визуализировать данные сможет человек который неделю назад научился писать на PHPХуй там, не всегда, всё зависит от данных.
>>864077А что собственно такое этот подбор алгоритма анализа? Я понимаю в обычной сети это выбрать, сколько будет слоёв, сколько будет нейронов в каждом слое, какие функции будут у нейронов. А если этим не заниматься, то остаётся выбрать между рандомфорестом и ещё несколькими алгоритмами что-ли?
>>863934Толстовато. Зачем тогда яндексу делать свою школу? Она для гениев, 14летних школьников или средних спецов.
>>864083https://www.google.sk/search?q=machine+learning+algorithm+cheat+sheetКликни на картинки
>>864012спасибо.да я уже работаю в не связанной с геймдевом областиёбаные винформсы с впфом.на счет аггро с тобой согласен полностью.на счет того писать ли игру с нуля, на что уже уйде год минимум, или взять готовую - на сколько я знаю, любой васян может поставить у себя сервер всеми нами любимого вов. и я также видел, что люди создавали на своих серверах своих боссов, где "прописывали" ему поведение.так что я пойду штудировать шапку сперва по твоему совету.
>>864152> так что я пойду штудировать шапку сперва по твоему совету.Штудирование шапки может занять год, лол. На курс Сильвера то хотя бы одним глазком глянь, промотай его, вдруг дохуя знакомых вещей увидишь. Совет вреден тем, что в шапке рассматривают в основном задачи регрессии и классификации, по RL там не очень много.Можешь глянуть в эту книгу:http://people.inf.elte.hu/lorincz/Files/RL_2006/SuttonBook.pdfСам не читал, мб параша, хуй знает. Мб анончики что-нибудь по теме расскажут.
>>864182>Introduction>334 страницымимокрокодил
>>864185Хуле делать, так и живём.
Аноны, посоветуйте алгоритм. Есть куча болезней с симптомами. Как автоматом составить дерево вопросов по симптомам, чтобы максимально быстро определить болезнь?
>>864227Хуй знает по поводу дерева, но можешь погуглить QMR-DT.
>>864227from sklearn import DecisionTree
Пацантре. Есть годные и простые способы улучшить knn? Ключевое слово тут это простые. Без всяких локальных топологий. Данные нормализовал, метрику выбрал. Даст че нибудь выкидывание выбросов в чужие кластера, если у меня K=10.
>>864351У тебя high bias или high variance?
>>864354Это надо посчитать, а у меня слишком большая выборка и слишком слабый пе-ка.А чем кстати плох high bias? Вроде заебись же. Ошибка на тесте, близка на обучении. Но вообще, процентов 90, что у меня именно high bias. Но если не трудно, накидай советов по тому и тому:3Только простеньких, так как мне надо будет все писать руками
>>864366>А чем кстати плох high bias? Тем, что величина ошибки не соответствует твоим требованиям. То есть алгоритм в целом отработал хорошо, но недостаточно для тебя, поэтому следует менять сам алгоритм - или набор фич (другую метрику), или же сменить простой knn на что-то другое.Параметрически у knn все просто, меняешь k, меняешь баланс в bias/vaiance tradeoff. Если у тебя k строго 10, тебе это не подходит.>Но если не трудно, накидай советов по тому и тому:3Советов в интернете тонны и это самая азбука ML, это знать надо.High bias: как я писал, это алгоритм хуево работает, и менять надо алгоритм, как полностью, так и увеличивать число фич. Underfitting.High variance: алгоритм переобучается, и нужно или больше данных, или добавить регуляризацию, или уменьшитьчисло фич. Overfitting.
Хочу попробовать сделать копию приложения Prism, в какую сторону смотреть? Да, я знаю что призма не использует нейросети, но все таки, где вообще можно почитать про практическое применение нейронок? В тех же мобильных приложениях. Из навыков, умею в разработку для iOS, хочу сделать вундервафлю с нейросетями.
>>864391git clone https://github.com/jcjohnson/neural-style
>>864370Спасибо! Очень понятно объяснил. Число соседей менять можно, оптимальное у меня получилось 10. Но, скажем так если я выбираю 3 соседей я угадываю в 88 процентах случаев, а с 10 в 90 процентов случаев. Метрики многие пробовал. Хорошо себя показал Жокар. Может есть в нетике йоба список метрик, а то я не нашел.
>>864085Она для тех, кто уже довольно глубоко в теме, на что недвусмысленно намекает нехилый вступительный экзамен. Рандомный хрен, вчера "решивший вкатиться", не сможет туда поступить.
>>864421Ну это не объясняет, почему вкатываться в 20 поздно. Можно за год-два полностью подготовиться к их экзу.
>>856234 (OP)Ребят если я начну вкат с machine learning a probabilistic perspective, буду ли я писать, что-то годное к след году?
>>864421>Она для тех, кто уже довольно глубоко в теме, на что недвусмысленно намекает нехилый вступительный экзамен. Нет там ничего ML-специфичного, знание матана и теорвера на уровне заборостроительного вуза. Теорвер проходится на третьем курсе, как раз 20 лет.Рандомный хрен туда не сможет поступить, потому что планка намеренно задрана, а не потому что там такая охуенно сложная программа. Это традиционная наебка "элитных учебных заведений", в которой учат так же хуево, как и везде, но за счет отбора поступающих якобы формируются неебовые успехи, которые объясняются именно качеством преподавания.Иными словами, у тех, кто способен поступить, и так в жизни проблем с трудоустройством не будет.
Да вы совсем поехали. Какая разница, в каком возрасте начинать? До 20 лет - это какой-то местный мемас?
>>864436Думаю 18-ти летние школьники траллят.
Если ты к 20 все еще не определившийся олух, пытающийся куда-то "вкатиться" не имея о теме представления, то результат этих попыток очевиден заранее. Так и вижу как этот вася, знающий "матан" на уровне "ну там чет про производные)", без образования и интересов, даже не умеющий элементарно кодить, усаживается штудировать Бишопа и МакКея. Да он не то что введение, он аннотацию не осилит. Скажет "да ну нах эту дрочь для батанов)) 300 страниц формул, вы там офигели совсем)))" И будет прав
>>864443Не думаю, что такие люди полезут в эту тему.
>>864443>Если ты к 20 все еще не определившийся олух, пытающийся куда-то "вкатиться" не имея о теме представления, то результат этих попыток очевиден заранее.Вижу тупорылого юнца с таким же максимализмом.
правильный вопрос не "вкачусь ли до 20" а "доживу ли до 25"
>>864468То чувство, когда тебе 18, вкатываешься, а у тебя рак сердца.
>>864436Ну вкатился ты такой в 25, а у тебя начальнику 21. И ты для него говно, никто, червь.
>>864474Так тебе ML чтобы на дядю работать? Ну тогда страдай, да.
>>864476А тебе зачем? Оптимизировать рецепт мамкиного борща?
Кароче. Поступить тяжело, учиться тяжело.Начинают с основ, но резко углубляются.Если ты раньше с этим не сталкивался, совмещать с работой практически невозможно.Так что если планируете, запаситесь свободным временем. В этом плане 20 летним корзинам легко.Ну и пруфы на пике
>>864477Я бы мог сказать, что эта область имеет гораздо больше применений, чем очевидную возможность продать свою жопу дяде занидорага, да чувствую, что бесполезно. Впрочем, в тех рамках, что ML обсуждают ИТТ, наверное другие применения и невозможны.
>>864474Тупорылый проецирует. Нахуя идти работать к ебаным аутистам, для которых коллеги - никто? Такие фирмы - говно с хуевой атмосферой и долго не живут.
>>864481Очередной НеНадоРаботатьНаДядю. На тренинг не опаздываешь?
>>864486Дурик, чтобы работать на дядю, ML не нужно. Освой лучше станки с ЧПУ в любой шараге, бесплатно. К 20 годам зарплата будет намного больше, чем если освоишь машинное обучение.
>>864483А ты контингент в /pr/ видел? Презрение на презрении, ненависть на ненависти. Вот она, наша сфера, вот она!
>>864481"Вкат" это значит попасть на работу в данной сфере, желательно с неплохим окладом. Я для себя и приложеньице могу на андроид наклепать, и сайтик, но сказать что я вкатился в Андроид-дев или Веб-дев я не могу.
>>864488Окстись, маня, у ЧПУшника потолок тыщ 60, умные прогеры с этого начинают.
>>864488Хм, а если мне нравится ml? Если я хочу заниматься научной деятельностью в составе какой либо команды? А не только мутить лавеху? К такому повороту твои подростковые мозги небыли готовы?
>>864491Это со столетним опытом разве что. Стекломойные иваны и за двадцатку рады "работать", см. воркач.
>>864432Ты пишешь это разными словами каждый тред. Предлагаю уже добавить это в шапку.
>>864492Наука без денег не делается, браток. Пройдет хайп по МЛ, перестанут гранты давать - и не будет тебе никакой МЛ-науки.
>>864492За научной деятельнстью сразу ПхД, вокзал, Европа (или штаты). Самому с книжкой аутировать бесполезно, и никакие ШАДы тоже не помогут.
>>864492Приходишь ты такой к профессору, глаза горят, идей вагон, а на выходе - "где статья, сука, норматив по статьям надо, статьи статьи статьи список литературы в 150 позиций давай отфлюродросим всем импакт фактор гранты-хуянты"
>>864489Большая часть доски ищет работу в МЫ-ВАМ-ПЕРЕЗВОНИМ-ТРЕДЕ.
>>864503В МЛ сейчас модно, молодежно публиковаться в arXiv потому что вчерашние кодерки ниасиливают написать нормальную статью в журнал
>>864496Так и есть. Да такой сценарий возможен. Но если мы прям минимизируем риски, то тогда только в аграрный поступать или на врача, жрать и болеть люди не перестанут никогда. >>864499Ну надо же с чего начинать. Шад петухи кстати регулярно публикуются.>>864503Ну минусы есть везде. Тут ты прав. Другое дело, что лично для меня, плюсов всеравно больше.
>>864507>публиковаться в arXivИииииу... Нерецензируемые статьи... Даже хабра лучше.
>>864511Не, хабра не лучше, в архиве нужна рекомендация же. Но все равно говна через край.
>>864495Я это пишу разным людям, которые уверены, что ШАД это какая-то йоба, которая сделает из них людей, стоит туда только попасть.В шапку, хуй знает, там сидит statistical learning дрочерство, которое я презираю.>>864511Вообще-то система arxiv+github+конференции - это самое охуенное, что случалось в ML за последние тысячу лет. Пока статистикопетушки ждут рецензии и публикации статьи (не публикую код, а то хули, спиздят же), deep learning бояре сегодня публикуют на архиве, завтра по всему миру их код на гитхабе ковырают сотни людей. Отсюда такая лавина исследований. Но хули, не модно же, давайте нам рецензируемые журналы, ведь без рецензента нельзя понять, какой процент ошибок на training и validation сетах у алгоритма.
>>864512А на хабре инвайт надо, или чтоб мод в песочнице увидел и вознёс. Плюс на хабре рейтинг будет видно, социум порешает, дичь опубликовали или нет.Сразу контраргумент против "Хабра это стадо быдла, а наука нет": В науке если ты делаешь что-то не в тренде, ты никто, над тобой все будут ржать (пока не окажется что ты там что-то сносное открыл в итоге), там такое же стадо.
>>864516>Плюс на хабре рейтинг будет видно, социум порешает, дичь опубликовали или нет.Какой нахуй социум, там активно голосующих человек 100, и все поголовно пидарасы и долбоебы. Лучше просто на гитхабе выложить код, в readme.md закинуть идею, и на реддите в machinelearning забросить ссылку. Без инвайтов, да.
>>863605>Регистрация в ods слак:Ссылка битая.
>>864515meh...Согласен, код надо публиковать. Когда писали статью с науч.руком, я хотел выложить код в открытый доступ, но он запретил.Вообще, работая со статистикой не леарнинг, я заметил, что обычно удаётся воспроизвести результаты только каждой пятой статьи. И мы не одни такие, проблема распространённая.
>>864545Это не проблема, для тех, "где статья, сука, норматив по статьям надо, статьи статьи статьи список литературы в 150 позиций давай отфлюродросим всем импакт фактор гранты-хуянты". Это суть работы, пилить без последствий.Но благо, сейчас за дело взялись корпорации, которым вместо абстрактной науки нужны реальные результаты, с бабками.
>>864474лол ты где начальников 21 лвла видел маня?виталика-педалика не упоминай даже, он папин аутист-программист один на миллиард
>>864665В модном стартапе, приехал такой в 21 с бородищей на гироборде и поясняет за МашОб.
>>864681Использует базворды, не способен пояснить за затухающие градиенты в RNN, от просьбы попробовать применить chain rule к производным начинает потеть и заикаться.
>>864515Просто ты, как и многие другие ничего не смыслящие в науке кадры, не понимаешь что такое пир ревью. Почему в прикладной математике непросто написать хорошую статью? Потому что надо показать значимость и новизну своей работы. Вся МЛная "лавина исследований" на самом деле гроша ломаного не стоит, потому что "я взял модель из [1], добавил еще 10 слоев и уменьшил ошибку на CIFAR на 0.00000001% по ставнению с SOTA" это не наука, а просто дрочильня ниочем.
>>864432опишу свой ШАД-икспиренс из далёкого годазнать надо нихуя примерно, СЛУ руками по гауссу 3его порядка и цепочечное правило (о существовании которого я тогда не подозревал) - максимум матана. половина задач чисто школьные.на устном собеседовании было немного посерьёзнее правда.а вот учили вполне жёстко. в универе (не самая шарага) я не испытывал никаких проблем с матаном, но на тамошних лекциях по теорверу Ширяева просто охуевал. сидящие рядом девочки с мехмата правда вроде не особо напрягались, хз.лекции по мл червоненкинса были норм по сложности, но в домашке были жёсткие подьёбы навроде неразделимых классов в задаче где предполагалась голая свм.на теории игр от буниной все расслаблялись - уровень был просто школьный.> в жизни проблем с трудоустройством не будет.сижу без работы 3 года, не берут даже веб-макакой. все хр-бляди должны здохнуть.
Никто не хочет конфочку в телеграмме создать? Задачки порешаем.Очевидно что самое дно набирать не нужно. Готов пройти собеседование, ну или провести.коммитер в scikit-learn
>>864854Идею поддержу, но не более. Задач выше крышы, я скоро свихнусь от этого дерьма.
>>856234 (OP)поясните нюфагу за вторую картинкучоза икс-омега, нифига не понял>>864854>телеграмменынче матрикс же доделали: riot.im
>>864430да, конечно
>>864719Ты же знаешь, что такое arxiv.org? Это препринт сервер, туда кидают статьи, чтоб их сразу читали, пока ревьювятся в журнал. Если какой-то васян закинул туда свою статью, его все равно дальше абстракта никто читать будет. Читают людей с именами, имена получаются через конференции. Все стоящие ученые кидают свои статьи на архив. Архив.орг как бе не отменяет традиционные журналы.
>>865125Я имел в виду тех, кто только в архив кидает. Хотя и на конференциях средний уровень не оче, а журналов мало.В чем по сути заключается "лавина исследований"? Несколько тысяч человек за три года затерли то дыр 3.5 датасета с картинками, вот и вся эта лавина. По-настоящему инновационных статей совсем мало, в основном от дипмайнда, да и то по большей части чисто инженерная работа по доведению до ума предыдущих идей, например альфаго. Причем дипмайнд все свои норм работы в нейчер шлет, а не на архив.
Пишу алгоритм для игры. В ней нужно набрать максимум очков. Их количество не может уменьшаться. Есть фактор случайности. игра похожа на монополию и количество возможных исходов одного хода меньше чем у шахмат При этом игра может закончиться совсем неожиданно если неколько ходов подряд кубик будет плохо падать. Значит обычный minmax не подойдёт т.к. при большой глубине поиска лучший из худших всегда будет проигрыш. И что делать с линией горизонта? Ведь здесь нельзя форсировать поиск при шахе как в махматах. Реквестирую литературу про программирование ии для игр с влиянием рандома.
>>865199См. работы по нардам. Гугли TD-Gammon.
>>865203Блять. Ещё и правила нард учить. Ок. Спасибо. Сегодня поищу.
https://medium.com/@daniel.mallcott/how-not-to-approach-machine-learning-641d38cf7f30#.u0x8oske3> Видя, что машинное обучение это все в моде сейчас я решил несколько месяцев назад, чтобы перейти в шумиха поезд и посмотреть, где что взял меня. Но вскоре я обнаружил, что это не было похоже на изучение нового рамки JS или следующий магическое решение CI, но больше как целый новый мир головных болей и возможностей, которые сделали бы меня заново оценить, как я подходить к решению проблем все вместе.> Как разработчик, обнаруживая, сколько абстрактное мышление и статистика происходит в ML был как можно ближе к пощечине, как он получает, но, как кто-то, кто не знает, когда остановиться, я продолжал достижения этой цели шахты.> Машинное обучение походит на лицейного секса. Все говорят, что они делают это, на самом деле никто не делает, и никто не знает, что это на самом делелюблю когда высокомерный буржуа немного обкакунькался
Репостну вам. Такая тема, нужно автоматически распознавать автоматически сгенерированные тексты а-ля копатель, хотя еще не ясно. Собственно, больше мне нихуя не известно. Ну, сначала хочу изучить проблему, попутно читая гугл уже, не особо успехи, но может вы сразу определите мои подводные камни? Как и что делать, с чего начать?
Господа, а есть какой-то источник инфы о новых методах в ML, но чтоб с инженерной точки зрения? Статьи читать надоедает, тонна ненужной воды налито + результаты хрен воспроизведёшь, потому-что пример реализации не приведён. Почитал статью и как потратил время зря, потому-что в итоге вроде всё понял, но как автор писал реализацию / какие гиперпараметры - не ясно.
>>865317было на реддите неделю назадhttps://www.reddit.com/r/LanguageTechnology/comments/570da2/any_ideas_on_how_to_go_about_programmatically/Если нейроночки, то ворд2век плюс лстм, а так, как на реддите написали, всяких n-gram и марковых цепей хватит
>>865432Ок, благодарю. А вообще, на сколько это трудоемкая задача? А то это курсовая как бы.
>>864719>Почему в прикладной математике непросто написать хорошую статью? Потому что надо показать значимость и новизну своей работы.Ну кому ты пиздишь. 99% шлака без новизны везде, и в журналах, и в препринтах. Разница в том, что виде препринта шлак отсеивает компьютнити за день, а в журналах этот шлак публикуется и навешивает лычки на автора, от которого зависят его бабки. Поэтому именно для журналов пишут одну и ту же идею по 10 раз, и прочитал одну статью автора - прочитал все (как минимум, на ближайшие несколько лет). И весь этот кайф еще и денег стоит.>Вся МЛная "лавина исследований" на самом деле гроша ломаного не стоитДа, да, именно поэтому statistical learning побеждает слесарей на kaggle, а на его базе делают стартапы, а задача классификации приблизилась к мозгу. Потому что так анон сказал.На самом деле нет.Нейроночки сейчас превращаются в науку типа химии, когда изначальная физическая база поменяется своими законами, которые более удобно использовать конкретным образом. То, что это аутистам-математикам не нравятся, так пусть идут они нахуй дрочить свою теорию струн.>это не наука, а просто дрочильня ниочем.Угу. Вот тебе пример дрочильни:>Не имея лаборатории и работая в помещении институтской кладовки, а позже в сарае на улице Ломон в Париже, с 1898 по 1902 годы супруги Кюри переработали восемь тонн уранинита.Вот тупые-то.Это и есть наука. Исследовал, проверил, поделился (с обязательным воспроизведением). Шлак получился - ну это тоже результат, на то она и наука, что иногда нужно и 8 тонн говна переработать. Но шлак тоже стоит опубликовать, чтобы другие не тратили время на то же самое.А статьи в журналах, в которых специально создают недомолвки, чтобы потом подороже продать свои идеи, и конечно же без кода, вот это не наука, а меркантильное дерьмо, которое мы и наблюдаем по $30 за статью, а также глядя на успехи "математиков" в задачах.>>865181>В чем по сути заключается "лавина исследований"? Несколько тысяч человек за три года затерли то дыр 3.5 датасета с картинками, вот и вся эта лавина. Бредятина. Ты описываешь только одну конкретную задачи классификации, которая действительно уперлась в поток за последние годы, но только потому, что за 2010-2015 она взлетела в небеса. Для residual сетей по сути imagenet'а недостаточно. При этом датасеты просто служат для повторяемости измерений, а у тебя звучит так, что дело в том, что исследования специально подкручивают под датасет.Но задач-то дохуя, от близких к классификации image2vec, до генерации изображений, super resolution, удалением шума, и кучи другой хуйни. И это только изображения, есть еще анализ текстов, звуков, и такая же их генерация. И везде охуенные результаты.Из последнего, быдло увидело рисование хуев на картинках, но на деле это основано на открытии охуенного метода генерации изборажений.> По-настоящему инновационных статей совсем мало, в основном от дипмайндаДа ты жертва пиара просто. От гугла собственно научной инновационности не так много, в основном я вижу оверинжиниринг уже существующих идей, которые ты как раз не любишь. Сравнить, например VGG-19 и Inception. Первая - красота вообще, а вторая - ну так, оптимизация вычислений. И что на слуху у быдла типа тебя? Швитой гугл конечно же.Вот я открою ща arxiv-sanity и перечислю, что там было.Бинаризация сетей (когда веса сводятся к -1 и 1 и это работает) да и вообще в целом способы сократить потребление ресурсов, residual сети (и их сведение к RNN сетям) - охуенно, batch normalization, style transfer в рилтайме, DCGAN. Почти все 2015-й год. В 16-м еще кучу всего охуенного завезли.
>>865596тот метод с реддита по частям речи тоже звучит ок, его тоже можешь посмотреть.Зависит от того, насколько у тебя хорошие данные, сколько их у тебя, насколько хорошо знаешь питон и тд и тп.Сложность варьируется от import tensorflow за две минуты до месяцев красноглазия в попытках набрать 64 процента точности.Но я у мамки слесарь, поэтому послушай пацанов поумнее, мб, кто-то что-то еще посоветует
>>865685Пока ничего нет, питон видел пару раз. Изложу свои мысли преподу, а там посмотрим. Проблема в том, что она может загнать меня в самые ебеня, и потом придется все разгребать, либо наоборот ничего дельного не скажет, что более вероятно. Так что буду доебываться до людей на двачах и во всяких конфочках, вот.
Антоши, поясните, что значит слесарь?Мимопроходил и заинтересовался.
>>865357>Почитал статью и как потратил время зря, потому-что в итоге вроде всё понял, но как автор писал реализацию / какие гиперпараметры - не ясно.Не трать вермя на статьи без кода вообще, полно хороших статей с кодом. Если лень гуглить, вообще можешь читать только один gitxiv.Но если ты будешь смотреть только код, ты поймешь еще меньше. Просто с опытом ты начнешь отделять воду, которая кочует из статьи в статью, от сути, которая часто сводится к нескольким абзацам концентрированного текста.
https://arxiv.org/pdf/1609.04802v2.pdfPhoto-Realistic Single Image Super-Resolution Using a Generative Adversarial NetworkНу блядь, вообще застой в индустрии.
>>865631>residual сети (и их сведение к RNN сетям)Вот про такую хуйню не знал. Как они сводятся-то?
>>866026Довольно очевидным образом. Это ответ, почему мозг не deep, а работает на уровне ResNet с 1000 слоев.https://arxiv.org/pdf/1604.03640v1.pdf
>>866108Можно для быдлана расшифровать последнее? Аж интересно стало.
>>866147Визуальная кора является deep in time, имея небольшое число физических слоев, эмулируется больше число слоев за счет обратной связи. Или наоборот, ResNet эмулирует мозг, разворачивая RNN в пирог из 1000 слоев - это как тебе удобнее. Открытие охуенное, потому что становится понятнее, как мы устроены, и это все - сегодняший день.
>>865729Это все мы тут. Не слесари сами разрабатывают методы.
>>866108Охуенчик. Бочку нефти тебе, анон.
>>866154Я нихуя не понял.Что надо прочитать, чтобы иметь возможность хотя бы генерировать респонс "вау, охуеть, вот это круто!" на подобные посты?
>>866154>Визуальная кора является deep in time, имея небольшое число физических слоев>это все - сегодняший день.ну плизсто лет назад это выяснили
>>866709Ты и ILSVRC-2017 уже давно победил. Нахуй иди.
>>866779Новый положняк. У кого на Kaggle рейтинг ниже 20 - чуханы-чуханчики, меняйте профессию пока не поздно.
>>866680Надо следить за state-of-art решениями начиная с AlexNet и понимать, в чем заключается их новизна. Тогда реакция "вау, круто" была бы сначала на ResNet, а потом вот на это объяснение, почему оно работает. Вот почитай.https://adeshpande3.github.io/adeshpande3.github.io/The-9-Deep-Learning-Papers-You-Need-To-Know-About.html
>>866892Но кегля - это лишь зачет для слесарей.>>866680Оппост и дальше быть в струе на реддите. Только на определенном уровне просветления ты поймешь, что это не так уж и круто и по большей части просто очередной кодерский манямирок, наподобие того как в 60х думали, что создав шахматную программу мы поймем, как мыслит человек.
>>866979>Только на определенном уровне просветления ты поймешьА потом пойдешь хлебать мамкин борщ. Ты своим пафосом напоминаешь любителей хаскеля, у которых тоже какие-то невнятные понты при полном отсутствии успехов.Читайте оппост, пацаны, будете такими же, воможно, даже вас возьмут в банк классифицировать заемщиков.
>>866963>>866979Ок, спасибо! Только один вопрос: мне правда необходимо прочитать всю литературу из оп-поста и те щевять пейперов, чтобы было ваукруто? А есть какой-нибудь софт-вей?Если что, я не хочу в банк и не собираюсь никого классифицировать.
>>867017Где у меня пафос? Пафос это когда вчерашний кодер от сохи прочитал про слои и решил, что теперь он знает, как работает мозг. А это не пафос, а трезвая оценка состояния дел в науке, и это не я придумал, естественно, а светила сами так говорят. См., например, выступления ЛеКуна (жаль, он книгу не напишет по этой теме).
>>867034Собственно в той литературе ничего про диип лернинг нет, но она задает необходимый бэкграунд и настроение ума. Так что это только начало, дальше ты сам должен понять, что нужно читать и почему.
>>867034Если не хочешь идти в банк и никого классифицировать, не читай книги из оппоста, потому что там научат тебя именно этому.
>>867061Ну пиздец просто!>>867063А что тогда читать?
>>867148> А что тогда читать?А чего ты хочешь? Некоторые и от книг Донцовой ловят ваукруто, и им норм.
>>867151Ты еще пердеж собственный не начал нюхать, как герои сауспарка?
>>867154Нет, а ты?
Посоны, я нашёл тест на слесаря. Просто идёшь читать про алгоритмическую терию информации. С огромной вероятностью слесарь дропнет ещё до случайности по Мартину-Лёфу. Я дропнул.
>>867401Ну и ладушки. Тебе же в шашечки или ехать?
>>867510Лолшто?
>>867401Прочел Ли и Витани от корки до корки. ИМХО это одно из самых "недооцененных" достижений математики: немногие знают эту теорию, а ведь она затрагивает широчайший спектр областей, от философии науки до машинного обучения. Книга серьезно повлияла на мое мировоззрение.
>>867034Софт-вей, это http://cs231n.github.io/ плюс руками пишешь свою нейроночку, потом читаешь про recurrent neural networks, потом про residual neural networks, потом читаешь ту статью, которую запостил анон и говоришь ВАУ. На все, про все у тебя уйдет от двух недель до месяца.
Бугурт статистикодрочеров напоминает бугурт усатых телемастеров, когда на смену логике на транзисторах пришли микроконтроллеры.Так и тут, статистикодрочеры годами изучают мат. модели, которые с трудом вмещаются в голову, а потом нейроночка за день (в редких случаях за месяц) строит более эффективную модель. И тут начинается МИКРОКОНТРОЛЛЕРЫ НЕЙРОНОЧКИ НЕ ТРУЪ, ДИДЫ СЧИТАЛИ НА БУМАЖКЕ И МЫ ДОЛЖНЫ, KAGGLE ДЛЯ СЛЕСАРЕЙ.
>>867718Но кегля действительно для слесарей, собственно они этого и не скрывают. Никто не делает исследований на кегле.Если ты не умеешь считать на бумажке, то ты не понимаешь и нейроночек, а просто как вебмакака копируешь примеры из интернета. То есть ты почти бесполезен, испортить тензорфлоу эс тф можно научить любого за короткий срок. В чем тогда твоя ценность как специалиста, подумой.
Нейроначи, есть несколько абсолютно нубских вопросов.Вот, скажем, захотел я сделать нейросеть для игры в крестики-нолики и заставить ее играть против классического алгоритма, способного если не выиграть, то сыграть партию вничью. Цель — научить нейросеть не проигрывать хотя бы в 75% сыгранных партий. С чего вообще нужно начинать? Как выбрать нужную архитектуру? Как объяснить нейросети правила игры, например то, что нельзя ходить в уже занятую клетку поля?
>>867740https://www.google.no/search?q=tic+tac+toe+neural+network
>>867740слишком хуита, очень маленькое пространсво состояний, тривиально перебираетсяможно сделоть примерно любым алгоритмом, даже самым бредовымпридумай обобщение крестиков-ноликов на непрерывное пространство хотя бы
>>867732Но ведь я понимаю нейроночки и не копирую из интернета.
>>867708Спасибо.
Для игры в крестики-нолики можно сделать механический компьютер на спичечных коробках: http://www.mscroggs.co.uk/blog/19
>>867786Ладно тогда.
>>867718Сложные модели это не очень у них слишком высока ёмкость, + сложные модели не интерпретируемы.Где-то было про Abbyy и про то как они не используют ничего сложного в своих OCR, ибо важна очевидность модели.
Посоны, посоны. Вот допустим градиентный спуск: для поиска минимума функции f с помошью градиентного спуска основываются на первой производной f'.А также распространён способ когда ищут минимум исходной функции f поиском нуля её производной (С помошью гессиана f'').Никогда вторым способом не пользовался. Почему есть смысл считать/оценивать приблизительно вторую производную (гессиан) для решения той же задачи? Не вижу профитов.
>>867923Читай про методы оптимизации. Там десятки методов, первого и второго порядка. Последние лет 60 это активно разрабатывалось все.
>>867923все методы ищут ноль производной
>>867921Телемастер как есть. Нейросеточки не интерпретируемы, поэтому нужно как деды делать то, что в узкий мозг телемастера влезает.
>>867686Можно полное название книги?
>>868008An introduction to Kolmogorov complexity and its applications
>>868011Уже нашел, спасибо.
>>867994А теперь прикинь, продал ты свой продукт богатому дяде. Дядя приходит и "Чет хуйню выдавать начал, почини!" а ты "А я блин не знаю как оно работает!". Это я про ABBYY.
>>868208А ты включаешь в тренировочный датасет случай, на котором начало хуйню выдавать и его аналоги. И говоришь богатому дядьке "с вас 1.5kk за сопровождение".
>>868208ABBYY как раз и есть пример старперов, у которых все хорошо и бизнес налажен, и ничего менять не хочется. Это называется луддизм.
>>867401>>867686Там про что? Конструктивный/интуиционистский подход к вероятности штоле? Неужели. Еще немного и додумаются до конструктивного изложения нечетких множеств.
>>869138Там про определение сложности объекта, и определение количества информации как величину сложности описания объекта. Эти же понятия можно использовать для определения алгоритмической вероятности, которая даёт универсальные приоры. На базе этого можно построить универсальный алгоритмический интеллект.Беда теории в вычислимости даже самых базовых вещей, из-за чего она кажется очень непрактичной. Но сама по себе она очень интересна.inb4: игра в бисер, нинужна, сложна
>>869143>определение количества информации как величину сложности описания объекта.Есть жи энтропия Шеннона.
>>869143Алсо, это где-то реализовано для анализа данных? Вот это оно или нет - https://cran.r-project.org/web/packages/acss/acss.pdf http://complexitycalculator.com/methodology.html
>>869145Которая есть усреднённая Колмогоровская сложность. Здесь взгляд с другой стороны. Колмогоровская сложность рассматривает возможные программы и возможные опорные машины, на которых эти программы работают.>>869149Колмогоровская сложность невычислима. Обычно к алгоритмической теории информации обращаются, когда рассказывают про принцип минимальной длины описания, BIC и связанные с этим практические вещи.По ссылке что-то похожее на аппроксимации.Можешь погуглить аппроксимации AIXI.
>>869151>аппроксимации AIXI. Для R нету. Но вот это жи http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0096223 тоже аппроксимация колмогоровской сложности? >Которая есть усреднённая Колмогоровская сложность. Но если это типа шенноновской энтропии, то с чисто практической точки зрения, намного ли лучше эта ваша аппроксимация колмогоровской сложности? Т.е. есть ли заметный выигрыш при анализе данных, или просто разница в доли процента?
>>869161У тебя реально слесарский подход к делу. Никто не использует колмогоровскую сложность в анализе данных, это теоретический инструмент.
>>869166>Никто не использует колмогоровскую сложность в анализе данных, это теоретический инструмент.Но я ж дал ссылку на пакет для R. Как раз для анализа данных. И что плохого в практическом применении алгоритмов? Они для этого и нужны, чтобы давать практическую пользу.
>>869170Да это так, игрушка, не знаю даже для чего. Оно считает, во-первых, аппроксимацию, которая не имеет никакого особого смысла, а во-вторых только для очень коротких строк (8 бит или около того).
>>869161Как заметил >>869166 эта штука пока только теоретический инструмент. На него ты можешь ссылаться, если используешь MDL или RMDL.
>>869175Ну т.е. пока не нужно.
>>869179Можешь загонять это чикулям из технических шараг и ебать их в грязных толчках тех же шараг, это работает.
>>856234 (OP)Что ISLR выпили из шапки?
>>869242?
>>869242Есть же шестое издание.
>>869305>>869310Бля, я слепой. Увидел уже.
>>863613> Не поздно ли вкатываться в 20 лет?Проиграл дичайше. Ты думаешь нужно с 10 лет этим заниматься?
>>864370> High bias: как я писал, это алгоритм хуево работает, и менять надо алгоритм, как полностью, так и увеличивать число фич. Underfitting.> High variance: алгоритм переобучается, и нужно или больше данных, или добавить регуляризацию, или уменьшитьчисло фич. Overfitting. Все так, только High bias:Overfitting. High variance:Underfitting.А не наоборот
>>864455> Вижу тупорылого юнца с таким же максимализмом. Очень редкий вид на дваче.
>>870653Ну хуй знает. Both high bias and high variance are negative properties for types of models. When we have a model with high bias, we say it “underfits” the data, and if we have a model with high variance and low bias, we say it “overfits” the data. We’ll see why in this section.
>>870672На самом деле прямой связи между биасами и фитами нет, т.к. хай и лоу биас и вариэнс бывают в любых комбинациях.
Хочу управлять фильтрами свертночной нейросети с помощью другой нейросети. Т.е. если у нас есть сверточный слой выход = conv(вход, X), я хочу, чтобы X поступал с какой-то другой сети.Как водится, скорее всего моя охуительная идея кем-то реализована. Подскажите кейворды для поиска статей.
>>871012Не очень тебя понял, но по ссылке что-то похожееhttp://blog.otoro.net/2016/09/28/hyper-networks/
>>871019Спасибо огромное, то, что нужно.
Сори, если нубский вопрос.Суть такова: у меня есть некоторые сущности(к примеры цифры), и есть выборка, где каждой сущности сопоставлен вектор тегов. Мне нужно выяснить какие теги с какими сущностями чаще всего встречаются. Самое простое, что мне сразу же пришло в голову, это присваивать каждому встреченному тегу вес(1), умножать его на некоторый коэффициент(m) при повторном появлении такого тега, и вычитать из веса некоторую константу(a), если при очередном элементе выборки тега не присутствует.Что то мне подсказывает, что это ну очень наивный подход. Подскажите пожалуйста названий алгоритмов или тем, которые позволят решить задачу. Или ткните в книгу из шапки, которую стоит открыть в первую очередь. Спасибо.
>>871062Зачем вычитать? Ты же просто гистограмму строишь. Тебе сейчас векторное квантование наверное посоветуют.
>>871062Можешь в сторону matrix factorization глянуть.
>>871073Мне нужно сравнивать потом веса тегов у разных сущностей. Т.е. если тег "a" встречается с числом "1" 4 раза из 8, атег "b" встречается с числом "2" 2 раза из 4, товес тегов примерно должен быть равен. Я могу конечно просто вычислять процент того, как часто встречается этот тег, но на больших выборках это будет неудобно. Нужно хранить много доп данных, и непонятно как ограничивать множество тегов, связанных с одной сущностью.
>>856234 (OP)Сука, у меня сейчас бомбанет. Как в этом ебаном R сделать список изображений из пакета imager?Циклический data = c(data, load.image(img_path))где img_path вычисляется заранее по счётчику цикла, не работает. data в итоге хранит набор ебаных цифр. Я пытался что-то сделать через imlist, но там вообще нихуя не понятно. Хелп.
>>871274>обработка картинок>R
Ахаха, диипмайнд, что ты делаешь, прекрати. Собираются победить старкрафт. Интересно будет посмотреть. Наверняка у них получится, скорее всего они уже сделали преварительные тесты и получили хорошие результаты, иначе бы не объявляли с таким апломбом.Однако на этот раз, видимо, не из исходных пикселей информацию вытаскивают. Там слои миникарты предполагаются с различными данными, видимо это то, что они уже используют в своей системе.
>>871426Так есть уже статьи по старику. Вечером закину в тредик.
>>871428Конечно, есть. Как и по го были сотни, если не тысячи работ. Однако в старкрафт текущие системы играют гораздо хуже, чем даже в го раньше играли - ты бы мог их победить особо не напрягаясь.
>>871421Ну у меня машинлёрнинг построен на пикчах. Что плохого-то, если есть инструменты?
>>871467>машинлёрнинг>R
>>871485>>871421Даун тупой, как будто ты знаешь как это сделать на пистоне или что там сейчас у школуйни модно.
>>871467>>871485Поясни, чё ты как.Алсо, я нашел хак, написал функцию, возвращающую функцию. Но у меня не получается её вызывать, сука.>>871490Это не я
>>871490> Даун тупойО - попёрла натура... Там два анона, я подхватил. Если бы ты занимался machine learning (который требует big data) ты бы знал, что R просто не тянет. Это как бы пакет для статистического анализа.
Слесари, как из теста вытащить место?>Зашел на Двач ты, хочешь советов мудрых, сосни-ка хуйца.Надо получить "Двач">Пошел на хуй, пошел на хуй, пошел на хуй пидарас!Надо получить ["хуй", "хуй", "хуй"]Чем обмазываться? Место может быть и составным.
>>871499Словарь возможных мест составь и ищи по нему. Если тебе прям универсальный хардкорный алгоритм нужен, гугли name entity recognition. Для русского языка наверняка ничего нет, придется делать самому - пару человеколет закладывай.
>>871503Спасибо, нашел что нужно. Хорошо, что я не с русским языком работаю.Какие все таки дата сцаентисты лентяи. Где моя кнопка "сделать заебись"?
Раз уж мы теперь на мейл.ру сидим.Начался бета-тест russian ai cup 2016, в этом году игра наподобие доты или лола, в каждой игре участвует 10 ботов, можно передавать друг другу сообщения, прокачиваться. Круто в общем.http://russianaicup.ru/
>>871497>machine learning (который требует big data)>R просто не тянет.>Даун тупойА я в очередной раз не ошибся с оценкой. Впрочем, на мейлру-то не удивительно.
>>871525Ставлю десятку, что кто-нибудь обучит нейроночку, которая и победит.
>>871467На тех же крестах, матлабах и пиздоны инструменты лучше. >>871525Интересно, кто находит время для подобных соревнований?>>871610Все опять будут пробовать Q-learning, и 90% этих людей обосрутся.
>>871614>Интересно, кто находит время для подобных соревнований?Успешные хикки вроде меня.>Все опять будут пробовать Q-learning, и 90% этих людей обосрутся. В прошлый раз я пробовал и обосрался. Но в целом там мало кто использует столь продвинутые методы, времени слишком мало для разработки, тренировки, и в рантайме мало ресурсов (тензорфлоу на видюхе нипаганять). Обычно задроченный эвристический поиск побеждает. Описания стратегий-победителей прошлых лет можно найти в сети.
Чем отличается ML от Deep learning
>>871690МЛ это обучение машин, роботов там всяких, ИИ, а дип лернинг это более углубленное, продвинутое обучение, картинки всякие, ну хз короче.
>>871731Так дело в том, что ИИ и ML это тоже немного разные вещи)))
>>871690Deep Machine Learning = Machine Learning + Neural Networks
>>871771Тогда уж Convolutional Neural Networks Нейронки сами по себе это уже МЛ. А дип - куча сверточных слоев.
>>871608Когда обкакаешься, вспоминай меня.
>>871525Очевидно, что возьмут за основу готового бота из дотана. Это путь к победе. А свои разработки обосрутся
Аноны, а как называется процесс обучения нейроночки, чтобы она могла играть в видеоигру? Reinforcement learning или ещё что то есть?
>>871935Это не процесс обучения, это направление в машинном обучение. Но копать в ту сторону, да.
>>871525Попробовал запилить простейшую стратегию. Ну там и гемор. Столько всего надо учитывать, если нормально делать. На месяц работы чтобы сделать бота, который более-менее нормально ориентируется в тактике и простейшей стратегии. А еще надо кооперацию рассматривать, сообщениями обмениваться, билды оценивать. Кароч на те сроки, какие есть, только башню из костылей можно построить.
>>871525Надо нейроночку, и обучать на корейцах.
>>871690Deep learning - одно из направлений в ML. Отличительная особенность - использование т.н. глубоких архитектур, т.е. последовательно состыкованных и обучаемых особым образом элементарных алгоритмов типа машин Больцмана, аутоэнкодеров, сверточных сетей и т.п. Предыдущие ораторы >>871731>>871771 обосрались с простейшим вопросом. Что и не удивительно для школьников с мейлру.
>>872648Кто о чем а вшивый о бане. Там 10мс одного ядра на ход, и на каких корейцах ты собрался обучать, если правила отличаются?
>>872757двачую анона, там ни библиотек, ничего нет, даже нампи нет. Кроме того, большое преимущество у тех, кто знает джаву. Каждый год джависты разбирают трейнер, который дается, и делают на его основе себе обучалку. Хотя это очень весело, веселее, чем кэггл.
Подходят ли функциональные языки программирования для глубинного обучения?
>>872894Что есть "глубинное обучение" в твоем понимании?
>>872961Что - то прорывное и будоражаще новое, что - то что я не знаю, как и ФП.
>>873132Видеокарточки уже закупил?>>872818Т.е. там даже NumPy нельзя? Перемножение матриц, Холекцого и другой элементарный линал мне самому надо будет кодить, если я сунусь туда?
>>873219ну, обучаться у себя будешь с библиотеками, а на боевом сервере ничего нет
ну что, ананасы, кто из вас выиграл сбербанк? получили награждение от грефа?
>>874657А кто-нибудь вообще участвовал?
>>872711 машин Больцманаих кстати в реальных задачах сейчас кто то использует ?
>>874864А вот хуй знает. Не знаю как местные, а я с MCMC никогда нормально работать не мог и отношусь к нему достаточно скептически. Знаю, что ЛеКун со всех этих Deep Больцманов тоже не в восторге.
>>874864Вряд ли, как и аутоэнкодеры. Но, именно с них пошел сам термин "диплернинг". Просто сейчас любой школотрон уверен, что диплернинг это только сверточные сети, даже сам термин объяснить мало кто в состоянии. Про неокогнитроны вообще никто не слышал.
>>875049А почему автоэнкодеры больше не используются? Чем заменили?
>>875420Да пользуют их, те же VAE в гипернеты пихают. Другое дело, что это всё в продакшн вроде бы не пихают.
Я дебил и не понимаю, что такое нейрон. Почему все так скрывают, что он делает и представляют его, как черную коробку? Можете мне написать маняпример на Си типа хеллоуворлда. Мол есть массив-черная картинка пусть даже с котиком ахахаха. 1 - черное, 0 - белое. И как нам распознать нос? И зачем тут нейросеть ваще? По хардкору поясните, дабы даже такой дибил как я понял
>>876622гс, ну как бы носы бывают разные: разных размеров,форм, цветов, сопливые и в сметане, фото может быть сделано с разных ракурсов, разного освещения и четкости. теперь представь хотя бы на высоком уровне экспрешн, который бы мог вернуть тебе элементарно наличие носа а картинке?нейросеть, в глобальном смысле, сопоставляет входящую картинку с набором каких-то своих паттернов, развитых во время своего обучения, и выдает тебе вероятность наличия носа на картинке
Есть ли какое-то ПО для моделирование нейронных сетей? Грубо говоря, мышкой кликать.
>>876622На твоем уровне развития невозможно достигнуть сколько-нибудь детального понимания. Медитируй над фразой "нейроночка - массив".
>>876663покажи пример, пожалуйста,
Правда ли, что нейронные сети полны по Тьюрингу и поддерживают даже сверхтьюринговые вычисления? Значит ли это, что я могу замкнуться в себе, запустить бубунту и создавать ИИ в своем мозгу, а потом просто переписать? И чем это грозит?
>>876658http://neuroph.sourceforge.net/>>876682>Правда ли, что нейронные сети полны по ТьюрингуДа, они же могут по датасету восстановить (аппроксимировать) любые вычислимые функции.>сверхтьюринговые вычисленияСказка жи. Сам Тьюринг эту хуйню придумал просто для иллюстрации, что даже такой метод не снимает проблемы невычислимых функций. Его "Оракул" в данном случае чисто сказочный персонаж. >Значит ли это, что я могу замкнуться в себе, запустить бубунту и создавать ИИ в своем мозгу, а потом просто переписать? Это как?
>>876622Нейрон: выход = вход * вес.Дальше сам.
>>876350рекомендашки на автоэнкодерах/ворд2век есть
http://pjreddie.com/static/Redmon%20Resume.pdf
Нихуя не понял, как вкатиться? Охуенно, я выбрал себе задачу - то же распознавание капчи. Но есть хоть какие-то примеры, как ее решать, чтоб уже понимать, что блять из всего обилия инфы читать?
>>877069распознавание капчи, думаю, уже решено, и распознается лучше, чем человеком.
>>877069вдогонку, заходишь на google scholar, вбиваешь captcha recognition, смотришь статьи, но распознавание капчи особо не отличается от всех остальных распознавалок текста
>>877069Вкатиться невозможно. К тому же ты, скорее всего, слишком стар уже для этого.
Чуваки, учусь на первом курсе, тут такое дело: нужно подготовить какой-нибудь интересный проект для выступления на конкурсе, как думаете, нейронная сеть подойдет для такого или есть что-нибудь интереснее?
>>877196Попробуй применить differentiable neural computer в обучении с подкреплением.
>>871525Уже под тысячу человек участвует. Этот конкурс по популярности на уровне CodinGame и кегли, что довольно круто.
>>856234 (OP)Привет, машобач. Повторяю то, что писал в ньюфаготреде (проигнорили).Нужно тему на курсач по веб-кодингу. Требуют запилить что-то с новизной. Как ты догадываешься, я бы очень хотел присунуть туда машинлёрнинг. Поделитесь идеями, плиз. Желательно что-нибудь несложное. Пока что подумываю над сайтом-фотохранлищем. Как новизну добавлю разные фичи поиска похожих пикч. Хуй знает, короче. Хочу что-нибудь интересное. Плиз, хелп.
>>877217только на кегли приз 20000 уе (налоги и тд, плюс команда). А тут схожая конкуренция, а в приз АЙПАД И ФУТБОЛКА.
О, тот самый тред. Привет, я только начал смотреть что да как, и сразу же нихуя не понял, проблему усугубляет невозможность читать чужой код (сам пытаюсь для начала запилить свой небольшой алгоритм на бумаге на самом деле в ue4 блюпринтами). Статьи которые я читал, постоянно повторяют "сеть обучается", "сеть запоминает", "сеть решает", но не понимаю, как это выглядит в числах.1. Что такое функция активации и какая подойдет для моей задачи?2. Как менять силу изменения веса между нейронами?Вот сама задача:Персонаж стоит около пяти кнопок. Когда активируется одна кнопка персонаж должен набежать на нее, после чего открывается соответствующая ей дверь. Персонаж бежит к двери. То есть, должен принять два решения на два действия. Сколько нужно слоев нейронов? Сколько их самих? Сколько выходов должно быть? Как поощрять персонажа? Какие величины вписывать в переменные? Есть ли примеры похожих задач?
>>877599Нахера в твоей задачи нейронка вообще?
>>877599И еще. Так как кнопка включается рандомно, я запилил входные данные как одна включенная кнопка это 0.5, а нерабочие - 0.1. Это норм?>>877606Задача направлена на попытку понимания и визуализацию, я хочу посмотреть, как это работает.
>>877612Лучше порешай стандартные задачи, типа линейной регрессии (нахождение зависимости между переменными) и задачу классификации, именно в них кроется сама суть того, что делают нейронки и другие алгоритмы машинного обучения.
>>877623Ну блин, я хочу заниматься именно в этом направлении, вон как те дяди, учившие роботов проходить лабиринты, или видеорелейтед и вот это всё в этом духе.https://www.youtube.com/watch?v=qv6UVOQ0F44
>>877627Ну вон там код есть, кури его.Кури генетические алгоритмы, в видео основной смысл в нем.Нейроны там тупо для активации кнопок нужны, они не обучаются, веса в них зависят от гена.Там используется сигмоидальная активация, но она там нахуй не нужна, линейной хватит или даже тупо пороговой.
>>877513Если у тебя есть титанчик под рукой - реально круто было бы сделать поиск картинок. Делаешь TripletNet с VGG/ResNet/Inception/чтотамещеестьнаимеджнете, доучиваешь передний слой делать евклидовы эмбеддинги, дальше кнном ищещь похожие. Даже работать будет достаточно неплохо почти гарантированно (в файндфейсе очень похожая схема внтури), пишется на керасе за 20 минут с отладкой.
>>877172>>877144Дельные советы, что и говорить
>>877731Эти два поста совершенно правы (применительно к тебе). Но твой уровень развития не позволяет (и, возможно, никогда не позволит) этого увидеть. Ты как муравей, карабкающийся на Эверест. Профессиональные альпинисты, пробегающие мимо, говорят тебе: "ты умрешь, поворачивай обратно", но муравью не дано понять человеческую речь или увидеть гору самому.
>>877540Дык, рашкинские нищуки же. Справедливости ради, на кегле задачи несопоставимо сложнее, и уровень участников гораздо выше. Там очень крутые челы, а на этих программерских соревнованиях в основном студенты. И времени на кегле намного больше дается.Главный приз там - макбук про, это три годовые зарплаты среднего ивана, а уж про студней и говорить нечего. Для Северной Нигерии вполне себе призы.
>>877796тут другая область и другие знания требуются, если на кээгле очень важно найти факапы разработчиков датасета, то тут желательно уметь программировать, разобрать джава-пакеты разработчиков, написать на их основе свой симулятор и тд, обычно выигрывают те, кто умеет это делать.
Посоны, я так и не понял почему в примере с Teano со сверточной сетью не происходит переобучение, хотя там проходят по одной и той же обучающей выборке по десятку раз. У меня на моей тестовой так не получается, сеть всегда приспосабливается к обучающей и начинает плохо распознавать тестовую.
>>877825>на моей тестовой ну, которую я сам писал на c++
>>877825Или проще говоря, после каждой эпохи сет приспосабливается к обучающей выборке, но тестовая распознается все хуже и хуже.
>>877643Вообще у меня вся задача сводилась к таблице где x - вход, y z - выходы и x---y---z1---1---13---3---34---4---42---2---2но ладно
>>877793Думаю, ты идешь нахуй, ибо делать выводы о совершенно незнакомом человеке основываясь непонятно на чем может только полный мудак.Я задал вопрос, как начать изучать эту тему, ввиду того, что в ОП-посте сказано "решайте задачу" - как решать, что гуглить, малопонятно.
Почему еще нет ИИ? Какие проблемы в этом направлении сейчас?
>>877825>>877832Бамп вопросу.
>>878529нет никакого ии
>>878529Дай определение ии. Какие есть предпосылки к тому, что он должен появиться? Люди не очень понимают, как просто мозг работает. Нейроночки - довольно далекая вещь от реального мозга, это просто математическая модель с модным названием.>>878539я гуманитарий, но нужно дропаут добавлять, чтоб не было переобучения. Ну, и слишком много зависит от твоего кода. Там может быть банальный баг и тд и тп.
>>878598>но нужно дропаут добавлятьА он точно в теано по-умолчанию уже есть? Я от себя там никаких алгоритмов не добавлял. Брал обычный пример на сайте диплернинка с мнист базой который.
>>877825Да там куча всего может быть. Может функции различаются, может оптимизаторы разные, где-то мб момент используется (который, кстати, в некотором роде спасает от попадания в локальный минимум), какие-то параметры различаются и прочее.
>>878598В моем понимании ИИ это модульная система, которая рационально понимает когда использовать тот или иной модуль, и при этом может замещать их и комбинировать, при этом имея возможность строить новые модули при помощи обучения. Модули это своеобразные ментальные модели, но при этом модули могут представлять и данные, и программу вообще другого толка. Почти как в лиспе.
>>878729Хотя может потому, что я тестировал на полносвязной сети.
>>879146А нет, я потом и на сверточной проверил. Результат тот же.
Есть литература для самых маленьких с примерами кода? (желательно плюсы)Посмотрел шапку, только саенс, хочется чтобы книга была построена по принципу.1)теория2)пример3)заданиеили как-то так, кароче говоря классическая книжка для изучения для ньюфань.
упс, сега
>>877825очередной платиновый вопрос в стиле high variance, что делатьWhitening данных сделать не забыл?
>>879400Для слесарей онлайн курсы есть.>>877825В примере теано таких проблем нет хотя бы потому, что они используют early stopping. А вообще это классика: у тебя модель наверняка слишком большая для твоего датасета.
>>856648Блядь, такими методами, по-твоему, не пытались решить эту задачу? Одним из парадоксов робототехники является то, что сложнейшие для человека когнитивные навыки машина легко усваивает и описываются они для неё точными методами, но вот штуки вроде движения по неидеальной местности даются ой как не просто.Кстати, в рашке робототехника особо и не развивается. МЛ в робототехнике -- Япония, Америка. В рашке МЛ используется в областях, которые вообще принципиально не могут быть описаны точными методами -- выделение закономерностей по выборке данных, анализ которой нельзя провести вручную никак. Допустим, для формирования экономических моделей, вся хуйня.И, кстати, тервер -- это то, что связывает реальный мир и абстрактный. И ещё -- в "сраной рашке" математическая наука развита на одном из самых высоких уровней в мире. Как чистая, так и прикладная.
>>879764>в "сраной рашке" математическая наука развита на одном из самых высоких уровней в миреОлька. Ты ПАЛИЦЦО. Очинь-на сина ПАЛИЦЦО, да?
Математическое образование в РоссииМатематического образования в России нет.Я уже 6 лет читаю учебные курсы и лекции в Независимом Университете; общая польза, принесенная этими курсами кому бы то ни было, практически нулевая; по крайней мере студентам-математикам пользы не было никакой. Я буду заниматься этим и дальше, но занятие это очевидно бессмысленное.Мои скромные педагогические способности тут не при чем; будь я даже и Оскаром Зариски напополам с профессором Яу, у меня ничего не вышло бы. За эти 6 лет я не видел в Москве ни одного студента, который доучился бы до состояния, позволяющего вести научную работу (я видел довольно много хороших молодых ученых - Стефан Немировский, например - но учились они где-то в другом месте; я не знаю где, но точно не у нас). Единственная функция Независимого Университета - поставлять кадры для американских аспирантур; но и с ней он справляется, в последнее время, крайне плохо, поскольку интеллектуальный фонд истощился до полного опустошения и кердыка.Исторически, в России имели место две параллельные образовательные системы; одна из них - университетская - за 5 лет худо-бедно давала знания, которые следует иметь студенту первого года обучения; она дополняла этот материал абсолютно бессмысленным концептуальным и вычислительным баластом и просто откровенным бредом (учебник Камынина помните?) Даже те знания, которые давались университетской программой, давались ей в виде мало-осмысленных вычислительных рецептов, и в результате понимание студентом сути вещей только затруднялось. Университетская программа выпускала не математика, а калеку, который математикой не мог заниматься уже никогда; если кто-то в результате и становился математикой, то только вопреки тому, чему его учили, а не благодаря этому.Вторая программа была альтернативой, созданной Гельфандом, Маниным и иже с ними вокруг матшкол, Керосинки и семинаров Гельфанда и Манина; студент, попавший в эту структуру, к 3-4 курсу усваивал материал, соответствующий второму-третьему обучения математике (в смысле выше приводимой программы). Потом он оказывался в состоянии, которое Гельфанд охарактеризовал как бег за трамваем в попытках вскочить на его подножку; ни владения текущей литературой, ни возможности в ней ориентироваться программа Гельфанда и Манина не давала (да и библиотек, доступных студенту Керосинки, не было). Курсов, соответствовавших текущему состоянию науки, на мех-мате не читалось, кроме Манина, который избирал одну определенную область и год-два ею занимался; выпуская каждый раз 3-5 студентов, которые с тех пор и до самой смерти занимаются именно этим.Гельфанд учил, что, чтобы таки допрыгнуть до трамвая, надо ходить на семинары, заведомо непонятные, и самостоятельно пытаться разобраться в том, что там происходит. Именно таким образом люди (кому повезет) осваивали материалы года обучения с третьего по пятый мною обозначенной программы (материал пятого года, конечно, тогда не весь существовал; вместо него были модули Верма и ББГ-резольвента, сейчас, видимо, неактуальные).В последние 10 лет ситуация отчасти параллельна мною описанной. Имеются две конкурирующие программы: университетская (которая с 1980-х не изменилась, а только сократилась немного - скажем, спектральные последовательности в ней были, а сейчас их нет), и альтернативная, которой занимаются в Независимом Университете и в ИТЭФе.Но есть существенная разница - люди, которые понимают о чем идет речь в математической литературе (типа, в http://arxiv.org) в основном уехали; в результате, охват альтернативной системы сократился с середины третьего года обучения по Гельфанду и Манину до середины второго. При этом никаких ориентиров в плане дальнейшего самообразования студент не получает. Колоссальный барьер между обучением на студенческих семинарах и чтением научной литературы, который требовалось преодолевать самообразованием, увеличился с 2 лет до 4 и стал непреодолим. Вместо пропасти, второй край которой отчасти просматривается, мы имеем черную дыру, которая поглощает каждого, кто к ней приблизится.У нас нет учебных заведений, где мою программу обучения можно было бы использовать; но смысл в ней тем не менее есть. Смысл ее - в установлении приоритетов и ориентиров. Конечно, нет у нас студентов, которые в школе учат теорию Галуа и гомотопическую топологию, а на втором курсе постигли классифицирующие пространства и характеристические классы. Не то чтобы их не может быть в принципе - во времена семинаров Гельфанда и Манина такие студенты были - но факт состоит в том, что сейчас их нет; и не будет никогда, если интеллектуальный климат останется таким, как сейчас, и если мы не приложим усилий к его изменению. Программа, мною выше приведенная - есть не данность, а идеал, к которому необходимо стремиться.Студенту, если он хочет чему-нибудь выучиться, полезно время от времени поглядывать на описанный куррикулум; и сообразовать свое обучение с этой программой. Иначе кердык.
Первый курсАнализ" Лорана Шварца, "Анализ" Зорича,"Задачи и теоремы из функ. анализа" Кириллова-ГвишианиДифференциальная топология (Милнор-Уоллес),Комплексный анализ (Анри Картан), Комплексный анализ (Шабат)Второй курсГруппы и алгебры Ли (Серр)Алгебраическая топология (Фукс-Фоменко),"Векторные расслоения и их применения" (Мищенко)"Характеристические Классы" (Милнор и Сташеф)"Теория Морса" (Милнор),"Эйнштейновы Многообразия" (Артур Бессе),Коммутативная алгебра (Атья-Макдональд),Введение в алгебраическую геометрию (Мамфорд)Алгебраическая геометрия (Гриффитс и Харрис),Алгебраическая геометрия (Хартсхорн)Алгебраическая геометрия (Шафаревич)Алгебраическая теория чисел (ред. Касселс и Фрелих)Теория чисел (Боревич-Шафаревич)Когомологии Галуа (Серр)"Инварианты классических групп" (Герман Вейль)Третий курсБесконечнократные пространства петель (Адамс)К-теория (Атья)Алгебраическая топология (Свитцер)Анализ (Р. Уэллс)Формула индекса (Атья-Ботт-Патоди, сборник Математика)Гомологическая Алгебра (Гельфанд-Манин)Когомологии групп (Браун, что ли)Когомологии бесконечномерных алгебр Ли (Гельфанд-Фукс)Кэлеровы многообразия (Андрэ Вейль)Квазиконформные отображения (Альфорс)Четвертый курсГеометрическая топология (Сулливан)Этальные когомологии (Милн)Алгебраическая геометрия - обзор Данилова (Алгебраическая Геометрия 2, ВИНИТИ)Группы Шевалле (Стейнберг)Алгебраическая К-теория (Милнор)Обзор Суслина по алгебраической К-теории из 25-го тома ВИНИТИМногомерный комплексный анализ (Гото-Гроссханс)То же по книжке Демайи (перевод готовится)Пятый курсГромов "Гиперболические группы"Громов "Знак и геометрический смысл кривизны"
>>879797н петух што ты тут делаешт ты ведб даже не можешь определять тут н
>>879802>определять тут н {1,2,3,4,..}
>>876954А есть сцылка, гуглить в падлу, на заводе две смены отпахал.
>>879793Гугли сотрудников ИТЭФ, МИАН, НМУ. Это чистая математика. Прикладная -- работы сотрудников Форексиса и Яндекса. Экономическое приложение -- РЭШ, экфак/МИЭФ ВШЭ. ФУПМ/ФИВТ МФТИ, ФКН ВШЭ -- для проггеров пиздатое образование (если сам не идиот и по среднему баллу проходишь на нормальные кафедры).
>>879793А, ещё посмотри лауреатов филдсовской и абелевской премий. Статистика по первой: с 98 года 5 россиян лауреаты (двое имели гражданство США, но образование у них российское), а американцев -- только трое. Британцев двое.
>>879844Да, у нас прекрасные математики. Но с идущим прямо в пизду образованием у нас их будет всё меньше и меньше.
>>879849Если ты этот >>879793 то это уже манявры пошли...
>>879868Они не маняврируют, за манёвры 15 рублей не дают.
>>879868Это у тебя манёвры. Я лично математику по пиратским учебникам западным изучал, т.ч. содействия здесь со стороны государства я не наблюдаю.
>>879869А откуда тебе знать? Опыт работы в подобных конторах есть что ли?
>>879871Тюним параметры таких каждый день. Базарю, подкрепления от манёвров не даём.
>>879870>содействия здесь со стороны государства я не наблюдаю. Но тебя даже не посадили в тюрьму как оскорбляющего чувства верующих экстремиста-педофила и агента влияния.Так что содействие есть.
>>879716> Для слесарей онлайн курсы есть.Не знаю местных мемов, что за онлайн курсы, и что за слесари?
>>879842Яндекс в основном хуево повторяет за гуглом. Пример отсоса математиков у слесарей.
>>879932Слесарь это тот, кем ты мечтаешь стать. Онлайн курсы: https://lmgtfy.com/?q=machine+learning+online+course
Аноны, тут кто-нибудь угорает по рекуррентным нейроночкам? Как правильно сделать ввод-вывод нескольких связанных значений? Типа даёшь ей месяц, температуру, давление, осадки, а она предсказывает температуру, давление, осадки на следующий день. Где-то можно прочитать про подобную архитектуру?
>>880367Не занимаюсь, но мб скоро придётсяОчевидный weather forecasting rnnhttp://www.ijcaonline.org/archives/volume143/number11/zaytar-2016-ijca-910497.pdf
>>880367для твоей задачи любая нейроночка подойдет, хоть rnn, хоть сверточкаhttps://keras.io/layers/recurrent/там под каждой архитектурой есть ссылочки на статьи
>>880367Есть мнение (подкрепленное продом яндекс погоды), что в этой задаче лучше все пихать в хгбуст.Если хочешь нейронки - бери свертки, сильно проще учить и заходят не принципиально хуже лстмок даже в случае текстов, например.
Спасибо, аноны!
перекатывающаяся нейроночкаhttps://2ch.hk/pr/res/880548.htmlhttps://2ch.hk/pr/res/880548.htmlhttps://2ch.hk/pr/res/880548.htmlhttps://2ch.hk/pr/res/880548.htmlhttps://2ch.hk/pr/res/880548.html
>>879944Спизданул нихуя не знающий о их деятельности десятиклассник? У них дохуя научки. Ещё можешь посмотреть кафедру "интеллектуальные системы" (она при ФУПМ МФТИ и ВМК МГУ, на ВЦ РАН), там дохуя трудов научных. Думаю, по Яндексу тебе будет лень читать, поэтому заинтересую Форексисом -- тоже российская компания, исключительно в области МЛ. У них прям на сайте список их научных работ есть.
>>879796Разве независимый университет не чмошная хуита?
>>872146Участвую. Из всех игровых констант учитываю не более 10% и прошел во второй раунд, лол, даже поиск пути не запилил. Тут нихуя не работает командная тактика, о сообщениях можно забыть до финала. Код - лапша из ифов. Короче, в этом году мейловцы обосрались с заданием.
