________________________________
Периодически пытался поднимать вопросы формализации теории познания, но что-то обсуждение всё никак не завязывалось, а посему вот отдельный тред.
________________________________
Чем вообще обычно занимается гипотетический разум? Обычно он принимает какие-то решения о каких-то действиях. При этом разум ставит какую-то цель, которая по его прогнозу должна быть близка к резжультату, который ещё только предстоит получить. То есть разум симулирует РЕТРОПРИЧИННОСТЬ, имитируя замыкание причинно-следственных связей в кольцо, в котором цель и результат связываны через этот самый разум.
А раз самопроизвольное течение процессов от причин к следствиям в замкнутой системе идёт в сторону неубывания энтропии, значит протекающая через разум часть обратного процесса должна идти с (как минимум мнимым) НЕВОЗРАСТАНИЕМ энтропии. Иными словами она должна содержать какой-то логический анализ, отсеивающий избыток энтропии, как шумы, и оставляющий какие-то закономерности - а именно этим по существу и является ОБУЧЕНИЕ.
________________________________
Но разум опирается на информацию, которая что из себя представляет? Что-то относительно содержательное, но в остальном очень сильно зависящее от формы - по крайней мере в бытовом понимании.
В не совсем бытовом понимании есть такая штука как Колмогоровская сложность, предлагающая сравнивать объёмы "сути" фрагмента информации по минимальной длине программы, которая способна его сгенерировать. Вот только эта самая генерация упирается в вопрос языка, на котором пишется эта самая программа, и спектра его возможностей. По умолчанию подразумевается некий абстрактный язык, на котором можно описать генерацию двух сравниваемых фрагментов и который при этом не перекошен в сторону оптимизации под один из этих фрагментов, потому как на перекошенном языке описание профильной информации всегда будет короче. То есть фактически "идеальный язык" выступает некоторой абстракцией, потому что для любых двух фрагментов информации можно сделать синтетический язык, где они будут расшифровками первого и второго слов языка, обладающих самой минимальной длиной. Естественно, описывать что-то другое на таком языке будет неудобно.
Есть довольно близкая концепция Шенноновской информации, где "содержательной информацией" считается та, которую получателю сложно спрогнозировать и экстраполировать/интерполировать самому. То есть, если информация является выборкой значений функции, знание функции и способа получения выборки приближает предсказуемость к 100%, независимо от того, линейная там функция, полиномиальная, тригонометрическая или вообще так называемая односторонняя. Получается, что с одной стороны при введении взятой с потолка функции, дающей конкретный наперёд заданный вывод, вся информация сводится к имени функции и описанию выборки, по которым можно получить зашифрованный фрагмент. В то же время, если функция аналитически относительно тривиально, но неизвестна получателю информации, для него информация будет очень "неожиданна", пока он не увидит в ней закономерность.
И вот тут вот мы отходим от абстрактных языков и подходим к вопросам криптографии и сжатия данных, где на всё то же самое смотрят под другим углом. В быту под криптографией обычно понимается "обфускация" данных, но фактически она занимается их "перекодированием", а обфускация возникает уже от деталей механизма перекодирования, подразумевающих подмешивание дополнительной энтропии, усложняющей обнаружение закономерностей. Сжатие же наоборот приближает информацию к "сухой выжимке", которая в бытовом понимании неудобна для восприятия исключительно из-за того, что она не содержит изначально заложенных во фрагмет информации средств упрощения его восприятия. В общем смысле и криптография, и сжатие не предлагают абсолютно универсальных языков, а наоборот предлагают вполне конечные языки, оптимизированные под описание конкретных фрагментов информации. В алгоритмах сжатия это обычно называют "словарём", в котором "слово" для описания чего-то будет тем короче, чем чаще оно употребляется и чем сложнее его полная расшифровка - это отчасти похоже на обратный алгоритм шифрования, удаляющий из сообщения (заранее добавленные туда) излишки энтропии и заменяющий их чем-то коротким, ёмким и значимым.
И вот тут вот всплывает концепция итеративной доработки языка, где слова, допустим, являются просто порядковыми номерами для описаний функций, а сами функции описывают не только конечные отрезки, но и бесконечные последовательности, а сочетания отрезков с последовательностями дают те самые конечные выборки. Естественно первыми словами в таком языке будут описания его простейших строительных элементов, то есть условных букв, но дальше начинается занимательная балансировка между экономией длины-суммы сообщения от понижения номера функции и растратой длины-суммы сообщения от повышения номеров всех остальных функций, которые ради понижения номера этой придётся пододвинуть на единичку. И вот тут вот мы приходим к алгоритмам поиска закономерностей для отсеивания энтропии, то есть к САМООБУЧАЮЩИМСЯ алгоритмам.
________________________________
Таким образом оказывается, что самообучающийся алгоритм составления оптимального языка описания чего-то должен уметь принимать РЕШЕНИЯ о внесении изменений в словарь на основании ожидаемой выгоды от упрощения описаний. При этом на вход алгоритму подаются изначально выглядящие для него беспорядочными данные, которые можно изначально принять за описание так называемой "хаотической системы".
Теория хаоса обычно рассматривает так называемые "динамические системы", где энтропия выступает только одним из компонентов. В общем случае это многосоставные колебательные контуры, где условная "энергия" перекачивается не только между парами образующих осциляторы форм, но и между парами и группами самих осциляторов, что делает поведение системы визуально апериодичным, хотя обеспечивающие это поведение механизмы остаются теми же, что и у осциляторов.
Чтобы принять решение об обновлении словаря, нужно обнаружить закономерность. В динамических системах ситуапция, когда какая-то из подстилающих закономерностей перевешивает запас энтропии в системе и заставляет её "сколлапсировать" в какое-то "вырожденное" состояние называется КАТАСТРОФОЙ, для чего в математике существует своя отдельная теория катастроф.
________________________________
Получается, что при рассмотрении информации с точки зрения динамических систем обучением является поиск "узлов", где эта самая условно замкнутая динамическая система самопроизвольно разделяется на минимум две незамкнутые, в одной из которых происходит самопроизвольное снижение энтропии. И что тут примечательнее всего, происходит оно не обязательно из-за деятельности какого-то разума - а вот мысли какого-то разума обязательно возникают из-за подобных событий, то есть фактически это основа всего мышления.
А как уже упоминалось выше, динамические системы ведут себя так из-за того, что они на сколько-то уровней "перераспределения энергии" выше простых осциляторов - на разное для разных систем. То есть вкратце разум сидит и выжимает из своего восприятия излишки беспорядка, давая им какие-то условные обозначения - а потом повторяет всё то же самое над получившимся "словарём", чтобы вычленить закономерности более высокого уровня для изучаемой динамической системы, которые являются "закономерностями закономерностей" и позволяют упорядочивать группы правил в правила более высокого порядка, которые затем могут быть добавлены в словарь достаточно близко к его началу, чтобы от этого была выгода в виде упрощения описаний.
________________________________
Где-то там уже Гёдель с Гегелем ехидно хихикают, а мы тем временем пришли к тому, что всё вышеописанное теоретически формализуемо, механизируемо и автоматизируемо.
>значит протекающая через разум часть обратного процесса должна идти с (как минимум мнимым) НЕВОЗРАСТАНИЕМ энтропии
Не значит. Для этого надо, чтобы информация в процессе вычисления не терялась. Проще говоря в обычном компьютере, логический элемент И получает на вход два бита, и выдает один, один бит, то есть один бит теряется, т.е. на практике переходит в тепло. Чтобы этого избежать придется строить логику на других принципах с обратимыми вычислениями:
https://en.wikipedia.org/wiki/Reversible_computing
Это же относится и к человеческому мозгу, там вычисления необратимые, и информация переходит в тепло в процессе работы, увеличивая энтропию.
>Но разум опирается на информацию, которая что из себя представляет?
Энтропия - это и есть количество информации. Термодинамическая энтропия аналогична информационной. Т.е. можно, например, энтропию черной дыры радиуса N пересчитать из Джоулей на Кельвин в гигабайты, и получить теоретически максимальное количество информации, которое влезет в данный объем.
ну чтож, возможно получится неплохое обсуждение, посмотрим
тут мешают теплое с мягким
эвакуируюсь из треда
>Хаос — частный случай Порядка? Или Порядок — частный случай Хаоса?
Если ты о второй иллюстрации, то там суть в том, что обычная ветка обычной ёлки - это самопроизвольно возникающее упорядочение, которое напрямую завязано на то, что это ёлка и ветка. А выложенная из ободранной с ветки хвои диаграмма напрямую логически с веткой ёлки не связана и никак из неё не следует, а значит логическую связь между ними нужно искать где-то ещё в каком-то не очевидном на первый взгляд месте.
Вот например возьмём слово "соль". Что оно означает? А если я скажу, что оно зашифровано? Например возьмём шифр с ключом в виде последовательности букв, где каждая буква шифруемого слова сдвигается вперёд по алфавиту на алфавитный номер буквы ключа, а для расшифровки соответственно нужно сдвинуть на столько же обратно. Ключ "ывёъ" даст сдвиги на 29-3-7-28, что означает расшифровку "хлеб". Легко тебе без подсказок догадаться, что под "соль" подразумевалось "хлеб"? Можно притянуть за уши расхожее выражение "хлеб да соль" (потому что я специально так подобрал), но вообще без ключа шифрования тут только пальцем в небо тыкать, пытась угадать.
Порядок - это не сами элементы системы, а схема взаимоотношения между ними. Взаимодействия формируют причинно-следственные связи, а посему каким-то правилам они всегда подчиняются. При желании можно к любой последовательности дорисовать какую-то "условно комплиментарную", чтобы вместе они соответствовали какой-то наперёд заданной форме упорядочения. Принципиальная разница тут в том, сколько нужно дорисовывать и из чего это дорисовываемое следует - где-то можно вычленить закономерность, опираясь только на саму последовательность и связанный с ней "язык/словарь", который и служит дежурным справочником тех самых "комплиментарных последовательностей".
>>262834
>Для этого надо, чтобы информация в процессе вычисления не терялась.
Это для идеализированного случая сферической ретропричинности в вакууме, к которому разум пытается стремиться, для чего и самообучается. На практике между целью и результатом всегда есть расхождение, по которому как раз и определяется, насколько конкретный разум применительно к конкретной задаче недоучен до абсолюта.
>Проще говоря в обычном компьютере, логический элемент И получает на вход два бита, и выдает один, один бит, то есть один бит теряется, т.е. на практике переходит в тепло.
А это как раз один из простейших примеров "коллапса динамической системы", когда от определения двух входных параметров определённым автоматически становится и выходной параметр. Вычленяемая и записываемая в опыт закономерность потому и вычленяется, что она сама может быть выражена меньшим количеством бит, нежели описываемый ей фрагмент, а обозначена для удобства может быть И ЕЩЁ МЕНЬШИМ количеством бит, дабы её можно было вставить в описание "ссылкой на словарь".
Для объяснения сути энтропии на пальцах в школе обычно используют формулировку "чтобы что-то очистить, надо что-то испачкать", которая с одной стороны довольно очевидно описывает основной принцип, а с другой стороны сразу же вызывает у детей вопрос о том, а что тогда будет, если помыть грязную кружку в тазике дистиллированной воды, а потом дистиллировать эту воду ещё раз для отделения от грязи и снова помыть в ней ту же кружку, чтобы сделать её ещё чище. И в общем-то правильно дети спрашивают, потому что "самопроизвольное неубывание энтропии" распространяется только на замкнутые системы, а подведение энергии извне (например на ту же повторную дистилляцию) всё резко меняет.
>Чтобы этого избежать придется строить логику на других принципах с обратимыми вычислениями:
Если этого избежать вообще совсем абсолютно полностью, на выходе всегда будет столько же бит, сколько и на входе, а речь как раз об обратном - о получении "выжимки", которая описывает какие-то последовательности, которые в свою очередь затем можно отсеять из входных данных, дабы они своим влиянием не загораживали другие закономерности - чисто развинчивать условную последовательность данных на "последовательность суперпозиций" по аналогии с разложениями в ряды Тейлора, Фурье и прочие подобные.
>Это же относится и к человеческому мозгу, там вычисления необратимые, и информация переходит в тепло в процессе работы, увеличивая энтропию.
А ещё информация переходит в принятые решения, которые при накоплении достаточного запаса переходят в опыт, на основании которого принимаются новые решения, то есть система разделяется на уносящий избыток энтропии "контур охлаждения" и отдельную структуру для запасения производимой мыслительными процессами пониженной энтропии.
В общем случае любая система с отрицательной обратной связью имеет некоторый потенциал стать основой потенциальной ямы, то есть "точки устойчивого равновесия". А при помещени в потенциальную яму чего-то обладающего соответствующей характеру этой ямы инерцией получается осцилятор, который может хранить какую-то энергию в пределах этой самой потенциальной ямы. При этом в идеальном осциляторе энергия только переходит из одного вида в другой и обратно, не давая системе остановиться в положении равновесия, то есть удерживает систему от перехода в состояние, где эта самая энергия равномерно распределена по всем возможным формам и состояниям. В неидеальном осциляторе энергия постепенно рассеивается за счёт потерь при переходе из одной формы в другую, но только за счёт этого, а не от достижения пиковых значений между переходами.
В ещё более общем случае любую ведущую себя похожим на колебания образом систему можно рассматривать как осцилятор, вычленяя в ней те самые отрицательные обратные связи, инерцию и то, что в случае конкретной системы будет запасённой ей энергией, не дающей ей остановиться в положении устойчивого равновесия. Так вот описанный в ОП-посте мыслительный процесс по существу опирается на колебания энтропии с её переходом между несколькими разными накопитаелями, когда за счёт инерции этого процесса где-то она падает за счёт её повышения в другой части системы - а затем происходит переключение с отсечением низкоэнтропийной части системы по аналогии с импульсным преобразователем постоянного тока, где тоже сперва энергия закачивается в колебательный контур, а затем контур размыкается в момент нужных показателей на его контретных частях и замыкается на внешние элементы (грубо говоря катушка сперва медленно пропускала ток, пока в ней этого тока не набрался целый импульс, а затем этим импульсом зарядила конденсатор, но разряжаться конденсатор будет уже не на торможение тока в катушке, а на внешнюю нагрузку, тогда как в катушке тем временем будет готовиться новый импульс).
>>262835
>Энтропия - это и есть количество информации.
Энтропию удобно описывать количеством информации, но на эту самую информацию распространяются описанные Колмогоровым и Шенноном эффекты, о которых говорися в ОП-посте. На примере "хлеба" и "соли" наглядно показано, что с ростом рассматриваемого объёма данных растёт и количество обнаруживаемых в них закономерностей, которые в свою очередь снижают "видимую сложность" системы. И "наиболее ценной информацией" для разума являются как раз описания механизмов этого самого "снижения сложности", которые затем можно с некоторой степенью достоверности воспроизводить.