complexity => энтропия

[amarao]

Уже вторую неделю хожу с мыслью, что чем выше сложность системы, тем выше её скорость повышения энтропии. В отличие от энтропии сложность системы может понижаться (катастрофическим путём), но у меня есть странное ощущение, что общая сложность при этом всё равно вырастает (если учесть сложность системы, которая разрушила меньшую систему). И это напоминает энтропию тоже.

Закон неуменьшения сложности. Сложность можно уменьшить локально только за счёт повышения сложности где-то в другом месте.

Ничего из того, что делают люди не уменьшает сложность "вообще".

А в финале - не тепловая смерть, а окончательный оверинжиринг, который не уничтожает цивилизацию, а делает невозможным её дальнейшее развитие из-за сложности увеличения сложности.

Comments

[juan_gandhi]

Интересная идея. Есть над чем подумать.

[kondybas]

Стопицот атомов - єто всегда стопицот атомов, неважно, находятся ли они в виде турбулентніх вихрей плазмі, или в виде монокристалла. Монокристалл, разумеется, описать значительно проще, но в лапласианском смісле (как ведомость координат-импульсов) оба состояния єквивалентні.

"Сложность" есть исключительно атрибут восприятия и интерпретации. Т.е. - субьективное.

[amarao]

Вот это интересный. Вопрос. Что более сложно - гомогенный бульон из протеинов углеводов и жиров, на который светит солнце, или тот же самый бульон, но не гомогенный и занимающийся синтезом новых углеводов под воздействием света?

Формально, энтропия у "сложной" системы с водорослями ниже, чем у гомогенного бульона, но при этом энтропию он увеличивает быстрее, чем просто прогреваемый солнечным светом бульон (жизнь увеличивает энтропию быстрее, чем мёртвая ткань в тех же условиях).

[kondybas]

Я б сформулировал иначе: системі с низким уровнем єнтропии мі воспринимаем, как более сложніе. Потому что их можно структурно и функционально декомпонировать на большее количество частей.

Полезно рассматривать предельніе случаи. Я когда-то задался вопросом, как могла бі віглядеть вселенная в состоянии "тепловой смерти", с єнтропией, вікрученной на мах. И так ничего и не придумал.

[vak]

Поэтому главная рекомендация в программировании: “упрощайте”.

[amarao]

Упрощайте за чей счёт? Общая сложность же всё равно вырастет.

[permeakra]

Энтропия - это логариф числа микросостояний системы, реализующих наблюдаемое макросостояние.

====

Возьмем в качестве модели N шаров разложенных по двум ящикам. Тогда макросостояние - это сколько шаров в каждом из двух ящиков, а микросостояние - это сколькими способами можно разложить шары, чтобы получить данное макросостояние.

Тогда, если взять макросостояние - 4 шара в ящике 1, 2 шара в ящике 2, то, добавив шар в систему, мы с неизбежностью повысим и энтропию. Но! если мы возьмем состояние с нулевой энтропией - все шары в ящике один, то можно добавив шар в ящик 1 мы опять получим систему с нулевой энтропией.

====

Насчет неуменьшения сложности. Известна такая байка - задний мост москвича был сложнее заднего моста мерседеса. Потом что при производстве мерседеса детали заднего моста точились с точностью, для москвича недостижимой, и поэтому не было необходимости в дополнительных деталях, компенсирующих неточность изготовления. И хотя токари хренадцатого разряда могли точить и на уровне мерседеса, это были слишком дефицитные кадры.

Конкретика тут неважна, важен общий принцип: использование более высококлассных инструментов и/или высоклассных разработчиков. В этом смысле простейший пример - это развитая статическая система типов в языке. Она избавляет от попыток сложения яблок с метрами, и их не нужно ловить в рантайме - т.е. можно уменьшить число строк кода. Ну или можно взять гениев от разработки, которые не будут пытаться складывать яблоки с метрами, но см выше про токарей.

[amarao]

Ты говоришь про энтропию. А если мы возьмём первую производную по времени?

Какая система быстрее наращивает энтропию? Сложная или простая?

[permeakra]

система с бОльшим числом элементов. Но это разговоры в пользу бедных. Роль обычно играет удельная энтропия - а её скорость роста от числа элементов не зависит, на то она и удельная.

[amarao]

Погоди. Ты утверждаешь, что скорость нарастания энтропии не зависит от конфигурации системы?

Я тебе не верю.

Представь себе два гигантских сосуда, соединенённые тонкой дыркой. В одном давление высокое, во втором низкое.

Два сценария:

1. просто газ, сквозь дырку просачивается.
2. Развитая цивилизация, которая от энергии протекающего газа существует. Цивилизация начинает шуршать, хотеть больше энергии, дырку ковыряет целенаправленно и интенсивно.

В обоих ситуациях начальная конфигурация (по распределению вещества) одинаковая.

В какой конфигурации энтропия будет нарастать быстрее? Там, где жизнь ковыряет дырку побольше или просто протекающий газ?

[permeakra]

Ты неправильно понял.

Есть две характеристики, связанные с мерой беспорядка - общая энтропия системы и удельная энтропия, которая есть общая энтропия делить на число элементов системы. Если не стоит задачи держать общую энтропию системы в нуле или около, то на общую энтропию проще наплевать, и работать с удельной. Или, как минимум,предельно сократить зону, где нужно поддерживать нулевую энтропию.

В пересчете на ИРЛ программные системы - упарыватсья в доведение число багов до нуля (т.е. добиваться абсолютно предсказуемого поведения системы) имеет смысл только если даже одна ошибка приводит к катастрофе и система не слишком велика. В массовом обслуживании более полезно смириться с ненулевым процентом косяков и ограничить зону абсолютной предсказуемости небольшим кусочком, поддерживающим корректность данных и откатывающим данные к последнему корректному состоянию. Остальную же систему надо проектировать так, чтобы цена отказа была небольшой - и, что более важно, - чтобы случившийся отказ откатывал состояние до точки входа в отказавший модуль, но не раньше. Тогда на общую энтропию системы можно забить и ограничиться удельной - т.е. наплвать на то, что в лог постоянно сыпятся отказы, главное, чтобы на один запрос приходилось недостаточно много отказов, чтобы существенно повлиять на время обработки запроса.

[amarao]

Ты как-то сворачиваешь философскую часть.

Во-первых, мы говорим не про энтропию, а про скорость нарастания энтропии (производную по времени). Допустим, мы говорим про скорость нарастания удельной энтропии.

Она и та же груда элементов может наращивать энтропию диффузией (или её аналогом, мелким хаотичным движением). Или же та же груда элементов может наращивать энтропию быстрее, за счёт формирования и поддержания низкоэнтропийной подсистемы внутри системы. Число элементов то же, но их организация увеличивает общую (а значит, и удельную) энтропию системы быстрее.

[permeakra]

>Ты как-то сворачиваешь философскую часть.

А энтропия - не философское понятие. Поэтому философия там и не нужна.

[amarao]

О как. Не философское? Напомни, что такое энтропия? логарифм числа состояний? А что такое состояние системы? Ну-ка ну-ка...

И как ты различаешь состояния?

[permeakra]

Изначально энтропия вводилась вообще эмпирически https://en.wikipedia.org/wiki/Entropy#Reversible_process
А с развитичем физики перешли на описание через микросостояния https://en.wikipedia.org/wiki/Microstate_(statistical_mechanics)

[amarao]

> of all the individual particles or components that make up the system

Never underestimate philosophy.

Что значит "индивидуальный"? Каким образом ты знаешь, что компонент (частиц) две? Как ты понимаешь, что частица в момент времени 0 и в момент времени 0+δt - это одна и та же частица, а не другая частица?

Что значит "две"? Как ты понимаешь, что яблока два, а воды три?

[permeakra]

>Что значит "индивидуальный"?

В данном случае "индивидуальная частица" - это то, что мы таковым назначили собственным произволом и не более того.

Если тебе хочется искать где-то здесь философию, то начни с одного из главных вопросов философии: Что первично - материальное или идеальное.

[amarao]

То есть ты утверждаешь, что энтропия системы зависит от мнения о ней наблюдателя?

[permeakra]

Глобально - да. "Система" - это способ взгляда на некоторый кусок мира. Как ты его выделишь и как опишешь - такие свойства у него и будут, энтропия в т.ч.. Что проявляется если, например, мы попытаемся абстрагироваться от внутреннго устройства системы, как это происходит в классической термодинамике. Там энтропия вводится как $ d S = \delta Q / T$. Но это означает, что она определена с точностью до константы ! То же самое, кстати, относится и к энергии.

[amarao]

Я хочу подвести к следующему вопросу, что изменение энтропии, получается, тоже субъективно, потому что произодшедшие изменения (в рамках статистики) требует подсчёта этих изменений, а изменение определяется по элементам системы, что нас быстро приводит к проблеме субъективности партиционирования.

[permeakra]

Ненене. Если уж какая-то схема модель системы и подсчета энтропии принята, то в рамках модели подсчет изменения энтропии может иметь только один результат, или это негодная модель. А вот в том, как реальность отображается на модель и как строиться сама модель есть произвол исполнителя. Подчеркиваю, это не субъективность (я так вижу), а произвол (я решил, что делаем так).

[amarao]

Изменение энтропии - это субъективность? ой.

[permeakra]

Прочитай внимательно то, что я написал. ВНИМАТЕЛЬНО!