Свобода воли

[amarao]

Обладает ли детерминированная система свободой воли?

Даже не так. Может ли существовать полностью детерминированная система у которой есть свобода воли?

К чему я?

К тому, что вывод любой LLM полностью детерминированный (если считать seed одним из внешних параметров).

Comments

[juan_gandhi]

Дык. Если внешний датчик случайных чисел не подключён - то не обладает. А если подключён... то всё равно не обладает.

[amarao]

Я начал про эту штуку думать, я попробую додумать до читаемого состояния, напишу.

Моя текущая идея, что если есть алгоритм, который требует истинного рандома и он (рандом) не может быть заменён на псевдорандом с потерей качества алгоритма, и этот алгоритм даёт преимущество AI, то нейронная сеть с таким алгоримом будет обладать неустранимой случайностью, которую можно считать неотличимой от свободы воли.

Там много шагов, и много "если", с одним интересным бранчем, если свойства этого алгоритма undecidable...

[sab123]

Если есть только одна попытка действия (т.е. нет возможности "открутить время вспять и попробовать опять") и нет возможности заранее проследить влияние засева на результат, то для всех практических целей свобода воли у нее есть.

[amarao]

Это очень большие и необычные условия. Почему это у LLM нет "второй попытки"? Почему мы не можем иметь несколько одинаковых копий работающих в параллель в одинаковых условиях ввода?

[straktor]

"хипстеры изобрели" бон мо Декарта "дайте мне координаты и скорости всех движущихся атомов и я посчитаю их будущее положение"

[amarao]

Разница состоит в том, что у Декарта это было так:

дайте мне абсолютно точные координаты и скорость каждого атома во вселенной (квантовое хаха)...

А с LLM это звучит так:

тот же самый query в ту же самую модельку с тем же самым seed'ом даёт то же самое. Всегда. Идемпотентность.

[sab123]

Например потому что поток входных данных большой, и мы не можем заранее предсказать и протестировать все, что в нем может появиться. И соответственно мы не можем предсказать все, что модель выдаст. Более того, если состояние модели зависит от предыдущих входных данных, то мы в такой ситуации даже не можем воспроизвести реакцию на какое-то входное событие без воспроизведения ВСЕГО потока с самого начала.

Еще один способ посмотреть на эту ситуацию заключается в расмсотрении состояния модели и изменений ее реакции в ответ на малые изменения этого состояния. Если модель возвращается из малых возмущений назад к какому-то статбильному подмножеству состояний, свободы воли у нее нет. А если (при вышеописанных условиях) малые возмущения могут дать большое изменение внутреннего состояния и результата, то свобода воли у нее есть. Типа как "принцип бабочки".

[amarao]

первый аргумент будет иметь смысл когда мы получим непрерывно работающую LLM, которая изменяется. Сейчас веса неизменны (хотя может проводиться дообучение, это просто создание новой сетки на базе старой). Наличие полиморфмизма будет уже важным аргументом. Но сейчас его нет.

Второй аргумент не работает: не смотря на то, что у нас может быть функция странного аттрактора или код, генерирующий фракталы, редко кто признает, что у них есть сознание. Т.е. плохая функция относительно возмущений врят ли может быть признаком сознания.

... Более того, плохая функция будет плохо обучаться, потому что все (?) алгоритмы обучения нейронок используют возмущение параметров для поиска оптимума. Если функция будет вести себя как 1/(sin x) в районе нуля, то как её обучать-то?

[sab123]

> не смотря на то, что у нас может быть функция странного аттрактора или код, генерирующий фракталы, редко кто признает, что у них есть сознание

Так мы же тут обсуждаем не сознание, а волю.

> все (?) алгоритмы обучения нейронок используют возмущение параметров для поиска оптимума.

Обучение очень сильно зависит от начального засева. Вплоть до того, что в промышленных условиях начинают тренировать сразу много моделей с разным засевом, и постепенно выбрасывают те из них, которые плохо тренируются. Соответственно, как интерполируется ответ на вопрос, которого в явном виде не было в тренировочных данных, зависит от случайностей.

Кстати, функция в нейроне как раз сильно нелинейна в районе нуля. И более того, успех тренировок сильно зависит от того, чтобы шаг тренировки позволял перескакивать локальные минимумы.