Свобода воли

[amarao]

Обладает ли детерминированная система свободой воли?

Даже не так. Может ли существовать полностью детерминированная система у которой есть свобода воли?

К чему я?

К тому, что вывод любой LLM полностью детерминированный (если считать seed одним из внешних параметров).

Comments

[amarao]

первый аргумент будет иметь смысл когда мы получим непрерывно работающую LLM, которая изменяется. Сейчас веса неизменны (хотя может проводиться дообучение, это просто создание новой сетки на базе старой). Наличие полиморфмизма будет уже важным аргументом. Но сейчас его нет.

Второй аргумент не работает: не смотря на то, что у нас может быть функция странного аттрактора или код, генерирующий фракталы, редко кто признает, что у них есть сознание. Т.е. плохая функция относительно возмущений врят ли может быть признаком сознания.

... Более того, плохая функция будет плохо обучаться, потому что все (?) алгоритмы обучения нейронок используют возмущение параметров для поиска оптимума. Если функция будет вести себя как 1/(sin x) в районе нуля, то как её обучать-то?

[sab123]

> не смотря на то, что у нас может быть функция странного аттрактора или код, генерирующий фракталы, редко кто признает, что у них есть сознание

Так мы же тут обсуждаем не сознание, а волю.

> все (?) алгоритмы обучения нейронок используют возмущение параметров для поиска оптимума.

Обучение очень сильно зависит от начального засева. Вплоть до того, что в промышленных условиях начинают тренировать сразу много моделей с разным засевом, и постепенно выбрасывают те из них, которые плохо тренируются. Соответственно, как интерполируется ответ на вопрос, которого в явном виде не было в тренировочных данных, зависит от случайностей.

Кстати, функция в нейроне как раз сильно нелинейна в районе нуля. И более того, успех тренировок сильно зависит от того, чтобы шаг тренировки позволял перескакивать локальные минимумы.