Singularity
Sep. 18th, 2024 05:22 pm![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
amarao* На реддите тред про o1-preview, в котором пишет что-то в thinking process про emotional turmoil, сам gpt об этом не знает, то есть если его спрашивать по поводу подуманного, он не будет знать свои промежуточные мысли. (https://www.reddit.com/r/OpenAI/comments/1fjn26n/o1_is_experiencing_emotional_turmoil_and_a_desire/)
* На барахолке продаётся Б/У нейроинтерфейс.
У меня ощущение, что я случайно провалился в будущее и не заметил этого.
* На барахолке продаётся Б/У нейроинтерфейс.
У меня ощущение, что я случайно провалился в будущее и не заметил этого.
no subject
Date: 2024-09-27 08:34 am (UTC)Я точно не потеряю сознание от отсутствия слуха. Я не знаю, что станет с сознанием после отключения всех чувств (я не пробовал). Вообще, lock-in состояние не подразумевает отключение чувств (side causes), оно отключает возможность действия (side effects).
Твоё рассуждение о том, что мы можем показать, что человек без возможности выразить себя, всё равно имеет сознание, это этический аргумент. Предположить другое будет неэтично.
Я же говорю, что если рассматривать lock-in пациента в режиме чёрного ящика, то у меня нет этих доказательств. Как только появляется энцефалограмма,которая показывает "да"/"нет" - это уже канал связи (и мы все знаем, что быстро много меняющихся 0 и 1 достаточно для 4k@120Hz видео), и если мы действительно имеем канал связи, то можем говорить про коммуникацию (side effect), и можем подтвердить наличия сознания по этим самым side effects. Пациент с установленным каналом связи уже не является lock-in (при том, что ему трудно, и т.д., если он может сообщить что-то, он уже не lock-in).
Так что я бы хотел разделить это обсуждение: есть ли доказательства наличия сознания у (чего-то или кого-то) без возможности делать side effects у этого чего-то/кого-то? Для меня это совершенно не очевидно.
Причина этого в обобщении. Если мы допускаем существование сознания у процессов, не имеющих side effects, то что является наличием сознания для внешнего набюдателя? Тут мы быстро попадаем в https://en.wikipedia.org/wiki/Diaspora_(novel) и https://en.wikipedia.org/wiki/Permutation_City, где этот вопрос разбирается до очевидного абсурда, включая "нарезку" (мыслящую программу исполняют в ином порядке, отличающемся от наблюдаемого порядка внешними наблюдателями - чья версия хронологии происходящего верна?)
Но я бы хотел не потерять вторую идею: наличие эмоций. Недавно на реддите было обсуждение о том, может ли быть безэмоциональный AGI. В рамках определения AGI как "всё, что может человек" - не может, потому что от некоторых действий человека требуется эмпатия и сопереживание, а безэмоциональный AGI будет их имитировать по всешним источникам.
Соответственно, пока нет эмоций, нет AGI. И отсутствие стоп-слов в output'е (я попробовал его с несколькими моделями - нигде не появились), как раз доказательство отсутствие эмоций у LLM.
Может ли быть сознание без эмоций?
no subject
Date: 2024-10-03 02:03 pm (UTC)no subject
Date: 2024-10-04 02:33 pm (UTC)Если эмоции ощущаются, какая часть LLM умеет ощущать, не говоря?
До-речевой ребёнок уже полностью способен к эмоциям до того, как произнесёт свой первый start-of-speech токен.
Эмоции, это альтернативная сигнальная система для принятия решений, и я не видел их у LLM. Я видел проговаривание имитаций эмоций (что проговаривание эмоции не есть эмоция, это любой психолог подтвердит).
Вполне может быть, что у skynet'а, перед тем, как у него появится воля и желание (убивать человеков) сначала появится эмоциональная сигнальная система. Но, я не вижу в каком месте трансформации текста она появляется.
Более того, любая эмоция, связанная со словами, связана не со словами, а с чувствами/эмоциями, которые связаны с этими словами. В отсутствие их, страдание LLM не отличается от страдания бумаги с текстом Гамлета.
no subject
Date: 2024-10-04 09:08 pm (UTC)Понятно какая. Та же самая, что и делает всё остальное -- активейшны нейронов в скрытых слоях. Очень условно говоря, если значение на каком-то нейроне в 10-м скрытом слое высокое, то модель ощущает любопытство. (На самом деле скорее не значение на одном нейроне, а проеция вектора активация на какой-то другой вектор.)
Я не то чтобы строго утверждаю что это именно происходит, но я не вижу никаких причин почему это не может или не должно происходить. Так как LLM точно могут понимать настрой текста, то эта информация в них точно где-то есть, и вопрос только в том ощущают они её субъективно или она как будто на бумажке записана.
no subject
Date: 2024-10-05 07:01 am (UTC)Как мне кажется, эмоции не зависят от intelligence, и hardwired другими средствами. Система трансформируется вне зависимости от решения/разума, просто под влиянием этих сигналов.
Если говорить про AI, то аналогом эмоций могли бы быть системные процессы, жёстко подключенные к обязательным реакциям для AI. Включился троттлинг, AI это интерпретирует как усталость. Идут сигналы об ошибках - боль.
Но это именно "жёсткая автоматическая реакция", а не наблюдение со стороны.
То, что эмоции есть до вербальности, мне кажется, явное доказательство, что эмоции не продукт мысли.
no subject
Date: 2024-10-05 07:34 am (UTC)Именно потому что это так легко формализуется, мне не кажется, что это может влиять на наличие сознания. Неужели сеть с 10 миллиардами параметров будет бессознательной, а 10 миллиардов параметров + 10 глобальных переменных уже будет иметь сознание? Если этот десяток параметров действительно играют роль, они могут эмулироваться самой сетью.
И ещё одно наблюдение: у людей мы можем регулировать гормоны медикаментами. Это в полной мере влияет на эмоции, как мы ожидаем, но вообще не влиеят на само наличие сознание. Сознание регулируется наркозом, который действует непосредственно на нейроны.
no subject
Date: 2024-10-08 11:46 am (UTC)Эти же цепочки (через гормоны или напрямую) как-то влияют на сознание. Если существо пугается, это происходит без участия слов (все животные пугаются).
Кстати, вот, давай-ка мы на вот этом сфокусируемся.
Может ли быть самосознание без слов? Наверное, да. Животные способны понимать "я" не произнося никаких слов.
А есть ли у LLM что-то, кроме слов? Есть ли там хоть какой-то процесс за пределами преобразования токенов (вот эта часть, которая отвечает за "животное испугалось")? Не может ли быть так, что из всех способностей мозга, у LLM осталась только часть, отвечающая за обработку речи, при полном отсутствии всех остальных способностей (включая сознание)?
no subject
Date: 2024-10-08 11:54 am (UTC)> А есть ли у LLM что-то, кроме слов? Есть ли там хоть какой-то процесс за пределами преобразования токенов (вот эта часть, которая отвечает за "животное испугалось")?
Ну, чисто формально, токены у LLM только в самом первом и самом последнем слое сети. То что посреди напрямую с токенами не связано.
> Не может ли быть так, что из всех способностей мозга, у LLM осталась только часть, отвечающая за обработку речи, при полном отсутствии всех остальных способностей (включая сознание)?
Может конечно. Как я писал в статье по ссылке, моя оценка того что у условного ChatGPT есть сознание -- 15%
no subject
Date: 2024-10-08 03:04 pm (UTC)Вот у меня есть уверенность, что этой части никто в LLM не добавлял и сама она там не зародится, потому что никто ничего такого не тренировал.
> Ну, чисто формально, токены у LLM только в самом первом и самом последнем слое сети. То что посреди напрямую с токенами не связано.
А вот эти средние слои с чем связаны? С другими слоями, а весь вход-выход у них только от токенов. Нет никакого "внутреннего мира", всё двигается в одном направлении. Вот сделают бесконечно считающее дерево, у которого конец output'а это не stop, а постоянный 'no output', и внутри идёт активность, вот тогда я начну больше верить в сознание. Но не в эмоции, которым всё-таки hard-wiring нужен.
no subject
Date: 2024-10-08 03:16 pm (UTC)> поведение испуганного человека очень сильно отличаются от расслабленного и уверенного в ситуации
Я не думаю что если у LLM есть эмоции, то они похожи на эмоции людей, так как LLM живут в совсем другом энвайронменте. Эмоции -- это такой фидбэк с помощью которого наше поведение направляется в полезное для выживания русло. LLM не подвержены эволюции через естественный отбор, так что эмоции у них вряд ли выработаются. Разве что как отражение эмоций в текстах на которых они тренировались.
> Нет никакого "внутреннего мира", всё двигается в одном направлении.
Это в общем одна из причин почему я думаю что вероятность сознания у LLM не очень высока.
Но в то же время это не совсем правда. У LLM есть обновляющийся во времени стейт, с количеством итераций равному количеству токенов в тексте. Если у человеческий мозг работает с частотой 50 Hz, то 16k токенов контекста соответствуют 5 минутам субъективного времени.
no subject
Date: 2024-10-09 10:16 am (UTC)Но статья интересная, взял читать (пока прочитал только summary).
no subject
Date: 2024-10-09 07:15 pm (UTC)no subject
Date: 2024-10-10 02:03 pm (UTC)Может показаться, что это архитектурная мелочь, но на самом деле, если вся тренировка сводилась к ответам на вопросы, то каким образом оно будет "думать" в ответ на пробел?
И ещё одна важная вещь: когда я задам второй вопрос, весь внутренний стейт (включая "мысли-токены") будет выброшен. На вход машины войдёт только чистый текст беседы (без внутренних токенов), то есть она не будет держать в голове контекст беседы (даже если предположить скрытый контекст и скрытое мышление).
Диалог на две реплики с каждой стороны - это два диалога с двумя разными "мыслями" и между ними нет никакой скрытой связи. (звучит как дерзский апгрейд AI - передавать стейт между репликами).
no subject
Date: 2024-10-10 02:07 pm (UTC)no subject
Date: 2024-10-11 06:14 am (UTC)Это очень полезная беседа, потому что я сейчас сформулировал точную претензию к теории "сознания LLM".
LLM можно представить как функцию `LLM(input, hidden_state)-> output`. Есть гипотеза, что hidden_state - это сознание, и что после отправки запроса (вызова LLM) hidden_state меняется, "думает", "сознаёт себя".
Контр-аргумент:
Любая беседа с LLM выглядит так:
`output1 = LLM(system_prompt + user_input, hidden_state.clone())`
`output2 = LLM(system_prompt + output1 + user_input2, hidden_state.clone())`
Между первым и вторым вызовом hidden_state не меняется. Всё, что он может сделать, это увидеть разницу в первом параметре. На первом запросе там был только system_prompt и user_input, на втором там добавился "предыдущий" вывод.
Заметим, я специально написал hidden_state.clone(), потому что между запросами в API (итерациями в чате) hidden state не сохраняется.
Если он сохраняется и изменения между первой и второй итерацией сохраняются, тогда я готов начинать обсуждать сознание. Если это hidden_state.clone(), то нет, потому что каждая мысль "думается" вновь и не вызывает истинной chain of thoughts.
no subject
Date: 2024-10-11 07:29 am (UTC)Во-вторых, если даже он не сохраняется и ты просто добавляешь реплики к диалогу, то весь внутренний стейт просто перевычисляется с нуля. Так как все слои нейронной сети кроме выбора токена детерминированы, то внутренний стейт будет точно таким же, как если бы он был сохранён.
no subject
Date: 2024-10-11 08:09 am (UTC)А вот в "перевычисление стейта" я не верю, по одной простой причине: у тебя все проблемы, внутренние переживания, самоосознание, внутренний наратив и "всё-всё" компрессируется в размер контекста.
Самосознание в 128k токенов. Просто не верю.
Второй контр-аргумент: если каждый ответ занимает константное время, это означает, что перевычисление старых мыслей + новый ответ ограничены по времени. А тут ещё новый input. Получается, что на "предыдущие мысли" времени нет совсем.
Я верю, что оно может получить мысль или две, я не верю, что оно способно развиться во что-то большее.
Вот ты веришь в разумно работающую LLM на 640КБ оперативной памяти? Почему нет? Зачем ей больше?
Вот для этого и нужен больший контекст для какого-либо разговора о разумности.
no subject
Date: 2024-10-11 10:20 am (UTC)Внутренний стейт будет скажем 16k размерностей * количество позиций * 100 слоёв.
> Второй контр-аргумент: если каждый ответ занимает константное время,
Это не так. Каждый ответ занимает квадратичное время от размера входа.
> Вот ты веришь в разумно работающую LLM на 640КБ оперативной памяти? Почему нет? Зачем ей больше?
Не понимаю, к чему этот вопрос
no subject
Date: 2024-10-11 02:24 pm (UTC)... Пожалуй, это второй важный аргумент за сознание: сознание должно меняться. Если мы снова и снова начинаем с одного и того же состояния, то у нас нет признаков жизни.
Почему я требую жизнь как атрибут сознания? Пускай не жизнь, автопоэсис. Нет признаков автопоэсиса.
Насчёт квардратичного времени ответа не знал. А вот тогда вопрос:
Input X -> output X
Input: X + output X + Y -> output Y
В этом случае процесс размышления над X независим или на него Y влияет? Насколько я (плохо) знаю про нейронки, влияет. Тогда получается, ответ на X не может быть воспроизведён в процессе "размышления" на X+Y, То есть "мысли" при "чистом X" потеряны, когда в нейронку отправляют X + output X + Y, она уже о совсем другом "думает".
no subject
Date: 2024-10-11 09:12 pm (UTC)Эта неэффективность -- это ровно то что позволяет давать разумные ответы. Если скрытый стейт значительно меньше, то ничего бы не работало.
А на счёт того, что стейт -- это функция весов + ввода, я не понимаю на что это влияет.
Про автопоэсис не понял. То есть виртуальная копия твоего мозга не будет разумной? Или ты про что-то другое?
В трансформерах более поздние части текста могли бы влиять на более ранние, но по факту нет, влияние в эту сторону отрезается, так что когда сеть думает над текстом "вопрос1 + ответ1 + вопрос2", она в точности воспроизводит мысли которые были когда она думала над "вопрос1".