Singularity

[amarao]

* На реддите тред про o1-preview, в котором пишет что-то в thinking process про emotional turmoil, сам gpt об этом не знает, то есть если его спрашивать по поводу подуманного, он не будет знать свои промежуточные мысли. (https://www.reddit.com/r/OpenAI/comments/1fjn26n/o1_is_experiencing_emotional_turmoil_and_a_desire/)

* На барахолке продаётся Б/У нейроинтерфейс.

У меня ощущение, что я случайно провалился в будущее и не заметил этого.

Comments

[eterevsky]

Процесс испуга перед выделением адреналина вообще не относится к сознанию. Увидел визуальный паттерн похожий на змею => испугался. В случае конкретно LLMs в точности этого нету, но вот системы распознавания образов работают похоже.

> А есть ли у LLM что-то, кроме слов? Есть ли там хоть какой-то процесс за пределами преобразования токенов (вот эта часть, которая отвечает за "животное испугалось")?

Ну, чисто формально, токены у LLM только в самом первом и самом последнем слое сети. То что посреди напрямую с токенами не связано.

> Не может ли быть так, что из всех способностей мозга, у LLM осталась только часть, отвечающая за обработку речи, при полном отсутствии всех остальных способностей (включая сознание)?

Может конечно. Как я писал в статье по ссылке, моя оценка того что у условного ChatGPT есть сознание -- 15%

[amarao]

Испуг относится к нервной деятельности, но не к сознанию (сознание тоже может пугать, но это явно переиспользование существующих механизмов). Главное же не в том, как оно змею находит, а что оно делает с сознанием. Оно точно что-то делает, потому что решения и поведение испуганного человека очень сильно отличаются от расслабленного и уверенного в ситуации.

Вот у меня есть уверенность, что этой части никто в LLM не добавлял и сама она там не зародится, потому что никто ничего такого не тренировал.


> Ну, чисто формально, токены у LLM только в самом первом и самом последнем слое сети. То что посреди напрямую с токенами не связано.

А вот эти средние слои с чем связаны? С другими слоями, а весь вход-выход у них только от токенов. Нет никакого "внутреннего мира", всё двигается в одном направлении. Вот сделают бесконечно считающее дерево, у которого конец output'а это не stop, а постоянный 'no output', и внутри идёт активность, вот тогда я начну больше верить в сознание. Но не в эмоции, которым всё-таки hard-wiring нужен.

[eterevsky]

https://arxiv.org/abs/2404.15758 -- пожалуйста, модель думает не генерируя токены

> поведение испуганного человека очень сильно отличаются от расслабленного и уверенного в ситуации

Я не думаю что если у LLM есть эмоции, то они похожи на эмоции людей, так как LLM живут в совсем другом энвайронменте. Эмоции -- это такой фидбэк с помощью которого наше поведение направляется в полезное для выживания русло. LLM не подвержены эволюции через естественный отбор, так что эмоции у них вряд ли выработаются. Разве что как отражение эмоций в текстах на которых они тренировались.

> Нет никакого "внутреннего мира", всё двигается в одном направлении.

Это в общем одна из причин почему я думаю что вероятность сознания у LLM не очень высока.

Но в то же время это не совсем правда. У LLM есть обновляющийся во времени стейт, с количеством итераций равному количеству токенов в тексте. Если у человеческий мозг работает с частотой 50 Hz, то 16k токенов контекста соответствуют 5 минутам субъективного времени.

[amarao]

За ссылку спасибо. Насколько я понимаю, это всё ещё процесс "от ввода до вывода", задали вопрос, оно думает. Не задали вопрос - не думает. Это сильно отличается от мыслительного процесса человека, в котором внешние сигналы (включая вопрос) лишь подмешиваются в мыслительный процесс, а не являются его единственным источником.

Но статья интересная, взял читать (пока прочитал только summary).

[eterevsky]

Мне кажется то что он начинает думать только когда токены приходят, ничего не меняет. Ну будем мы предположим раз в секунду слать ему пробелы, когда текста нет, будет он думать постоянно.

[amarao]

С точки зрения сознания, как мне кажется, меняется очень много. Ключевой момент, что в существующих системах идёт жёсткая тренировка на "ответ", и ресурса на "подумать" (в ответ на тактовую частоту в форме периодического пробелма) просто нет.

Может показаться, что это архитектурная мелочь, но на самом деле, если вся тренировка сводилась к ответам на вопросы, то каким образом оно будет "думать" в ответ на пробел?

И ещё одна важная вещь: когда я задам второй вопрос, весь внутренний стейт (включая "мысли-токены") будет выброшен. На вход машины войдёт только чистый текст беседы (без внутренних токенов), то есть она не будет держать в голове контекст беседы (даже если предположить скрытый контекст и скрытое мышление).

Диалог на две реплики с каждой стороны - это два диалога с двумя разными "мыслями" и между ними нет никакой скрытой связи. (звучит как дерзский апгрейд AI - передавать стейт между репликами).

[eterevsky]

Погоди, мне кажется ты думаешь, что Attention в трансформерах работает только непосредственно по эмбеддингам токенов. Это не так. Там десятки слоёв и в каждом есть attention на предыдущие скрытые стейты. Это всё равно работает не совсем как у человека, потому что на каждом этапе сеть видит все предыдущие стейты, а не только один фиксированный стейт как в LSTM или GRU, но мне неочевидно, почему это не совместимо с сознанием.

[amarao]

Да, я считаю, что скрытые слои реагируют только на предыдущие слои, которые реагируют на входные токены.

Это очень полезная беседа, потому что я сейчас сформулировал точную претензию к теории "сознания LLM".

LLM можно представить как функцию `LLM(input, hidden_state)-> output`. Есть гипотеза, что hidden_state - это сознание, и что после отправки запроса (вызова LLM) hidden_state меняется, "думает", "сознаёт себя".

Контр-аргумент:

Любая беседа с LLM выглядит так:

`output1 = LLM(system_prompt + user_input, hidden_state.clone())`
`output2 = LLM(system_prompt + output1 + user_input2, hidden_state.clone())`

Между первым и вторым вызовом hidden_state не меняется. Всё, что он может сделать, это увидеть разницу в первом параметре. На первом запросе там был только system_prompt и user_input, на втором там добавился "предыдущий" вывод.

Заметим, я специально написал hidden_state.clone(), потому что между запросами в API (итерациями в чате) hidden state не сохраняется.

Если он сохраняется и изменения между первой и второй итерацией сохраняются, тогда я готов начинать обсуждать сознание. Если это hidden_state.clone(), то нет, потому что каждая мысль "думается" вновь и не вызывает истинной chain of thoughts.

[eterevsky]

Во-первых, он может сохраняться к примеру в этом API: https://platform.openai.com/docs/assistants/quickstart

Во-вторых, если даже он не сохраняется и ты просто добавляешь реплики к диалогу, то весь внутренний стейт просто перевычисляется с нуля. Так как все слои нейронной сети кроме выбора токена детерминированы, то внутренний стейт будет точно таким же, как если бы он был сохранён.

[amarao]

Пересохранение внутреннего стейта - это интересно.

А вот в "перевычисление стейта" я не верю, по одной простой причине: у тебя все проблемы, внутренние переживания, самоосознание, внутренний наратив и "всё-всё" компрессируется в размер контекста.

Самосознание в 128k токенов. Просто не верю.

Второй контр-аргумент: если каждый ответ занимает константное время, это означает, что перевычисление старых мыслей + новый ответ ограничены по времени. А тут ещё новый input. Получается, что на "предыдущие мысли" времени нет совсем.

Я верю, что оно может получить мысль или две, я не верю, что оно способно развиться во что-то большее.

Вот ты веришь в разумно работающую LLM на 640КБ оперативной памяти? Почему нет? Зачем ей больше?

Вот для этого и нужен больший контекст для какого-либо разговора о разумности.

[eterevsky]

> Самосознание в 128k токенов. Просто не верю.

Внутренний стейт будет скажем 16k размерностей * количество позиций * 100 слоёв.

> Второй контр-аргумент: если каждый ответ занимает константное время,

Это не так. Каждый ответ занимает квадратичное время от размера входа.

> Вот ты веришь в разумно работающую LLM на 640КБ оперативной памяти? Почему нет? Зачем ей больше?

Не понимаю, к чему этот вопрос

[amarao]

Внутренний стейт - это всего лишь параметр в input + static, вся вариативность - функция от input'а. Каким бы большим static не был, это не сознание (поскольку он не меняется), а всего лишь неэффективность системы.

... Пожалуй, это второй важный аргумент за сознание: сознание должно меняться. Если мы снова и снова начинаем с одного и того же состояния, то у нас нет признаков жизни.

Почему я требую жизнь как атрибут сознания? Пускай не жизнь, автопоэсис. Нет признаков автопоэсиса.

Насчёт квардратичного времени ответа не знал. А вот тогда вопрос:

Input X -> output X

Input: X + output X + Y -> output Y

В этом случае процесс размышления над X независим или на него Y влияет? Насколько я (плохо) знаю про нейронки, влияет. Тогда получается, ответ на X не может быть воспроизведён в процессе "размышления" на X+Y, То есть "мысли" при "чистом X" потеряны, когда в нейронку отправляют X + output X + Y, она уже о совсем другом "думает".

[eterevsky]

> Внутренний стейт - это всего лишь параметр в input + static, вся вариативность - функция от input'а. Каким бы большим static не был, это не сознание (поскольку он не меняется), а всего лишь неэффективность системы.

Эта неэффективность -- это ровно то что позволяет давать разумные ответы. Если скрытый стейт значительно меньше, то ничего бы не работало.

А на счёт того, что стейт -- это функция весов + ввода, я не понимаю на что это влияет.

Про автопоэсис не понял. То есть виртуальная копия твоего мозга не будет разумной? Или ты про что-то другое?

В трансформерах более поздние части текста могли бы влиять на более ранние, но по факту нет, влияние в эту сторону отрезается, так что когда сеть думает над текстом "вопрос1 + ответ1 + вопрос2", она в точности воспроизводит мысли которые были когда она думала над "вопрос1".