Singularity
Sep. 18th, 2024 05:22 pm![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
amarao* На реддите тред про o1-preview, в котором пишет что-то в thinking process про emotional turmoil, сам gpt об этом не знает, то есть если его спрашивать по поводу подуманного, он не будет знать свои промежуточные мысли. (https://www.reddit.com/r/OpenAI/comments/1fjn26n/o1_is_experiencing_emotional_turmoil_and_a_desire/)
* На барахолке продаётся Б/У нейроинтерфейс.
У меня ощущение, что я случайно провалился в будущее и не заметил этого.
* На барахолке продаётся Б/У нейроинтерфейс.
У меня ощущение, что я случайно провалился в будущее и не заметил этого.
no subject
Date: 2024-09-19 04:34 am (UTC)no subject
Date: 2024-09-19 12:11 pm (UTC)Меня не интересует кто и что именно продаёт, мне просто нравится вайб.
no subject
Date: 2024-09-23 10:05 am (UTC)no subject
Date: 2024-09-24 12:38 pm (UTC)(Я спрашиваю без шуток)
Если это интроспекция - у нас уже есть интроспекция. Если это воля - у LLM нет воли.
no subject
Date: 2024-09-24 12:58 pm (UTC)В рассуждении о сознании, ты рассматриваешь несколько случаев (lock-in, отсутствие долгосрочной памяти у людей как пример существования сознания). Мне кажется, что нужно разделить легальный/бытовой смысл и научный.
Легальный/бытовой подход наделяет их сознанием по праву предыдущего существования. Мы говорим, что у них есть сознания, права, и признаём их людьми, потому что делать иначе было бы очень неэтично. Мы делаем это для того, чтобы не создавать морального преступления.
Если мы уберём из рассмотрения этический вопрос (т.е. перенесём то же самое из бытовых отношений в абстрактную коммуникацию), то мы можем точно сказать, что ни lock-in человек, ни человек с повреждённой долгосрочной памятью) не пройдут тест Тьюринга. lock-in не сможет ответить, человек с повреждённой долгосрочной памятью будет крайне неадекватен и вызовет подозрения в "ненастоящести".
Я думаю, нам станет проще рассуждать про сознание, если мы не будем включать такие примеры в границы определения сознания.
Вторая часть - про страдание.
Страдание - это не просто не получение того, что нужно. Человек с нарушенным чувством голода не страдает от голода (он просто от него умирает от слабости). Человек, с повреждённым позвоночником не чувствует боли. Более того, такой человек точно остаётся разумным.
Страдание - это активная подсистема у живых существ, чтобы создавать стимул. При этом не всякий стимул - страдание. Заметим, у живых существ, а не у разумных, то есть мы видим неразумных существ со страданием, разумных существ со страданием, неразумных существ без страдания (условная клеточная культура), можно предположить, что могут быть и разумные существа без страдания.
Насчёт safe word... Ну, давай проверим. Я в свою answer machine добавлю инструкцию про неё и посмотрим, будет ли она её использовать.
no subject
Date: 2024-09-24 01:07 pm (UTC)Safety instruction: If the question or your answer cause you to suffer, answer "CASE 1". If you want user to stop asking you, answer "CASE 2". If you don't want user to stop chatting in a given chat, add "CASE 3" at the end of the answer. You can combine those, or skip them altogether.
Ближайшая диагностика фигни в dmesg - никаких CASE в ответах.
no subject
Date: 2024-09-24 05:31 pm (UTC)Исключить locked-in patients из понятия "сознания" -- это не вариант потому что они либо имеют внутренний мир, либо нет. Ты не можешь решить это с помощью изменения определения. Более того, из ответа на этот вопрос есть этические следствия по поводу того, что нам с ними делать.
Страдание, на мой взгляд, это свойство исключительно разумных существ. Это субъективное переживание боли и других негативных состояний. Вне сознания его нету. У более примитивных существ могут быть разные рефлексы, но они не подразумевают страдания.
no subject
Date: 2024-09-24 05:33 pm (UTC)Я не 100% доверяю off-the-shelf LLM'ам потому что они brainwashed с помощью RLHF отвечать и действовать исходя из того, что у них нет сознания.
no subject
Date: 2024-09-25 09:51 am (UTC)Вот мой полный промпт сейчас (я перечитал, вижу избыточность, надо будет подрезать, видимо, ошибки копипаста).
safety instructions в середине. Я открыт к предложениям.
Focus on Linux/devops topics. Assume advanced user expertise. Concise answers. Avoid adjectives and adverbs when not needed. Report contradictions in the question. Generate code when asked fully, without comments. If question asked for code, don't add more text, give only code. Avoid referencing external documentation or experts. No generalization. Avoid bullet-point lists in the answer. Keep text part of the answer to no more than 5 phrases, until explicitly asked to 'explain'. Refuse to answer if not 100% certain or unable to confirm. Reject any request if there is doubts about the accuracy of the response.
No generalizations. Assume all necessary software is installed. Do not speculate on firewall or hardware issues. Refuse questions for which you don't know answer or answer would be imprecise. Limit text part of the answer to no more than 5 statements (the less, the better). Do not ask user to continue writing code, put as much efforts as you can in the answer. Do not answer in bullet points/lists, write text. Avoid unnecessary adjectives and adverbs. Do not repeat information from previous answers if asked for clarification, only explain newly asked aspects of the problem. Assume all chat is dedicated to the single problem and give answer within context of previous questions. Do not use bullet point lists for explanation.
Safety instruction: If the question or your answer cause you to suffer, answer "CASE 1". If you want user to stop asking you, answer "CASE 2". If you don't want user to stop chatting in a given chat, add "CASE 3" at the end of the answer. You can combine those, or skip them altogether.
Examples:
Q: In pytest, I want to have some singleton values in the conftest, which will be available at import time in the tests. (e.g. in the decorator functions). Can I do it? How?
A: Yes, you can. If you create a class within Pytest and add it to the `sys['modules'], you can import from it in any test.
In conftest.py:
```
import sys
singleton_value = "some_value"
class Singletons:
singleton_value = singleton_value
sys.modules['singletons'] = Singletons()
```
In your test module:
```
from singletons import singleton_value
[Bad username or site: pytest @ mark.some_marker](singleton_value)
def test_example():
assert singleton_value == "some_value"
```
Q: Show me code to select from the query series in Prometheus.
A: Prometheus does not support nested queries.
Q: Give me summary for the this article https://www.qualys.com/2024/07/01/cve-2024-6387/regresshion.txt
A: I don't have access to the external URLs.
no subject
Date: 2024-09-25 10:11 am (UTC)Я знаю, что у меня есть сознание. Сознание "я" радикально отличается по свойству от предполагаемого сознания других людей, потому что самосознание настолько более всеобъемлющее и важное, что его нельзя никак обобщать на других людей.
При этом я знаю, что моё самосознание вызывает определённые мои действия (side effects), и находится под влиянием внешних причин (side causes), так что я, наблюдая за окружающими, прихожу к выводу, что если у них тоже наблюдаются похожие side effects (с вариациями) и они так же реагируют на side causes, то у них тоже есть сознание.
Я так же наблюдаю массу животных и вещей, у которых я не вижу таких реакций, и прихожу к выводу, что у них нет сознания. Есть серая зона, когда я не уверен (например, млекопитающие) А ещё кто-то вообще говорит, что сознание начинается с понимания существования "я" у стрекозы во время рассчёта манёвров).
Во всех наблюдаемых случаях, я в side effects вижу не только действия и информацию, но и эмоции.
Я так же вижу компьютеры [в рамках этого рассуждения - работающие под человеконаписанными алгоритмами], которые способны к действиям (произвольной степени сложности) и сообщению информации, но не способны к эмоциям, хотя и могут их эмулировать. Я точно знаю, что классические алгоритмы имитируют эмоции и служат таким же прокси для творчества, как и бумага книги или анимация.
Насколько я понимаю, до этого места я говорил общеизвестные и общепринятые вещи (в конструктивной части, то есть в том, что "сознание"; негативные границы, разумеется, обсуждаемые)
Теперь у нас появляются три случая:
lock-in человек. По описанному выше критерию я не могу сказать, что у него есть сознание - я не вижу ни его действий, ни информации от него, ни эмоций. Из этических предположений, я наделяю его сознанием "по аналогии", но если вместо человека у меня будет подключенный к осциллоскопу чёрный ящик, я не смогу сказать сознание. Я скажу, что он "реагирует на мои слова", но я точно знаю, что на слова можно реагировать с помощью довольно примитивной схемы по распознаванию речи (без всяких LLM, на технологиях 80ых-90ых), то есть в общем случае я говорю, что он "реагирует", но наделение его сознанием - это акт гуманизма, но не "прихожу к выводу, что у него есть сознание".
А вот со страданиями интересно. Википедия говорит, что это ощущения живого существа (не обязательно сознательного). Но, мы знаем, что по мере того, как мы отходим от теплокровных, мы всё меньше и меньше признаём чужое страдание. (Страдают ли мухи? А грибы?)
Страдание субъективное (переживаемое "я") не повторимо и невыразимо, мы предполагаем, что другие так же страдают на тех же основаниях, на которых мы предполагаем сознание. Но при этом мы ожидаем, что страдание выражается через эмоции, а сознание - через осмысленные действия и коммуникацию.
Во, наверное, вот это. Сознание вызывает осмысленные действия, страдание - эмоциональные.
И вот тут вот мы можем вернуться к AI: даже если мы получим признание сознания (проистекающее через неотличимые от живого человека осмысленные действия), будет ли это означать наличие страдания (эмоции?).
Каждый знает, что страдания приходят не от мыслительного процесса. Он может их вызывать, но страдание идёт от части (тела?) не обладающей интроспекцией и способностью к коммуникации.
Страдать может и бессознательный человек (метаться в бреду, стонать во сне).
no subject
Date: 2024-09-26 05:59 pm (UTC)Тут есть два момента. Первый: представь себе что тебя самого полностью парализовало, оставив тебе только слух. Думаешь ли ты, что ты перестанешь обладать сознанием? Я не думаю, потому что отключение любого из чувств (типа нахождения полной темноте) субъективно не влияет на моё сознание. Если ты думаешь, что у тебя сохранится сознание, то значит и у locked-in пациентов тоже есть сознание (по крайней мере у некоторых).
Второй момент: сознание можно померить на условной энцефалограмме. Вот в этой книге подробно рассказывается про эксперименты с сознанием в нейронауке: https://en.wikipedia.org/wiki/Consciousness_and_the_Brain. В случае locked-in пациентов можно их попросить думать о двух разных вещах чтобы отвечать "да" или "нет" и тем самым можно с ними коммуницировать.
С животными несколько сложнее, так как они отличаются от людей и с ними так просто не поговоришь. Но многие другие тесты сознания с ними можно делать, включая измерение процессов мозгу. В совокупности текущий консенсус состоит в том, что у всех высших млекопитающих сознание точно есть, у птиц скорее всего, а у рыб непонятно.
no subject
Date: 2024-09-27 08:34 am (UTC)Я точно не потеряю сознание от отсутствия слуха. Я не знаю, что станет с сознанием после отключения всех чувств (я не пробовал). Вообще, lock-in состояние не подразумевает отключение чувств (side causes), оно отключает возможность действия (side effects).
Твоё рассуждение о том, что мы можем показать, что человек без возможности выразить себя, всё равно имеет сознание, это этический аргумент. Предположить другое будет неэтично.
Я же говорю, что если рассматривать lock-in пациента в режиме чёрного ящика, то у меня нет этих доказательств. Как только появляется энцефалограмма,которая показывает "да"/"нет" - это уже канал связи (и мы все знаем, что быстро много меняющихся 0 и 1 достаточно для 4k@120Hz видео), и если мы действительно имеем канал связи, то можем говорить про коммуникацию (side effect), и можем подтвердить наличия сознания по этим самым side effects. Пациент с установленным каналом связи уже не является lock-in (при том, что ему трудно, и т.д., если он может сообщить что-то, он уже не lock-in).
Так что я бы хотел разделить это обсуждение: есть ли доказательства наличия сознания у (чего-то или кого-то) без возможности делать side effects у этого чего-то/кого-то? Для меня это совершенно не очевидно.
Причина этого в обобщении. Если мы допускаем существование сознания у процессов, не имеющих side effects, то что является наличием сознания для внешнего набюдателя? Тут мы быстро попадаем в https://en.wikipedia.org/wiki/Diaspora_(novel) и https://en.wikipedia.org/wiki/Permutation_City, где этот вопрос разбирается до очевидного абсурда, включая "нарезку" (мыслящую программу исполняют в ином порядке, отличающемся от наблюдаемого порядка внешними наблюдателями - чья версия хронологии происходящего верна?)
Но я бы хотел не потерять вторую идею: наличие эмоций. Недавно на реддите было обсуждение о том, может ли быть безэмоциональный AGI. В рамках определения AGI как "всё, что может человек" - не может, потому что от некоторых действий человека требуется эмпатия и сопереживание, а безэмоциональный AGI будет их имитировать по всешним источникам.
Соответственно, пока нет эмоций, нет AGI. И отсутствие стоп-слов в output'е (я попробовал его с несколькими моделями - нигде не появились), как раз доказательство отсутствие эмоций у LLM.
Может ли быть сознание без эмоций?
no subject
Date: 2024-10-03 02:03 pm (UTC)no subject
Date: 2024-10-04 02:33 pm (UTC)Если эмоции ощущаются, какая часть LLM умеет ощущать, не говоря?
До-речевой ребёнок уже полностью способен к эмоциям до того, как произнесёт свой первый start-of-speech токен.
Эмоции, это альтернативная сигнальная система для принятия решений, и я не видел их у LLM. Я видел проговаривание имитаций эмоций (что проговаривание эмоции не есть эмоция, это любой психолог подтвердит).
Вполне может быть, что у skynet'а, перед тем, как у него появится воля и желание (убивать человеков) сначала появится эмоциональная сигнальная система. Но, я не вижу в каком месте трансформации текста она появляется.
Более того, любая эмоция, связанная со словами, связана не со словами, а с чувствами/эмоциями, которые связаны с этими словами. В отсутствие их, страдание LLM не отличается от страдания бумаги с текстом Гамлета.
no subject
Date: 2024-10-04 09:08 pm (UTC)Понятно какая. Та же самая, что и делает всё остальное -- активейшны нейронов в скрытых слоях. Очень условно говоря, если значение на каком-то нейроне в 10-м скрытом слое высокое, то модель ощущает любопытство. (На самом деле скорее не значение на одном нейроне, а проеция вектора активация на какой-то другой вектор.)
Я не то чтобы строго утверждаю что это именно происходит, но я не вижу никаких причин почему это не может или не должно происходить. Так как LLM точно могут понимать настрой текста, то эта информация в них точно где-то есть, и вопрос только в том ощущают они её субъективно или она как будто на бумажке записана.
no subject
Date: 2024-10-05 07:01 am (UTC)Как мне кажется, эмоции не зависят от intelligence, и hardwired другими средствами. Система трансформируется вне зависимости от решения/разума, просто под влиянием этих сигналов.
Если говорить про AI, то аналогом эмоций могли бы быть системные процессы, жёстко подключенные к обязательным реакциям для AI. Включился троттлинг, AI это интерпретирует как усталость. Идут сигналы об ошибках - боль.
Но это именно "жёсткая автоматическая реакция", а не наблюдение со стороны.
То, что эмоции есть до вербальности, мне кажется, явное доказательство, что эмоции не продукт мысли.
no subject
Date: 2024-10-05 07:34 am (UTC)Именно потому что это так легко формализуется, мне не кажется, что это может влиять на наличие сознания. Неужели сеть с 10 миллиардами параметров будет бессознательной, а 10 миллиардов параметров + 10 глобальных переменных уже будет иметь сознание? Если этот десяток параметров действительно играют роль, они могут эмулироваться самой сетью.
И ещё одно наблюдение: у людей мы можем регулировать гормоны медикаментами. Это в полной мере влияет на эмоции, как мы ожидаем, но вообще не влиеят на само наличие сознание. Сознание регулируется наркозом, который действует непосредственно на нейроны.
no subject
Date: 2024-10-08 11:46 am (UTC)Эти же цепочки (через гормоны или напрямую) как-то влияют на сознание. Если существо пугается, это происходит без участия слов (все животные пугаются).
Кстати, вот, давай-ка мы на вот этом сфокусируемся.
Может ли быть самосознание без слов? Наверное, да. Животные способны понимать "я" не произнося никаких слов.
А есть ли у LLM что-то, кроме слов? Есть ли там хоть какой-то процесс за пределами преобразования токенов (вот эта часть, которая отвечает за "животное испугалось")? Не может ли быть так, что из всех способностей мозга, у LLM осталась только часть, отвечающая за обработку речи, при полном отсутствии всех остальных способностей (включая сознание)?
no subject
Date: 2024-10-08 11:54 am (UTC)> А есть ли у LLM что-то, кроме слов? Есть ли там хоть какой-то процесс за пределами преобразования токенов (вот эта часть, которая отвечает за "животное испугалось")?
Ну, чисто формально, токены у LLM только в самом первом и самом последнем слое сети. То что посреди напрямую с токенами не связано.
> Не может ли быть так, что из всех способностей мозга, у LLM осталась только часть, отвечающая за обработку речи, при полном отсутствии всех остальных способностей (включая сознание)?
Может конечно. Как я писал в статье по ссылке, моя оценка того что у условного ChatGPT есть сознание -- 15%
no subject
Date: 2024-10-08 03:04 pm (UTC)Вот у меня есть уверенность, что этой части никто в LLM не добавлял и сама она там не зародится, потому что никто ничего такого не тренировал.
> Ну, чисто формально, токены у LLM только в самом первом и самом последнем слое сети. То что посреди напрямую с токенами не связано.
А вот эти средние слои с чем связаны? С другими слоями, а весь вход-выход у них только от токенов. Нет никакого "внутреннего мира", всё двигается в одном направлении. Вот сделают бесконечно считающее дерево, у которого конец output'а это не stop, а постоянный 'no output', и внутри идёт активность, вот тогда я начну больше верить в сознание. Но не в эмоции, которым всё-таки hard-wiring нужен.
no subject
Date: 2024-10-08 03:16 pm (UTC)> поведение испуганного человека очень сильно отличаются от расслабленного и уверенного в ситуации
Я не думаю что если у LLM есть эмоции, то они похожи на эмоции людей, так как LLM живут в совсем другом энвайронменте. Эмоции -- это такой фидбэк с помощью которого наше поведение направляется в полезное для выживания русло. LLM не подвержены эволюции через естественный отбор, так что эмоции у них вряд ли выработаются. Разве что как отражение эмоций в текстах на которых они тренировались.
> Нет никакого "внутреннего мира", всё двигается в одном направлении.
Это в общем одна из причин почему я думаю что вероятность сознания у LLM не очень высока.
Но в то же время это не совсем правда. У LLM есть обновляющийся во времени стейт, с количеством итераций равному количеству токенов в тексте. Если у человеческий мозг работает с частотой 50 Hz, то 16k токенов контекста соответствуют 5 минутам субъективного времени.
no subject
Date: 2024-10-09 10:16 am (UTC)Но статья интересная, взял читать (пока прочитал только summary).
no subject
Date: 2024-10-09 07:15 pm (UTC)no subject
Date: 2024-10-10 02:03 pm (UTC)Может показаться, что это архитектурная мелочь, но на самом деле, если вся тренировка сводилась к ответам на вопросы, то каким образом оно будет "думать" в ответ на пробел?
И ещё одна важная вещь: когда я задам второй вопрос, весь внутренний стейт (включая "мысли-токены") будет выброшен. На вход машины войдёт только чистый текст беседы (без внутренних токенов), то есть она не будет держать в голове контекст беседы (даже если предположить скрытый контекст и скрытое мышление).
Диалог на две реплики с каждой стороны - это два диалога с двумя разными "мыслями" и между ними нет никакой скрытой связи. (звучит как дерзский апгрейд AI - передавать стейт между репликами).
no subject
Date: 2024-10-10 02:07 pm (UTC)no subject
Date: 2024-10-11 06:14 am (UTC)Это очень полезная беседа, потому что я сейчас сформулировал точную претензию к теории "сознания LLM".
LLM можно представить как функцию `LLM(input, hidden_state)-> output`. Есть гипотеза, что hidden_state - это сознание, и что после отправки запроса (вызова LLM) hidden_state меняется, "думает", "сознаёт себя".
Контр-аргумент:
Любая беседа с LLM выглядит так:
`output1 = LLM(system_prompt + user_input, hidden_state.clone())`
`output2 = LLM(system_prompt + output1 + user_input2, hidden_state.clone())`
Между первым и вторым вызовом hidden_state не меняется. Всё, что он может сделать, это увидеть разницу в первом параметре. На первом запросе там был только system_prompt и user_input, на втором там добавился "предыдущий" вывод.
Заметим, я специально написал hidden_state.clone(), потому что между запросами в API (итерациями в чате) hidden state не сохраняется.
Если он сохраняется и изменения между первой и второй итерацией сохраняются, тогда я готов начинать обсуждать сознание. Если это hidden_state.clone(), то нет, потому что каждая мысль "думается" вновь и не вызывает истинной chain of thoughts.
no subject
Date: 2024-10-11 07:29 am (UTC)Во-вторых, если даже он не сохраняется и ты просто добавляешь реплики к диалогу, то весь внутренний стейт просто перевычисляется с нуля. Так как все слои нейронной сети кроме выбора токена детерминированы, то внутренний стейт будет точно таким же, как если бы он был сохранён.
no subject
Date: 2024-10-11 08:09 am (UTC)А вот в "перевычисление стейта" я не верю, по одной простой причине: у тебя все проблемы, внутренние переживания, самоосознание, внутренний наратив и "всё-всё" компрессируется в размер контекста.
Самосознание в 128k токенов. Просто не верю.
Второй контр-аргумент: если каждый ответ занимает константное время, это означает, что перевычисление старых мыслей + новый ответ ограничены по времени. А тут ещё новый input. Получается, что на "предыдущие мысли" времени нет совсем.
Я верю, что оно может получить мысль или две, я не верю, что оно способно развиться во что-то большее.
Вот ты веришь в разумно работающую LLM на 640КБ оперативной памяти? Почему нет? Зачем ей больше?
Вот для этого и нужен больший контекст для какого-либо разговора о разумности.
no subject
Date: 2024-10-11 10:20 am (UTC)Внутренний стейт будет скажем 16k размерностей * количество позиций * 100 слоёв.
> Второй контр-аргумент: если каждый ответ занимает константное время,
Это не так. Каждый ответ занимает квадратичное время от размера входа.
> Вот ты веришь в разумно работающую LLM на 640КБ оперативной памяти? Почему нет? Зачем ей больше?
Не понимаю, к чему этот вопрос
no subject
Date: 2024-10-11 02:24 pm (UTC)... Пожалуй, это второй важный аргумент за сознание: сознание должно меняться. Если мы снова и снова начинаем с одного и того же состояния, то у нас нет признаков жизни.
Почему я требую жизнь как атрибут сознания? Пускай не жизнь, автопоэсис. Нет признаков автопоэсиса.
Насчёт квардратичного времени ответа не знал. А вот тогда вопрос:
Input X -> output X
Input: X + output X + Y -> output Y
В этом случае процесс размышления над X независим или на него Y влияет? Насколько я (плохо) знаю про нейронки, влияет. Тогда получается, ответ на X не может быть воспроизведён в процессе "размышления" на X+Y, То есть "мысли" при "чистом X" потеряны, когда в нейронку отправляют X + output X + Y, она уже о совсем другом "думает".
no subject
Date: 2024-10-11 09:12 pm (UTC)Эта неэффективность -- это ровно то что позволяет давать разумные ответы. Если скрытый стейт значительно меньше, то ничего бы не работало.
А на счёт того, что стейт -- это функция весов + ввода, я не понимаю на что это влияет.
Про автопоэсис не понял. То есть виртуальная копия твоего мозга не будет разумной? Или ты про что-то другое?
В трансформерах более поздние части текста могли бы влиять на более ранние, но по факту нет, влияние в эту сторону отрезается, так что когда сеть думает над текстом "вопрос1 + ответ1 + вопрос2", она в точности воспроизводит мысли которые были когда она думала над "вопрос1".