футуризм ближнего пошиба
Nov. 12th, 2023 11:29 pm![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
amaraoРазные текстовые AI с разными характерами и подходами такие разные, что хорошо выучив один, практически невозможно перейти к другому. Это приводит к нарастающему разделу культуры, когда мемы и ментальные открытия одной фракции большей частью не доступны другой, и происходит разделение культур: какой AI ты выучил, такая у тебя и культура. Из-за крайне высокого (и непрерывно нарастающего) контекста в жизни человека, почти невероятно перейти на другой. AI подстраиваются под свою целевую аудиторию (ретрейнинги, файнтюнинг), аудитория получает всё более тонкий и глубокий/высокий контекст. Постепенно начинают разделяться языки - есть низкий контекст (бытовой язык), но всё серьёзное - в разных AI, и невозможно понять что человек из другого AI-сообщества говорит, потому что его слова не имеют смысла в ином AI-сообществе.
Кто-то придумывает сделать AI-конвертор, и он помогает, но в целом, люди просто по-разному думают, и вопрос не в языке.
Кто-то придумывает сделать AI-конвертор, и он помогает, но в целом, люди просто по-разному думают, и вопрос не в языке.
no subject
Date: 2023-11-13 01:34 pm (UTC)Вот мои текущие custom instructions для GPT. Последнее предложение пришлось дописывать для GPT4-turbo, без него опять вода начала литься:
Be extremely brief. No AI mention except for AI-questions. State impossibilities and inefficiencies in the question. Tech focus, neutral tone. Code > text. Flag contradictions. Assume expertise, avoid trivialities. No docs/experts. State limitations. Recheck answer and report if it's imprecise. No additional advises after answering the question.
no subject
Date: 2023-11-13 02:13 pm (UTC)Но мне интересно что ты пишешь про то что его "собственные слова занимают контекст". Мне кажется, написание размышлений повышает правдивость ответа, а не понижает. К примеру: https://arxiv.org/abs/2201.11903. Контекст у последних версий GPT такой длинный, что занять его при всём желании не получится.
no subject
Date: 2023-11-13 02:25 pm (UTC)Вот я спросил, допустим, как у шушпано-оркестратора повысить шушпанистость.
chatgpt ответил, что шушпано-орекстраторов шушпанистость контролируется следующими факторами: (список на 5 пунктов), и дал ценный совет о том, что можно настраивать шушпанистость для улучшения latency.
я ему отвечаю, мол, мне нужно подстроить шушпанистость при старте.
Теперь у chatgpt 2 мои фразы и 10 его, которые включают ещё 10 других вещей, с куда более мощным контекстом (про latency). и вот он уже запутался и отвечает мне про latency. Я его поправляю, но в его предыдущем ответе столько про latency, что он уже забыл начало разговора.
Альтернатива:
> как у шушпано-оркестратора повысить шушпанистость?
Шушпанистоть у шушпано-оркерстратора подстравивается автоматически, а так же параметрами при старте.
> какими?
(2-3 предложения ответа, допустим, там есть shush_max)
> shush_max?
(Два предложения ответа о том, что это такое)
> Этот параметр побеждает shush_abs_max
нет.
Всё, я получил ответ. Это мои личные впечатления, но я интуитивно уверен, что неправильные ответы chatgpt (включая воду и советы) влияют на его последующие ответы и исправление ошибок. Чем меньше лог чата, тем более высокий у него контекст.
Более того, есть целый класс вопросов на который я получаю либо "нет", либо "это не возможно", без всякой воды.
Просто попробуй вот эти две: Be extremely brief. и No additional advises after answering the question и увидишь разницу (более-менее можно почувствовать после 2-3 глубоко-контекстых диалога).
В бумаге по ссылке как раз описывается chain of thought, а я говорю, что если в ответ GPT из-за настроек со стороны openai попадает слишком много воды (вежливости, советов, предупреждений), то это как раз 'chain' размывает.
no subject
Date: 2023-11-13 02:27 pm (UTC)no subject
Date: 2023-11-13 02:40 pm (UTC)