4-битный AI

[amarao]

В связи с релизом gpt-oss с 4-битным форматом, объяснение этого формата проще показать в виде перечисления, чем длинной простыни рассуждений.

4-битный float (MXFP4) позволяет записать следующие числа:

{-6.0, -4.0, -3.0, -2.0, -1.5, -1.0, -0.5, -0.0, 0.0, 0.5, 1.0, 1.5, 2.0, 3.0, 4.0, 6.0}

И вот вся AI вот на этом типе данных и держится. С учётом потерянного полубита в районе нуля, чую я, что троичные форматы не за горизонтом... Ну или, в этом контексте, base15. Объективная экономия 6%. Если только кто-то научится их быстро умножать и складывать...

Comments

[permeakra]

Я скорее поверю в base17 на 4 битах =). На реальных задачах тензоры и матрицы обычно разреженные (sparse), т.е. нулевое значение хранить не надо. Остается по 8 значений в обе стороны от нуля. Аккумулятор в любом случае желательно большим делать чтоб не словить переполнение.

[amarao]

Какие задачи реальные? AI-ку считать - реальная задача? Сложная вычислительная задача?

[permeakra]

> AI-ку считать - реальная задача?

Да.

>Сложная вычислительная задача?

Зависит от размера модели и конкретной задачи.

[amarao]

Ну, классическое, 20B параметров, 120B параметров. Ну и ввод на 20-30к токенов.

[permeakra]

Если это не обучение, то по нынешним временам это не HPC *в том понимании, к которому я привык*. Лично я привык относить к HPC системы под задачи, которые подразумевают рабочие множества от терабайта, которые на кластере на пару тысяч ядер общего назначения надо гонять часы и дни. Например ab initio обсчет прогноза погоды на пару недель.

Вот обучение модели с последующим её остругиванием - может быть и HPC.

[amarao]

Я говорю про inference.

Допустим, запустили задачу в agentic mode с subagents и она пишет код бегает часы, а то и дни.

Общего назначения кластер там, или H200 в потолок перемножением матриц загружена, это вопрос деталей реализации. Просто нужно перемножить 8e+18 матриц и всё тут. Чем быстрее, тем лучше.

[permeakra]

Для тебя как пользователя это детали реализации. А для организации процесса там есть разница.

Если, грубо говоря, у тебя рабочее множество помещается в память одной машины - это один коленкор. Если нет и тебе нужно творчески его распределять по нодам кластера - совершенно другой.