4-битный AI

[amarao]

В связи с релизом gpt-oss с 4-битным форматом, объяснение этого формата проще показать в виде перечисления, чем длинной простыни рассуждений.

4-битный float (MXFP4) позволяет записать следующие числа:

{-6.0, -4.0, -3.0, -2.0, -1.5, -1.0, -0.5, -0.0, 0.0, 0.5, 1.0, 1.5, 2.0, 3.0, 4.0, 6.0}

И вот вся AI вот на этом типе данных и держится. С учётом потерянного полубита в районе нуля, чую я, что троичные форматы не за горизонтом... Ну или, в этом контексте, base15. Объективная экономия 6%. Если только кто-то научится их быстро умножать и складывать...

Comments

[vak]

Отсюда понятно, почему человеческий разум может удерживать и эффективно обрабатывать максимум семь отдельных элементов. Потому что FP4 в мозгах. Мантисса больше не позволяет. 😀

[juan_gandhi]

Хм, base 15. А в чём цимес?

[sab123]

https://sab123.dreamwidth.org/775720.html про логарифмическое представление. На самом деле любые операции над 4-бтовыим числами можно легко производить в виде таблицы, там будет всего 256 вариантов.

[permeakra]

Я скорее поверю в base17 на 4 битах =). На реальных задачах тензоры и матрицы обычно разреженные (sparse), т.е. нулевое значение хранить не надо. Остается по 8 значений в обе стороны от нуля. Аккумулятор в любом случае желательно большим делать чтоб не словить переполнение.