4-битный AI

[amarao]

В связи с релизом gpt-oss с 4-битным форматом, объяснение этого формата проще показать в виде перечисления, чем длинной простыни рассуждений.

4-битный float (MXFP4) позволяет записать следующие числа:

{-6.0, -4.0, -3.0, -2.0, -1.5, -1.0, -0.5, -0.0, 0.0, 0.5, 1.0, 1.5, 2.0, 3.0, 4.0, 6.0}

И вот вся AI вот на этом типе данных и держится. С учётом потерянного полубита в районе нуля, чую я, что троичные форматы не за горизонтом... Ну или, в этом контексте, base15. Объективная экономия 6%. Если только кто-то научится их быстро умножать и складывать...

Comments

[sab123]

1.5 - это третье от нуля положительное число. То есть, видимо, 0011 в двоичном виде. А результат, 3 - это пятое число, то есть 0101. Нам надо сделать вычисление 0011 + 0011 = 0101. Логическая формула для этого вычисления будет:

z0 = z2 = x0 & x1 & ~x2 & ~x3 & y0 & y1 & ~y2 & ~y3
z1 = z3 = ~(x0 & x1 & ~x2 & ~x3 & y0 & y1 & ~y2 & ~y3)

Другие варианты добавятся дизъюнктивно из других вычислений всех возможных входных пар, после чего формулы будет можно упростить через вынеcение общего за скобки.

[kondybas]

Как-то непохоже єто на вічисление, на мой дилетантский взгляд. Больше похоже на адресацию в таблично заданной фции. Насчет упрощения имеется в виду что-то вроде
z0 = ~z1 = z2 = ~z3 = (x0 & x1 & ~x2 & ~x3 & y0 & y1 & ~y2 & ~y3)
или более существенное?

[sab123]

Начинается с того, что пишутся все 256 возможных комбинаций. Потом для каждого бита результата смотрим, в каких из комбинаций он будет единицей (с нулями смотреть не надо - этих я привел только по случаю того, что н епривел 256 комбинаций). Записываем все эти комбинации как конъюнкции (как я показал) и соединяем в дизъюнкцию - это будет Дизъюнктивная Нормальная Форма для этого бита результата. ПЗУ (таблица) реализует тупо ее в лоб. Если реализовывать логикой, то начинаем выносить за скобки общие множители, чтобы упростить функцию (для классических способов оптимизации - см. карты Карно). В том числе при наличии нескольких битов результата можно выносить общие подвыражения из вычисления нескольких битов.