ансибловая боль
Jun. 17th, 2023 11:02 am![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
amaraoОтлаживаю почему ассерты медленные.
import_playbook стоит 100мс. Кадждый. То есть три плейбуки раздельно на 240мс быстрее, чем плейбука, которая в конце делает импорт двух остальных.
Сами ассерты - это какой-то ппц. Математика на группах 130мс (математика: assert that group.foo|d( [] ) intersect groups.bar |d ()). 130мс. На процессоре с частотой 4ГГц. Это 500 миллионов инструкций, чтобы обработать пересечение групп с ~50 строк в худшем случае. Ассерт на каждый хост при 50 хостах - 50*0.1 = 5с потерянного времени. Ассерт перед каждым приложением - 5*50 = 250с. Да, алгоритмически это квадрат, или даже куб, но мы говорим про 50 штук. 50**3 = 125000. Сколько нужно времени современному процессору, чтобы чихнуть 125 тысяч раз?
... Но не в ансибле. И я решаю не микрооптимизацию рендеринга кадра на 144Гц, а конкретные лишние несколько минут в пайплайне.
(и нет, митоген замедляет ассерты, это известный феномен).
import_playbook стоит 100мс. Кадждый. То есть три плейбуки раздельно на 240мс быстрее, чем плейбука, которая в конце делает импорт двух остальных.
Сами ассерты - это какой-то ппц. Математика на группах 130мс (математика: assert that group.foo|d( [] ) intersect groups.bar |d ()). 130мс. На процессоре с частотой 4ГГц. Это 500 миллионов инструкций, чтобы обработать пересечение групп с ~50 строк в худшем случае. Ассерт на каждый хост при 50 хостах - 50*0.1 = 5с потерянного времени. Ассерт перед каждым приложением - 5*50 = 250с. Да, алгоритмически это квадрат, или даже куб, но мы говорим про 50 штук. 50**3 = 125000. Сколько нужно времени современному процессору, чтобы чихнуть 125 тысяч раз?
... Но не в ансибле. И я решаю не микрооптимизацию рендеринга кадра на 144Гц, а конкретные лишние несколько минут в пайплайне.
(и нет, митоген замедляет ассерты, это известный феномен).
no subject
Date: 2023-06-17 10:30 am (UTC)no subject
Date: 2023-06-17 11:19 am (UTC)Мы не знаем, что там за кишки. Однажды я чинил каталиста в спарке. Там выяснилось, что если формула с двумя переменными, а в датасете 1000 колонок, то мудрый каталист строит AST на миллион нодов. Ну типа все комбинации. Ну и не влазило. Починить было раз плюнуть, кстати.
no subject
Date: 2023-06-17 06:29 pm (UTC)Я уточнил, это не ассерты медленные, это import_playbook медленный. А у него есть Глубокие Причины - перечитывание group/host vars, переинициализация чёрта в ступе. Так что 500мс на import. Компьютеры, которые мы заслужили. In your face M2 Ultra (которого у меня нет, да и не поможет особо).