amarao

Людям, которые не понаслышке знают про дырки в секьюрити и как они устроены (buffer overruns, exploits и все такое) будет очень интересно прочитать подробный отчет Anthropic о их новой модели Mythos, с помощью которой они нашли тысячи уязвимостей в опен-сорс проектах за последние пару месяцев (Антропик не собирается пока что предоставлять широкой публике доступ к Mythos).

В тексте отчета подробно разбирают несколько багов. Возьмите для примера zero-day уязвимость в OpenBSD, которая позволяла крашнуть любой сервер OpenBSD, подключенный к интернету. Баг находился в tcp-input.c, файле обработки TCP-пакетов, этот файл обсматривали и проверяли на предмет уязвимостей десятки или сотни глаз и автоматических программ-анализаторов за последние десятки лет; тем не менее за 27 лет этот баг не обнаружили. Он довольно хитроумно соединяет два разных недочета в разных местах в коде, позволяющие с одной стороны ввести отрицательный номер пакета (бессмысленно, но в том конкретном месте не опасно), а с другой сделать его отрицательным и таким большим по модулю, чтобы сработал 32-битный overflow, и код ядра запутался, одновременно удаляя единственную запись в связном списке и добавляя новую. Попытка писать по NULL-указателю - сервер капут.

Теперь смотрите какое дело. В файле tcp-input.c больше 4000 строк кода, и он занимается кучей других вещей, кроме менеджмента списка "SACK-дырок", в котором найден этот баг. Но предположим, кто-то посадил бы меня за исходники и сказал: "я подозреваю, что в этом файле есть уязвимость, связанная с SACK-информацией в приходящих пакетах, которой можно воспользоваться. Посмотри, можешь ли ты ее найти; не забывай проверить все обычные места, где прячутся такие баги - edge cases структур данных, отрицательные значения числовых типов, overflow, overrun буферов итд. итп." Нашел бы я тогда за день-два-три этот баг? Вполне возможно, что нашел бы.

Ни у кого нет бюджета и мотивации платить много денег мне или другим компетентным программистам, чтобы они проводили кучу времени за очень скрупулезным обследованием конкретных кусков кода - не просто OpenBSD, не просто ядро OpenBSD, не просто сетевой код ядра OpenBSD, не просто TCP-опции входящего пакета, а конкретно SACK-дырки TCP-потока - при том, что неизвестно, есть там уязвимость или нет.

Но нет никакой проблемы запустить один достаточно умный (может, не AGI, но для этих целей достаточно умный) ИИ-агент, чтобы он разобрал по частям файл tcp-input.c и построил программу проверки из 10-20 отдельных частей, одна из которых SACK-дырки. И чтобы он потом запустил 10-20 отдельных ИИ-агентов, каждому из которых сказал смотреть на свою часть и искать там уязвимость. И если они достаточно умные - а в Claude Mythos этот порог, очевидно, перейден - тот из них, кому поручили на SACK-дырки смотреть, найдет этот баг. А остальные 19 сожгут зря немного токенов, ничего страшного (и не думайте, что они нагаллюционируют несуществующие баги и займут зря ваше время - дополнительный агент-судья с этим неплохо справится).

Если у вас есть компетентный программист, который может компетентно разобрать один файл исходников, то у вас нет миллиона компетентных программистов, которые могут компетентно разобрать миллион файлов исходников. Но если у вас есть компетентный ИИ-агент, который может разобрать один файл, то у вас есть миллион компетентных ИИ-агентов, которые могут разобрать миллион файлов. Важность этого обстоятельства, мне кажется, люди до сих пор очень плохо понимают.

Дарио Амодей, CEO Антропик (компании, к-я выпускает ИИ Клод):

"Меня удивляет, что мы, на мой взгляд, так близки к тому, чтобы эти модели достигли уровня человеческого интеллекта, и при этом в обществе, похоже, нет широкого осознания того, что вот-вот произойдёт. Как будто на нас надвигается цунами — оно так близко, мы уже видим его на горизонте, — и тем не менее люди придумывают объяснения вроде: «Да нет, это не цунами на самом деле. Это просто обман зрения».

И я думаю, что вместе с этим не возникло и общественного осознания рисков. А значит, правительства не предприняли мер для их устранения. Существует даже идеология, согласно которой нужно просто ускоряться как можно быстрее. И я понимаю преимущества этой технологии — я написал «Машины любящей благодати», — но, на мой взгляд, не произошло должного осознания рисков этой технологии, и уж тем более не было предпринято никаких действий."

месяц назад на подкасте у Nikihl Kamath (21:00)

Какое-то время назад Ютуб показал мне отрывок из фильма "Who am I?" с Джеки Чаном, который я целиком не видел. Там отличная сцена драки на крыше многоэтажного дома, замечательно поставленная и с юмором. Но ближе к началу там есть место, когда один из злодеев вступает в драку, а перед этим хрустит суставами ног, рук и... шеи? То, как он поворачивает свою голову, меня очень впечатлило - а так вообще можно? а это безопасно? а многие могут настолько ее в обе стороны вывернуть? - что я с тех пор не могу это развидеть, и иногда нахожу ролик снова не для драки, а вот ради этого момента.

Интересная иллюзия, о которой только что вышла научная статья в "Журнале иллюзий". В вертикальном прямоугольнике, если вы в уме продлите дальше линию от левого нижнего угла через угол маленького прямоугольника, очевидно, что она проходит левее правого верхнего угла. Тем не менее она именно там проходит.

В горизонтальной версии та же идея: кажется, будто прямая от из угла через угол маленького пройдет сильно ниже угла большого, на самом деле через него. Тут должен отметить, что у меня лично "вертикальная" иллюзия намного сильнее "горизонтальной". Во втором случае я почти готов поверить, что пройдет через угол, или может немного ниже его; в первом ясно и неоспоримо, что пройдет очень далеко от угла.

Еще ярче эта разница для меня видна в версии с точками, а не прямоугольниками. При вертикальном расположении точек иллюзия есть, при горизонтальном ее нет вообще. А авторы статьи утверждают, что иллюзия работает одинаково в обоих случаях. У меня это не так - а у вас?

Интересно, что иллюзию обнаружили на примере звездного неба; есть известное правило о том, что Полярную звезду можно найти на продолжении линии между двумя из звезд Большой Медведицы. Если смотреть так, чтобы эта линия была близка к вертикальной, то люди заметили, что Полярная звезда вовсе не кажется находящейся на ней (хотя на самом деле находится).

"Three-dot misalignment illusion and related new illusions: a rediscovery of Bouma and Andriessen’s (1968) oblique effect as a strong illusion": Kentaro Usui and Akiyoshi Kitaoka, Journal Of Illusion 5/2025.

Для израильтян, причем немного повернутых башкой на некоторых темах, как я: сегодня в 5 вечера в Тель-Авиве в Сароне встреча читателей блога Скотта Александра, любителей рационализма итд. итп. Приходите, поболтаем о любимых книгах, конце света, новой статье в Nature про воспроизводимость результатов в соц. науках, и обо всем таком хорошем и цветущем.

https://www.facebook.com/events/1607200663725838/