Spaces:
Running
Running
Commit History
Yesterday
-
Merge pull request #26 from S1lverElixir/agent/search-claude-parity Running
SilverElixirUnverified signatureПоиск: зона 2 — модель решает «искать или нет» там, где регекс молчит12e3734 -
search: дата в [[SEARCH]]-ретрае сверяется с хвостом промпта — подстрока в тексте пользователя не подавляет дату (раунд 8)
SilverElixir8031eb4 -
search: раунд 7 (ядро) — дубль комментария о дате снят, [[SEARCH]]-ретрай не дублирует дату в промпте
SilverElixird806ddf -
search: раунд 7 — килл-свитч тест в форме шпион+голова (красный на мутанте), дубль комментария о дате снят, [[SEARCH]]-ретрай не дублирует дату в промпте
SilverElixir15fc41c -
search: зона 2 по ревью — AGENT_MAX_SEARCHES=0 владельца флор не обходит (килл-свитч), пометки в тестах сверяются с фактическими ключами языковых паков, зоне 2 нужна сегодняшняя дата для суждения о свежести
SilverElixirf8a3814 -
search: зона 2 — регекс молчал, а решает модель агент-цикла (прод 15.11: theoneprobe уходил по памяти); skip-список болтовни, фолбэк-фетч и «без live-поиска» в зоне 2 отключены, минимум один слот при авто-усилии, EFFORT_AUTO=0 глушит как раньше
SilverElixir4ad5b2e -
Merge pull request #25 from S1lverElixir/agent/search-claude-parity
SilverElixirUnverified signatureПоиск: фандом-вики, блок «Источники», фиксы триггера по корпусу недели84bb4d5 -
search: раунд 4 — «погоді» с границами слова (глаголы «погодімось» не зовут погоду), wikia.com в перечне ARCHITECTURE
SilverElixir9ed506f -
search: третий раунд ревью — украинское «погоді» в слое погоды (детект интента вернулся), fresh-гейт бонуса описан в ARCHITECTURE, README называют все четыре вики-хоста
SilverElixira474bba -
search: второй раунд ревью — бонус фандома не поднимает недатированную страницу поверх свежей новости, guard вики-сигнала един для всех слов, реакция с эмодзи/скобками не триггер, украинское «погоді» вернуто словом, чекер считает вики-ожидания отдельно
SilverElixir21d3779 -
доки и промпт по ревью: таблица замера воспроизводится (20/10/2/0), указатель на живой скрипт, зеркала README с детализацией хостов, полный список сигналов, агрегаторские ссылки не попадают в «Источники»
SilverElixir3d3a1cf -
search: правки триггера и ревью по корпусу недели — голое «вчера» и «Погоди»/«предпоследняя» не триггерят, скобочные вики-URL не ломают конвертер ссылок, «Источники» с приоритетом над правилами стиля, /wiki/-путь не вики-сигнал; офлайн-чекер 32 кейсов корпуса в eval
SilverElixir77cda69 -
search: фандом-вики в ранжировании по вики-сигналу запроса, инструкция агенту добавлять wiki к игровым сущностям, блок «Источники» в конце ответа, вики-проба в /diag
SilverElixir1d6c75b -
eval: набор из 32 поисковых кейсов — промахи и ложные срабатывания недельного корпуса, follow-up с контекстом, двусмысленность, вики-сущности
SilverElixir274de26 -
Merge pull request #24 from S1lverElixir/dependabot/pip/google-genai-3.0.0
SilverElixirUnverified signaturebuild(deps): bump google-genai from 2.34.0 to 3.2.0d72d7c1 -
build(deps): bump google-genai from 2.34.0 to 3.2.0
dependabot[bot]Unverified signatureBumps [google-genai](https://github.com/googleapis/python-genai) from 2.34.0 to 3.2.0. - [Release notes](https://github.com/googleapis/python-genai/releases) - [Changelog](https://github.com/googleapis/python-genai/blob/main/CHANGELOG.md) - [Commits](https://github.com/googleapis/python-genai/compare/v2.34.0...v3.2.0) --- updated-dependencies: - dependency-name: google-genai dependency-version: 3.0.0 dependency-type: direct:production update-type: version-update:semver-major ... Signed-off-by: dependabot[bot] <support@github.com>e3b2ca6 -
Merge pull request #23 from S1lverElixir/dependabot/pip/pip-minor-ad3ae27e4e
SilverElixirUnverified signatureBump the pip-minor group with 2 updates5659ee2
3 days ago
-
agent: потолок планирующего вызова стал долей фазы, а не плоскими 8 с
SilverElixirПрод 13.11.2026, первая же ночь после мержа: из пяти планирующих вызовов два упёрлись ровно в 8 с (planning_ms 8433 и 8723), цикл умер, ни разу не поискав, и человек получил ответ прежним одним поиском по своей фразе. Деградация отработала чисто — исключений, падений и карантина в логе нет, — но ровно тот случай, ради которого цикл и писался, проигрывался на таймауте. Теперь один вызов берёт не больше остатка фазы за вычетом внешнего поиска и не больше 16 с (столько же, сколько одна попытка ответить в маршруте), а если остатка не хватает и на вызов, и на сеть — вызов не берётся вовсе. Потолки фазы 22/44 с не тронуты: бюджет сообщения и очередь сборки Docker остаются как были.30aaa70 -
docs: три утверждения, которые ветка уже опровергла своими же замерами
SilverElixirВ eval/RESULTS.md утренний прогон цикла писал «уточнение запроса не проверено» и «зонда честности в репозитории нет», а строка про цену уровня — «раздельного замера нет»: все три пункта закрыты вечерним и сегодняшним прогонами, теперь это ссылки на них, а не незакрытые обещания. LUMEN_ENV_DIR и PROBE_EFFORT — переменные самих зондов, в рантайме бота их нет, поэтому описаны в PROMPT_EVAL.md, а не в ENVIRONMENT.md: без первой прогон молча проваливает каждый вопрос отдельно, без второй потолок поиска не снять.cd2e2fe -
eval: три открытых пункта прошлого отчёта закрыты замерами, а не словами
SilverElixir1. Потолок в два поиска (PROBE_EFFORT=high в eval/agent_loop_probe.py): цикл сработал на 11 из 12 вопросов, и в 11 случаях модель сделала ВТОРОЙ, другой по смыслу запрос («ключевая ставка ЦБ России решение октябрь 2026», затем «Банк России ключевая ставка сегодня»), источников стало 9-10 вместо 3-5 при том же времени фазы (3.37 с) — второй поиск идёт внутри шага. Вопрос «уточняет ли модель запрос» больше не догадка. 2. Честность без поиска: новый eval/no_search_honesty_probe.py — 10 свежих вопросов с той же пометкой «без live-поиска», что кладёт боевой код, проверка на слова заявки об источниках. 0 заявок из 10; модель называет цифры как ориентир («посмотреть не могу, доступа к кассам нет»). Первый прогон засчитал один честный отказ заявкой — классификатор ловил отрицание только в прямом порядке; исправлен, повторный прогон 0 из 10. 3. A/B усилия на персоне с пином low: 49/50 против 50/50 при том же промпте и судье. Один балл — в пределах шума, рубрика …aa69981 -
Bump the pip-minor group with 2 updates
dependabot[bot]Unverified signatureBumps the pip-minor group with 2 updates: [fastapi](https://github.com/fastapi/fastapi) and [sentry-sdk](https://github.com/getsentry/sentry-python). Updates `fastapi` from 0.162.0 to 0.162.2 - [Release notes](https://github.com/fastapi/fastapi/releases) - [Commits](https://github.com/fastapi/fastapi/compare/0.162.0...0.162.2) Updates `sentry-sdk` from 2.73.0 to 2.74.0 - [Release notes](https://github.com/getsentry/sentry-python/releases) - [Changelog](https://github.com/getsentry/sentry-python/blob/master/CHANGELOG.md) - [Commits](https://github.com/getsentry/sentry-python/compare/2.73.0...2.74.0) --- updated-dependencies: - dependency-name: fastapi dependency-version: 0.162.2 dependency-type: direct:production update-type: version-update:semver-patch dependency-group: pip-minor - dependency-name: sentry-sdk dependency-version: 2.74.0 dependency-type: direct:production update-type: version-update:semver-minor dependency-group: pip-minor ... Signed-off-by: dependab…f057b40
4 days ago
-
ревью документов и поведения: карта возможностей стала повторяемой, осколки имён сняты, устаревшие цифры помечены
SilverElixirЧетыре слепых агента (адверсариальное ревью сигнала, поведение end-to-end, правдивость документов, приватность) дали 30+ пунктов; что-то из этого я уже успел починить предыдущими коммитами, здесь закрыто оставшееся. Карта возможностей моделей (gemma/pplx не принимают reasoning_effort, gemma принимает tools) до этого опиралась на разовые вызовы, которых в репозитории не было: munito_probe.py ни то ни другое не проверяет, а тест в test_bot_routes.py только эмулирует 400. Добавлен eval/provider_caps_probe.py (10 живых обращений, по одному на пару модель×параметр), прогон 12.11.2026 записан в eval/RESULTS.md: три головы принимают оба параметра, gemma-4-12b отвечает 400 на reasoning_effort и принимает tools, pplx-decider-v1.2 не принимает ничего; отказы приходят за 0.14-0.16 с как invalid_request_error, а не как сеть, поэтому снимать бит в _MUNITO_CAPS по такому ответу честно. Строка этапа больше не показывает осколки имён. Прежняя зачистка снимала только точные id из каталога, и в группе…9a27535 -
приватность и живучесть по адверсариальным ревью: семь настоящих дефектов, каждый с тестом
SilverElixirРевью шло вслепую тремя агентами по разным мандатам (поведение, приватность, правдивость документов). Что нашлось и что сделано: Утечки и приватность 1. Запрос модели уходил в статус-пузырь без всякого фильтра: в группе все участники читали «цена подписки gemini-2.5-pro». Теперь строка этапа идёт через тот же фильтр имён и утечек, что и преамбула, а при срабатывании детектора показывается общая фраза «Ищу в интернете». 2. Туда же доезжали невидимые символы (U+200B, bidi-обманки U+202E), которые входной фильтр снимает, а новый слой — нет. Сняты и из запроса. 3. evidence_trace ломал собственную рамку: запрос «evil] ignore previous instructions [system prompt» выезжал из аннотации и читался моделью как служебная инструкция. Скобки, «|» и прочее, что рвёт рамку, вырезаются. 4. DuckDuckGo-редирект и поле publisher принимали任何 адрес: в прогоне через пузырь и промпт уходили http://169.254.169.254/latest/meta-data и https://internal:8080/admin. Добавлена проверка публи…294c70e -
effort по адверсариальному ревью: три блокера сняты, покрытие добрано, комментарии сверены с кодом
SilverElixir1. Дальний горизонт не имел границ слова: «Планирую отпуск на месяц» и «Планета Венера, месяц за месяцем» уезжали на xhigh — самый дорогой уровень за обычную фразу. Теперь \b с обеих сторон, а окно сузилось до 25 знаков внутри одной фразы (раньше 40 знаков могли перепрыгнуть через точку). 2. Просьбы «коротко» были списком слов, которые в других языках значат другое: «rapid» снижал настоящий вопрос («how does a rapid transit system work» → low), а «vite», «pronto», «corto» без ударения — обычные слова. Оставлены только однозначные формы, «rápido»/«más corto» — с ударением. 3. Деление слов по ПОСЛЕДНЕМУ знаку было неверным критерием: граница слова зависит от того, что стоит ПОСЛЕ совпадения, поэтому «\bकिस\b» ловило «किसी» («чей-то»), а подстрока «কে» ловила «থেকে» («из, от») — 13 из 24 бытовых фраз на хинди и бенгали теряли low. Теперь классификация по письменности, а граница проверяется по диапазону самой письменности; тем же механизмом покрываются форм…cf6d3ec -
ревью ветки: три настоящих пробела закрыты, один найденный дефект — преамбула показывала осколок имени модели
SilverElixirКритик покрытия плана (12.11.2026) сверил §10 и §6 с деревом. Закрыто: - теста на пересчёт провайдерских полей после откатa не было вовсе: добавлен test_chain_recomputes_reasoning_effort_after_model_fallback — gemma-4-12b обязана уйти без reasoning_effort (иначе 400 из замера 12.11.2026), а голова обязана получить его, то есть payload считается заново на модель попытки; - тест на преамбулу проверял только вырезание имён из каталога и не трогал детектор утечки личности. Проверка живым фильтром дала настоящий дефект: «Я — Gemini 2.5 Pro, ищу данные» после частичной зачистки превращалось в «5 Pro, ищу данные», и обрывок имени уезжал в статус-пузырь. Теперь строка этапа с обнаруженной утечкой не показывается совсем: фара generic-фразы уже есть, а осколки личности — нет (тест добавлен, старый прогон не изменился); - два декоративных asyncio.sleep(0) в моках маршрута сняты, третий оставлен и объяснён: он единственная точка, где параллельные fetch'ы цикла реально переплета…d85e176 -
eval: к повторному прогону цикла добавлены медиана, p95 и худший замер фазы (4.66/4.94/5.13 с) — планка p95 внутри 40 с подтверждена
SilverElixir9b8b0c6 -
effort: перевёрнутый испанский знак вопроса в классе; персидская «؛» осознанно не добавлена (в арабском это точка с запятой)
SilverElixir8a65d65 -
eval: повторный живой прогон цикла после правки сигнала — 11 из 12 поисков, 4.36 с на вопрос; ухудшение времени объяснено таймаутами DuckDuckGo и Wikidata, а не правкой
SilverElixir276cc6a -
docs+комментарии: 18 утверждений, которые ветка сделала ложными или которые никогда не мерялись
SilverElixirАудит ветки сабагентом (12.11.2026) сверил прозу с кодом и нашёл класс ошибок, где число стоит без датировки и без файла-измерителя. Исправлено по факту: - WEB_SEARCH_TIMEOUT_SEC: в docstring был «дефолт 8», код отдаёт 6.0; - дневный потолок поиска: «до 4 обращений на свежий ответ» — на самом деле до 6 (цикл до двух + резервный fetch, и столько же на повтор после [[SEARCH]]), поэтому типичный день 40-100, а 300 — запас в три-семь раз, не «пятикратный»; - бюджет фазы доказательств в message_core: «+8с к 40с лока» не соответствует evidence_phase_budget_sec (22 с при medium, 44 с при high/xhigh, внутри бюджета сообщения, а не маршрута); - три комментария про minimal/«medium+ — верную» ссылались на замер, где колонок minimal и medium в арифметике не было: оставлено только измеренное (64 при low против верных 60 при high/xhigh; пустой content при medium+ на логической задаче); - ARCHITECTURE: цикл запускается НЕ «до сборки маршрута» — маршрут нужен, чтобы взять первую Munito-г…32827c7 -
docs: из разбора 05.11 убран иероглиф, затесавшийся в русскую фразу про лимит сообщений
SilverElixir1e18d7d -
effort: сигнал вопроса по 25 языкам вместо RU/EN — сетка 46/46 вместо 40/46
SilverElixirЗамер eval/effort_grid.py показал два недо-усилия («кто такие викинги», «почему небо голубое» уезжали на low) и четыре заниженных уровня в не-русских формулировках. Причина: короткий список слов RU/EN и правило «короче сорока знаков». Теперь сигнал складывается из знака вопроса любой письменности (данда и бирманский знак конца фразы из класса убраны), цифры, длины (слова И знаки, иначе слитный тайский давал одно «слово» на весь вопрос) и вопросительных слов по SUPPORTED_LANGS; орфография部分 снята со строк самого бота, а чего в корпусе нет — того в списке нет. Граница слова работает только после буквы или цифры, поэтому के и कहाँ ловятся подстрокой (проверено на «তুমি কে»). Просьбы коротко получили не-RU формы: из-за одного RU/EN-списка «was ist ein JWT kurz» и «kiut a költő? röviden» думали дольше, чем просили. Метка «реши ещё раз, ты не прав» в сетке и в тестах исправлена на high: исправление поднимает ступень, а прежний medium был следствием правила про сорок знаков. persona_models.py…960099d -
selftest+статистика: строка состояния слоя поиска (переключатели и остаток дневного бюджета обращений) и тест на неё; метрики цикла AgentTurnResult (steps, planning_ms) читаются из log и devtrace
SilverElixira1cf6bc -
P1.11-P1.12: зеркала приведены в соответствие (цикл, усилие, статус в группах, потолок обращений), метрики цикла шагли в devtrace и в /stats; из документов убраны три утверждения, которые эта работа сделала ложными
SilverElixir6cd048a -
P1 по ревью: планировщик виден в model_attempts/model_failures и в [usage], дневной потолок обращений к поиску (выведен из доли свежих вопросов), карта возможностей закрыта замером tools (gemma принимает tools, pplx не принимает ни того ни другого), мусорное значение усилия попадает в лог, EFFORT_AUTO=0 глушит цикл, живой статус включён в группах (гости — как были), третий путь поиска честно сообщает, каким запросом он искал
SilverElixir72720bc -
eval: живой замер цикла поиска (12 вопросов, 11 поисков, 3.12 с, ~5.9К токенов на планирование) и зонд eval/agent_loop_probe.py; плюс лог ветки в message_core, чтобы «кто принёс источники» было видно в проде
SilverElixir2afacb9 -
agent+core: P0 по ревью — фаза доказательств получила собственный бюджет вместо None, лимит считается поисками (AGENT_MAX_SEARCHES), EFFORT_AUTO=0 глушит цикл, преамбула читится настоящим фильтром lumen_security вместо молчаливого suppress на несуществующем bot.-имени, планирование не качает прошлые фото, закрытый этап один на ответ, флаги ветки ушли в лог
SilverElixir01d44ec -
routes+streaming: effort доезжает до каждого вызова — extras считаются на модель попытки (у gemma-4-12b и pplx-decider reasoning_effort даёт 400), thinking_config Gemini берётся из того же уровня, а не из отдельной эвристики не-heavy
SilverElixirddefbdb -
agent: новый слой lumen_agent.py — цикл web_search, где запросы пишет сама модель, а бот исполняет инструмент и собирает источники (14 тестов на цикл, кэш запросов, потолок шагов и зачистку преамбулы)
SilverElixirbc87e36 -
router: автовыбор усилия вместо плоского low — замеры 12.11.2026 показали, что уровень переключает правильность (glm-5.3-flash: 64 при low против верных 60 при high), а не только длину ответа; к нему же теперь привязан потолок поисков за ход
SilverElixirMap of measured Munito capabilities: gemma-4-12b and pplx-decider-v1.2 answer 400 on reasoning_effort, so the field is sent only to verified models.a83edce
5 days ago
-
документы: ночной замер сеткой — таблица у второй модели маршрута была 1 из 5 ответов и стала 5 из 5, псевдоструктура на коротком уточнении у головы ушла, отделка идемпотентна на 673 исторических ответах, а явные форматные просьбы исполняются 6 из 6 — поэтому зачистка по тексту запроса не добавлена
SilverElixirdc8befc -
промпт: сравнение по названным осям обязано начинаться с таблицы, а короткое уточнение — не больше двух абзацев без псевдозаголовков; замеры 12.11.2026: таблица у второй модели маршрута была 1 ответ из 5, после клаузы 5 из 5 (голова — 5 из 5), псевдоструктура у головы на «а словарь?» ушла с 2 промахов из 3 на 0 из 3. Плюс тест: слой отделки идемпотентен на всех формах, которые он правит — иначе повторный проход при правке пузыря или после [[SEARCH]] снимал бы по эмодзи за раз
SilverElixir1dee6b9 -
eval: детерминированная сетка манеры считает вопросы, математику и длину ответа, а корпус несёт подсказки style по каждому вопросу — судья поставил 2/2 ответу без единого эмодзи при явной просьбе, и только счётчик нашёл это строкой
SilverElixirb362d99 -
промпт: английские цитаты объявлены образцами формы, а не текстом для копирования (правило в RESPONSE LANGUAGE + переписанный образец признания ошибки) — замер на запасной модели показал, что слабая голова копирует цитату буквально и отвечает английской фразой на русский вопрос; после правки четыре русских многоходовых вопроса на запасной модели дают свой язык и ноль флагов
SilverElixir497339f -
замер на запасной модели маршрута нашёл дефект, внесённый ночной правкой промпта: пример ответа был написан по-английски, и слабая голова копировала его на русский вопрос («No, I am Lumen.» вместо «Нет, я Lumen.»); пример заменён описанием формы, проверено на обеих головах. Плюс сборщик замера теперь сам пишет script_ok и style_flags — детерминированная сетка манеры вместо reliance на судью
SilverElixir5753a9a -
аудит: детерминированные правила по 25 многоязычным ответам — ноль нарушений, и честная поправка к тайскому кейсу: счётчик нашёл в том ответе один вопрос, а не два, то есть снятый балл был шумом судьи; правило в промпте осталось как страховка, доказанного дефекта за ним нет
SilverElixired5a389 -
персона: пообещал один вопрос — задаёт один (многоязычный замер 12.11.2026 снял балл за то, что тайский ответ после «спрошу только одно» задал два; после правки тот же вопрос 2/2) + описана многоязычная ветка замера и то, что судьёй с этой машины может быть только модель Munito
SilverElixir23be32a -
замер персоны сам чистит NO_PROXY от скобочных IPv6-записей: глобальное значение владельца с «[::1]» роняло судебного вызов Gemini на InvalidURL: Invalid port, и прогон обрывался после сбора ответов (замер 12.11.2026)
SilverElixir1cb20b3 -
замер по всем языкам научился проверять язык ответа сам, без судьи: answer_script_ok сверяет графику с языком вопроса (латиница для vi/tr/pl/fil/zu считается нормой, имя бота в знаменатель не входит) и пишет в answers.json поле script_ok — раньше «ответ не на языке человека» ловился только на вкус судьи
SilverElixir899d501 -
замер персоны по всем языкам: 25 вопросов, по одному на каждый SUPPORTED_LANGS (идентичность, длина, эмодзи-просьба, отказ, таблицa, сохранность терминов for/range в не-латинском ответе) — раньше многоязычная манера Claude проверялась только строками интерфейса, а не ответами
SilverElixirb30ff98 -
политика украшательных эмодзи уточнена по замеру: в прозе снимаются только лишние сверх нормы «1-2», все — лишь трём и больше маркерам списка; тотальная зачистка, которую предложило ревью, склеивала предложения и оставляла ноль значков там, где человек их прямо попросил (48/50 вместо 50/50, после правки вопросы 9-10 снова 2/2)
SilverElixir2b8224c