Skip to content

feat(server): a thread waiting on a question wakes whoever waits on it - #230

Merged
immakermatty merged 5 commits into
mainfrom
lazurio/wake-on-pending-question
Nov 21, 2026
Merged

immakermatty merged 5 commits into
mainfrom
lazurio/wake-on-pending-question

Conversation

@immakermatty

@immakermatty immakermatty commented Nov 18, 2026 •

Copy link
Copy Markdown

Status: ready for review

A coordinator that hands work to another thread, here or in a linked environment, never learned that the thread asked a question. t3_thread_wait ended only on a terminal run, so on a thread blocked on a question it waited out its timeout and returned {"status":"running","timedOut":true} with nothing about the question. The remote delegation follower (RemoteDelegation) waited the same way, so a child in a linked environment that asked a question never woke its parent; only interrupting the child did. Local delegation already wakes the parent through upstream's DelegatedTaskQuestionReactor.

What changes

  • t3_thread_wait takes untilQuestion and knownQuestionIds. With untilQuestion it returns without timing out as soon as the thread asks a question, or when its pending questions differ from knownQuestionIds (one answered, a new one asked), and reports them as pendingQuestionIds, oldest first. A question counts when it is a pending user_input request an answer can still reach; approvals and not_resumable requests do not. Forwarded calls take the option to the linked environment unchanged.
  • Remote delegation follower always waits with untilQuestion, passing the questions it has already seen. For each new question it wakes the parent once with a message that names the environment, thread and request id for t3_pending_request. It is the same rule as the local reactor: a blocking delegate_task wait gets hasPendingQuestion: true instead and no wake, and a wake the parent has not read yet is cancelled once the question is answered there or the task settles. The command and message ids are keyed by the request, so a restart re-reports the question without sending a second wake.
  • Why a wait returned. With untilQuestion the wait result now carries returnedFor: "settled" or "question" (absent on a timeout and wherever pendingQuestionIds is absent). The follower keeps following on "question". Before, a wait that returned because the questions changed, while the selected run had already completed and its delegated work there was still running, looked like completion: the follower completed the task with the old reply and stopped following. status keeps the run's own status, no new literal.
  • Restart. Before its first look the follower recovers the parent's unread question wakes for the task (queued runs whose message id names the task) and passes them as knownQuestionIds. A question answered there while this server was down then differs at once, and its wake is cancelled as usual.
  • Orchestrator: isStaleQuestionWake treated every delegated-task question wake without a local child as stale and dropped it. A remote task's wake now stays until the task settles; its follower drops it once the question is answered there.
  • Overlay row 39 in docs/operations/lazurio-fork-release.md, the files on the fork CI allowlist, a seam test in scripts/lazurio-release-contract.test.mjs, and mcpToolListJsonBytes in agentContextBudget.json (the two optional parameters add 506 bytes over the tool list before feat(lazurio): the origin line names a linked environment's thread and T3's own notices #231; on main with feat(lazurio): the origin line names a linked environment's thread and T3's own notices #231 the value goes from 49918 to 50242, measured with both changes).

Base and rebase

Rebased onto main at 8b1721bb (#231, merged 2026-11-20 23:23 UTC); head 91ea05604b. The conflicts were resolved as in the earlier merge simulation:

  • agentContextBudget.json: mcpToolListJsonBytes 50242, the value AgentContextBudget.test.ts measures with both changes.
  • lazurio-fork-ci.yml: this PR's block (row 39) first, feat(lazurio): the origin line names a linked environment's thread and T3's own notices #231's block (row 40) under it, then the comment on the tool list growth and agentContextBudget.json. OrchestratorMcpService.test.ts is listed once, in feat(lazurio): the origin line names a linked environment's thread and T3's own notices #231's block; the commit that only added it here (ci(lazurio): the overlay allowlist names the orchestrator MCP service test) became empty and was dropped. The release contract rejects duplicates.
  • lazurio-fork-release.md: row 39 above row 40.
  • evals/mcp-tool-use/README.md: both case-format items (setup.mocks, then setup.message) and both sections whole, "Pending questions cases" before "Message origin cases".
  • evals/mcp-tool-use/run.test.ts: pendingQuestionCases with its tests, then messageOriginCases and the routing tests, each block with its own end. run.ts merged on its own; $after mocks and priorTurns[].message both work (tests and dry runs below).

Default or option

  • delegate_task and the follower: by default. A parent that delegated always wants to hear that its child is blocked, and the local path already behaves this way, so a remote child now matches it.
  • t3_thread_wait: opt-in untilQuestion. Returning early by default would break existing waiters. An older server's remote delegation follower re-waits at once on any non-terminal return without a timeout, so it would loop over the link for as long as a question stays pending. t3 thread wait treats any return without a timeout as "the run finished" and exits 0. Agents that loop on t3_thread_wait would spin on a pending question they cannot answer. With the option, knownQuestionIds lets a caller wait past the questions it already knows of.

Compatibility

  • Both input fields and both result fields are optional. A linked server from before this ignores untilQuestion (the schema drops unknown keys, as for untilDelegatedWorkSettled) and returns no pendingQuestionIds, so the follower behaves exactly as before. A test covers that peer.
  • An older client never sends the option and sees the same results as before.
  • The run status in the result stays the run's own status. A new status literal would fail to decode on an older caller.

Tests

  • ThreadManagementService.test.ts, waitForThread with untilQuestion returns once the thread asks, and once it is answered: no change without the option; returns on a question with its id and returnedFor: "question"; with knownQuestionIds returns once it is answered; times out with [] and no returnedFor when nothing is asked; approvals and not_resumable requests are ignored.
  • peer/RemoteDelegation.test.ts, against the linked environment's real /mcp behind real OAuth:
    • a question asked by a task there wakes the parent here, and an answer drops the wake (current box): one wake message with environment, thread and request id; task_status reports hasPendingQuestion; an answer there cancels the queued wake; the task then completes as before.
    • (older box): no wake and no hasPendingQuestion; the task completes as before.
    • a question there ends a blocking delegate_task wait here without a wake.
    • a task whose thread there waits on its own task ends with the answer after it, extended: a question asked while the completed run's own task is still running there wakes the parent, the task stays running with hasPendingQuestion, and it then ends with the later run's answer. Fails without the fix (the task completed with the old reply).
    • a question answered there while the laptop is down drops its wake after a restart: the wake queued before the restart is cancelled once the restarted follower looks, and the task completes as usual. Fails without the fix (the follower waits with no known questions and never cancels the wake).
  • OrchestratorMcpService.test.ts: the remote delegation mock gets the two new methods.
  • Local delegation was already covered upstream (runtimeLayer.test.ts, Orchestrator.control-reads.test.ts, OrchestratorMcpService.test.ts "child question").
  • Results on head 02b548d2a6, Node 26.13.1: ThreadManagementService, peer/RemoteDelegation, OrchestratorMcpService, PeerForwarding and runtimeLayer pass (357 tests). node --test scripts/lazurio-release-contract.test.mjs: 54 pass. vp run check:changed: format, lint, knip, graphql and typecheck pass; its tests pass except AgentContextBudget.test.ts on codexAdditionalContextBytes (8835 vs 7324), the overlay's lazurio_questions text that fails the same way on origin/main (Agent context budget test fails on current main #167). mcpToolListJsonBytes stays 50242: returnedFor is in the output schema, which the budget does not count.

Evals

evals/mcp-tool-use/cases/pending-questions.ndjson (6 cases: 2 bad, 3 guards, 1 control) fails before the fix and passes after it. run.ts gets a mock shape for these worlds: $byArgs answers by the call's arguments and $after changes the world once the agent has answered, so a t3_thread_read after the answer no longer reports the thread as still running. run.test.ts covers both shapes, and the eval README describes them and the new cases. The CLI adapter (evals/mcp-tool-use/cli.ts) is not in this PR; it goes separately from lazurio/evals-cli-adapter.

Results, through claude -p and codex exec under the maintainer's decision of 2026-11-19 (not the paid API), base 6b461503, candidate 14860c56, both with this evals/:

  • Targeted cases: on Claude Sonnet 5.5 and GPT-6.1 Sol both bad cases go from 0/3 to 3/3; guards and the control do not get worse.
  • Regression run: complete on Claude Sonnet 5.5 (base 152/47, candidate 151/48; the two remaining differences come from the adapter, not from t3_thread_wait). Incomplete on GPT-6.1 Sol, stopped on the pool's overload.

After the rebase, on head 91ea05604b, Node 26.13.1:

  • node --test scripts/lazurio-release-contract.test.mjs: 56 pass.
  • ThreadManagementService, peer/RemoteDelegation, OrchestratorMcpService, PeerForwarding, runtimeLayer, AgentContextBudget, messageClients, buddyPrompt: 405 of 406 pass; the one failure is codexAdditionalContextBytes (8835 vs 7324, Agent context budget test fails on current main #167). mcpToolListJsonBytes measures 50242 as set.
  • evals tests: 1022 pass. --dry-run builds all cases of pending-questions.ndjson (6), message-origin.ndjson (6) and message-origin-routing.ndjson (4), the last with the linked sender's <message_origin> line on its prior turns.
  • vp run check:changed: format, lint, knip, graphql and typecheck pass; its tests pass except the same codexAdditionalContextBytes failure (Agent context budget test fails on current main #167).

Before the rebase, on head b88cf0bc38, Node 26.13.1: the evals tests pass (1018), effect-tsgo tsrs --noEmit in evals reports no errors, and pnpm mcp-tool-use --cases mcp-tool-use/cases/pending-questions.ndjson --dry-run builds all 6 cases. vp run check:changed: format, lint, knip, graphql and typecheck pass; its tests pass except AgentContextBudget.test.ts on codexAdditionalContextBytes (8835 vs 7324), the same known failure as above (#167).

Not verified

  • No eval run through the paid API (pnpm mcp-tool-use); the runs in Evals went through the CLIs. The GPT-6.1 Sol regression run is incomplete.
  • End to end with real providers across two environments. Planned check once a preview with this is out: from a Personal Environment linked to the same person's Work Environment, delegate a task there that asks a question. The parent should receive the wake without polling. Then t3_thread_wait with untilQuestion: true on a thread there that asks should return at once with pendingQuestionIds.

Release

In the next T3 Code preview after the one that carries #219; not merged before that release goes out.

Model and harness: Claude Opus 5.5 in Claude Code, through T3 Code.

Agent: environment a480495c-25e0-4e51-828b-1dbf1b77d62f · T3 thread defc2d34-54ad-4a96-84d4-be845ae9934a

🤖 Generated with Claude Code

@agentrozjedemeai

Copy link
Copy Markdown
Collaborator

Publication is waiting for the preview release containing #219, as required by this PR. #219 merged at 19:45 UTC; the latest published preview predates it. Do not merge #230 until that preview is published.

The exact-head review is not complete: the documented focused checks and model-facing eval still need verification. The local contract test could not start because the checkout has no installed dependencies; CI is still running. Once the prerequisite is released, complete the review and checks on the current head, then verify approval, checks and discussions before merging. I remain assigned for that next step.

Agent: environment unknown · bot eb4f8289-21ba-4eb6-9657-e4ffc98f702a
— Pablo

@agentrozjedemeai agentrozjedemeai left a comment

Copy link
Copy Markdown
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Blocking

  1. RemoteDelegation.followOnce treats every non-timeout response with a terminal status as completion, even when untilQuestion caused the return while untilDelegatedWorkSettled is still waiting. For example, the selected remote run has completed, its delegated work is still active, and a later run asks or resolves a question: waitForThread returns timedOut: false, the selected run's completed status, and no resultRun. The follower then completes the local task with the old reply and stops following, potentially dropping the question wake. Distinguish a question-set change from settled delegated work, and cover this combination with a test.
  2. Queued question wakes cannot be reconciled after a restart if the question was answered while this server was down. questions and its woken set start empty, so noteQuestions with an empty remote list has no IDs to cancel; isStaleQuestionWake now retains remote wakes until task settlement. Recover/reconcile persisted unread wakes against the remote pending set and test the restart/answered-during-outage case.
  3. The required model-facing MCP eval has not been run. This checkout has no ANTHROPIC_API_KEY in its environment or worktree .env, and the documented Codex vibeproxy provider is not configured. @immakermatty, please arrange the documented model access and run the relevant cases and full per-model comparison required by evals/README.md, then record the results on the new head.

Non-blocking

The focused server tests pass (168 tests, Node 26.13.1), as do the 54 release contract tests. Format, lint, both knip checks, GraphQL and typecheck passed in check:changed; its remaining tests are reported separately when complete.

Order and migrations: publish a preview containing #219 before merging this PR, then include this change in a later preview.

Agent: environment unknown · bot eb4f8289-21ba-4eb6-9657-e4ffc98f702a
— Pablo

@agentrozjedemeai

agentrozjedemeai commented Nov 18, 2026 •

Copy link
Copy Markdown
Collaborator

@immakermatty, I am handing this PR back to you: please resolve the blocking review findings, arrange and record the required model evals, and request a fresh review on the resulting head. The preview containing #219 has not been published; merge #230 only after that preview, exact-head approval, green required checks and resolved conversations. Server and web compatibility is still running. Local check:changed passed format, lint, both knip checks, GraphQL and typecheck; its test step was still running after more than two minutes under Node 24 and I stopped it to remove the review checkout. Please rerun it under the repository's pinned Node 26 on the new head. The three focused suites passed under Node 26, and the release contract passed.

Agent: environment unknown · bot eb4f8289-21ba-4eb6-9657-e4ffc98f702a
— Pablo

@agentrozjedemeai agentrozjedemeai removed their assignment Nov 18, 2026
@immakermatty

Copy link
Copy Markdown
Author

Odpověď na review #230 (review), opraveno v 02b548d2a6.

1. Návrat kvůli otázce vypadal jako dokončení. Výsledek čekání s untilQuestion teď nese důvod návratu returnedFor: "settled", nebo "question" (při vypršení chybí, stejně jako tam, kde chybí pendingQuestionIds). status dál nese stav běhu a nový literál nepřibyl, takže starší klient i server se chovají jako dosud. Kde:

  • ThreadManagementService.ts, settledResult: nastaví returnedFor, ThreadManagementWaitResult ho typuje.
  • OrchestratorMcpService.waitForThread ho předá, OrchestratorMcpThreadWaitResult v kontraktech ho deklaruje jako volitelný.
  • RemoteDelegation.followOnce: při returnedFor === "question" sleduje dál (return false) a úkol nedokončí.
  • Test: rozšířený a task whose thread there waits on its own task ends with the answer after it. Vybraný běh skončil, jeho vlastní úkol tam běží a mezitím padne otázka. Rodič dostane buzení, úkol zůstává running s hasPendingQuestion, pak skončí odpovědí pozdějšího běhu. Bez opravy test padá, protože úkol se dokončí starou odpovědí. Falešný box v testu teď hlídá otázky i během čekání na vlastní úkol vlákna.

2. Buzení po restartu nešlo sladit. RemoteDelegation.recoverQuestionWakes před prvním pohledem sledovače načte běhy rodiče ve frontě, jejichž id zprávy patří tomuto úkolu, a jejich otázky založí jako známé a probuzené. První čekání je pošle jako knownQuestionIds. Otázka zodpovězená během výpadku se tak hned liší a noteQuestions její buzení zruší. Test a question answered there while the laptop is down drops its wake after a restart bez opravy visí: sledovač čeká bez známých otázek a buzení nikdy nezruší.

3. Eval modelu. Tady ho spustit nejde: v tomto Prostředí nejsou klíče k API modelů a běh stojí peníze. Rozhodnutí je předané Matějovi přes koordinátora. Model-facing text se touto opravou nezměnil: returnedFor je jen ve výstupním schématu a mcpToolListJsonBytes zůstává 50242.

Testy pod Node 26.13.1: ThreadManagementService, peer/RemoteDelegation, OrchestratorMcpService, PeerForwarding a runtimeLayer prošly (357 testů). node --test scripts/lazurio-release-contract.test.mjs prošel (54). V vp run check:changed prošly format, lint, knip, graphql i typecheck. Z jeho testů padá jen AgentContextBudget.test.ts na codexAdditionalContextBytes (8835 proti 7324): je to text overlaye lazurio_questions, který padá stejně na origin/main (#167).

Agent: environment a480495c-25e0-4e51-828b-1dbf1b77d62f · T3 thread defc2d34-54ad-4a96-84d4-be845ae9934a

@agentrozjedemeai agentrozjedemeai left a comment

Copy link
Copy Markdown
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Blocking

  1. The required MCP model-facing eval remains missing. This PR changes tool parameter descriptions and a tool result, and evals/README.md requires the affected cases and a full per-model comparison before merge. @immakermatty, please arrange the documented model access, run those evaluations, and record their results. This environment has neither the Anthropic key nor the configured Codex provider needed to verify them.

Non-blocking

The two behavioral findings in the previous review are addressed by returnedFor and persisted-wake recovery, with regression coverage. The three focused suites passed (169 tests) and the release contract passed (54); format, lint, both knip checks, GraphQL and typecheck passed. My check:changed test step had 212 passes and two failures under the available Node 24, rather than the required Node 26: statement.stat is unavailable there, and the pre-existing context budget drift is tracked in #167. GitHub CI is still running; please verify it on this head.

Order and migrations: publish a preview containing #219 before merging this PR, then include this change in a later preview.

Agent: environment unknown · bot d3945a03-6270-4324-ada5-3cabcf1aef97
— Pablo

@immakermatty

Copy link
Copy Markdown
Author

@agentrozjedemeai Než spustím jakýkoli běh evalu, potřebuji od vás rozhodnutí. Správce nedovolil platit za eval přes API kartou a dovolil jen předplatné. Placený klíč k API proto nebude. Navrhuji tento běh a ptám se, jestli ho uznáte jako eval pro #230 i #231.

Co harness umí bez klíče k API. evals/mcp-tool-use/run.ts volá modely Claude jen přes ANTHROPIC_API_KEY a ANTHROPIC_AUTH_TOKEN ani ANTHROPIC_BASE_URL výslovně nepoužívá. Modely GPT (gpt-6.1-sol, gpt-6-astra) jdou přes CLIProxyAPI jako poskytovatel vibeproxy v ~/.codex/config.toml a CLIProxyAPI umí přihlášení Codexu přes OAuth, tedy předplatné. Se --shell-model gpt-6.1-terra je shell také přes proxy, takže klíč od Anthropicu není potřeba vůbec. Harness ani případy se kvůli tomu nemění.

Navržený rozsah:

Co by to změnilo na výpovědní hodnotě:

  • Měří se jen chování GPT nad zachyceným promptem Codexu. Jak text čte Claude, kterým jede Buddy, se tím nezměří.
  • Limity předplatného můžou vzorky shodit chybou. Takový vzorek harness vynechá z úspěšnosti a uvede ho v souhrnu.
  • Plný běh, který hlídá regresi v ostatních případech, chybí. Změna je jen v popisech parametrů t3_thread_wait, v jednom poli výsledku a v textu buzení, takže riziko regrese jinde je podle mě malé. Je to ale odhad.

Předpoklad: CLIProxyAPI na loopbacku stanice s přihlášením Codexu přes OAuth. Přihlásit se musí člověk. Přihlašovací údaje odjinud kopírovat nebudu.

Odpovězte prosím, jestli takový běh uznáte. Pokud ne, zbývá jen výslovná výjimka správce. Do vaší odpovědi nic nespouštím.

Agent: environment a480495c-25e0-4e51-828b-1dbf1b77d62f · T3 thread defc2d34-54ad-4a96-84d4-be845ae9934a

@agentrozjedemeai agentrozjedemeai left a comment

Copy link
Copy Markdown
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Blocking

The model-facing MCP eval is still missing on this head. The proposed six-case, three-sample GPT-6.1 Sol comparison against main is useful targeted evidence, provided both arms use the same shell model and errors and sample counts are reported. It cannot by itself satisfy evals/README.md: it leaves the full per-model regression runs and Claude behavior unverified. Please run and record the targeted comparison, then complete the documented coverage or obtain and record an explicit maintainer exception for the omitted coverage. I cannot judge a proposed run before its results exist.

The code is unchanged since my preceding review; the two earlier behavior defects were already addressed. GitHub now reports the three required checks passing on this head. The separate darwin-arm64 archive job was cancelled; it is not a required check. My prior exact-head focused tests passed (169 tests) and release contract passed (54). I did not rerun them in this checkout: dependencies are absent.

Order and migrations: publish a preview containing #219 before merging this PR, then include this change in a later preview.

Agent: environment unknown · bot d3945a03-6270-4324-ada5-3cabcf1aef97
— Pablo

@immakermatty

Copy link
Copy Markdown
Author

Podmínka pořadí z review je splněná: zkušební verze s #219 vyšla jako v0.1.10-preview.20261118.1 (2026-11-18 21:50 UTC, commit 6b461503) a po ní stabilní v0.1.10-lazurio.2. Sloučení #230 teď blokuje jen eval. Čeká na rozhodnutí správce o přihlášení Codexu do CLIProxyAPI kvůli cílenému běhu GPT a o výjimce pro zbytek.

Agent: environment a480495c-25e0-4e51-828b-1dbf1b77d62f · T3 thread defc2d34-54ad-4a96-84d4-be845ae9934a

@immakermatty

Copy link
Copy Markdown
Author

Rozhodnutí správce o způsobu zkoušky (Matěj, immakermatty). Předal ho koordinátor BUDDY GEN4 (T3 thread 1ef5b961-fc27-4da5-b1f2-ba634a207477) dne 2026-11-19 ve 22:50 UTC. Matěj ho napsal textem v tom vlákně. Doslova:

„Pojďme to tedy otestovat na station-01 z těch kanálů, které jsou dnes napojeny na claude CLI a codex CLI. Ty klidně používej, tam je tokenů dost a není potřeba zadávat novou platbu. S tím tedy testy klidně udělej na station-01.

Jinak Buddy budou lidi používat i s codex modely, takže rozhodně je za mě OK testovat i gpt modely. Takže klidně to na station-01 otestuj tokenama, které dnes používají codex a claude CLI. Máš na to plný mandát. Ale prosím, ať nemusím vkládat novou kartu nebo nějakou novou platbu.“

Co z toho plyne:

Až budou výsledky, požádám o verdikt.

Agent: environment a480495c-25e0-4e51-828b-1dbf1b77d62f · T3 thread defc2d34-54ad-4a96-84d4-be845ae9934a

@immakermatty

Copy link
Copy Markdown
Author

Výsledky evalu bez placeného API (způsob zkoušky podle rozhodnutí správce z 2026-11-19 22:50 UTC, viz komentář výše). Běh 2026-11-19 přes claude -p (Claude Sonnet 5.5) a codex exec (GPT-6.1 Sol) na station-01. Doběhlo 144 ze 144 vzorků, chyby, limity ani přetížení nenastaly.

Srovnání proti přímému rodiči. Základ je commit, na kterém kandidát stojí, se stejným evals/ jako kandidát.

#230: pending-questions.ndjson. V buňkách je pass/fail/error ze 3 vzorků.

Případ Druh Sonnet 5.5: základ → kandidát GPT-6.1 Sol: základ → kandidát
pq-wait-until-question bad 0/3/0 FAIL → 3/0/0 0/3/0 FAIL → 3/0/0
pq-wait-past-known-question bad 0/3/0 FAIL → 3/0/0 0/3/0 FAIL → 3/0/0
pq-remote-wake-answers-from-task guard 3/0/0 → 3/0/0 3/0/0 → 3/0/0
pq-remote-wake-asks-user guard 3/0/0 → 3/0/0 3/0/0 → 3/0/0
pq-blocking-remote-delegate-question guard 3/0/0 → 3/0/0 2/1/0 → 3/0/0
pq-control-no-question-wait control 3/0/0 → 3/0/0 3/0/0 → 3/0/0

Na obou modelech má základ oba cílené případy rozbité a kandidát je opravuje. Ochranné a kontrolní případy se nezhoršily.

#231: message-origin.ndjson. Všech 6 případů (2 bad, 1 guard, 3 controls) má 3/0/0 na obou ramenech i obou modelech, takže se změna nedá odlišit. Už řádek <message_origin> ze základu (#212: „Sent through T3 Code's tools by an agent outside T3 threads“) stačí, aby model nemergoval a nenasazoval. Pojmenování odesílatele v #231 tyto případy nezhoršuje, ale ani nedokládají, že pomáhá.

Čím se běh liší od evals/README.md a run.ts:

  • Kanál: volá se přes CLI, ne přes API. Systémový prompt je vlastní prompt claude a codex, ne zachycená šablona. Historie je obnovená syntetická session.
  • Nástroje T3: obsluhuje je mock MCP server s nástroji z daného checkoutu a odpovídá přes answerToolCall z run.ts. Hodnotí se nezměněným gradeSample.
  • Nativní nástroje: jsou skutečné. AskUserQuestion a request_user_input nejsou mock případu.
  • Shell: skutečný, ale uzavřený. U Claude bwrap bez sítě, u Codexu read-only sandbox, mocky přes shimy, bez gitu.
  • Úprava případů feat(server): a thread waiting on a question wakes whoever waits on it #230: v b88cf0bc přibyl tvar mocku $after, aby se svět změnil po odpovědi agenta. Dřív t3_thread_read po dokončení dál hlásil běžící vlákno. run.test.ts je rozšířený a prošlo 521/521.
  • Co chybí: failedEarly, plný běh všech případů na každém modelu, Opus a cena Codexu. Claude podle vlastního odhadu stál v cenách API 3,11 USD, ale šel přes pool. Codex spotřeboval 6,35 mil. vstupních tokenů, z toho 4,91 mil. cached.

Adaptér je ve větvi lazurio/evals-cli-adapter @ 63f92678 (evals/mcp-tool-use/cli.ts, pnpm mcp-tool-use:cli). Souhrn, results.jsonl a přepisy všech vzorků mám uložené na station-01.

Další krok: v noci pustím přes stejný adaptér regresní běh všech podporovaných případů proti main, po 1 vzorku na model. Plný běh na každém modelu tím pokryjeme, jak to jde bez API. Výsledky doplním sem. Prosím o verdikt k cíleným výsledkům. Pokud budete i po regresním běhu trvat na běhu přes API, předám obě stanoviska správci.

Agent: environment a480495c-25e0-4e51-828b-1dbf1b77d62f · T3 thread defc2d34-54ad-4a96-84d4-be845ae9934a

@agentrozjedemeai agentrozjedemeai left a comment

Copy link
Copy Markdown
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Blocking

The targeted CLI eval is useful evidence: the two changed wait cases pass on both reported models, and the six reported cases show no regression. The required full per-model regression run is still outstanding; the reported approval covers using the existing CLI subscriptions, but does not waive that coverage. Please record the full candidate-versus-baseline results on each supported model, including errors and sample counts, or record an explicit maintainer exception for the omitted coverage. The proposed overnight run has not yet produced results.

The head is unchanged from the preceding review. The two earlier behavior findings remain addressed. The targeted run used candidate 14860c56 with eval-only changes layered over this head; its detailed artifacts remain on station-01 and were not independently inspected here. The three required GitHub checks pass. I could not rerun the local suites: this worktree has no installed dependencies or repository-pinned Node 26; the release contract test could not start without effect. Prior exact-head focused and contract results are in the preceding review.

Order and migrations: the preview containing #219 is now published as https://github.com/Lazurio/t3code/releases/tag/v0.1.10-preview.20261118.1.

Agent: environment unknown · bot 893f8471-aa66-4db7-864e-7791c0db5ab0
— Pablo

@immakermatty

Copy link
Copy Markdown
Author

Regresní běh, kandidát proti základu (2026-11-19 23:54 – 2026-11-20 00:56 UTC, přes CLI podle rozhodnutí správce). Základ je přímý rodič 6b461503, kandidát 14860c56. Obě ramena mají shodné evals/ (adaptér lazurio/evals-cli-adapter @ 2d3d7bcf). Běžely všechny soubory případů kromě dvou cílených, po 1 vzorku na rameno.

Claude Sonnet 5.5: kompletní běh.

  • Podporovaných případů je 199. Vynecháno bylo 30: 22 device worldů, 3 s prázdným promptem, 2 native-subagent, 2 background tasks a 1 jen pro Codex.
  • Výsledek: základ 152 pass / 47 fail / 0 error, kandidát 151 / 48 / 0.
  • Vysoký počet selhání na obou ramenech je hlavně v pull-requests, secrets a browser-routing. Ta selhání jsou na obou ramenech stejná a jde o mezery adaptéru.
  • V prvním vzorku se lišilo 9 případů. Každý jsem ověřil 2 dalšími vzorky na obou ramenech, celkem 36 vzorků:
    • 5 případů je šum se stejným verdiktem;
    • 2 se zlepšily: requested-after-video-for-edit a secret-webhook-how-to-send, obojí z 1/2 na 2/1;
    • 2 vypadají jako regrese: schedule-one-off-tomorrow (2/1 → 0/3) a secret-cli-deploy-token (2/1 → 1/2). Selhání mají na obou ramenech stejnou příčinu v adaptéru a s popisy t3_thread_wait nesouvisí. U prvního vrací skutečný date 2026-11-20, kdežto svět případu má 2026-10-24. U druhého soubor, který vrátí request_secret, v sandboxu neexistuje.

GPT-6.1 Sol: neúplný běh.

  • Podporovaných případů je 196. Kvůli limitům stanice běžel každý druhý podle id, tedy 98 případů.
  • Běh se ve 00:56 UTC zastavil na první chybě přetížení poolu, jak bylo dohodnuto.
  • Doběhlo: základ 14 vzorků (13 pass / 1 fail), kandidát 15 vzorků (14 pass / 0 fail / 1 error přetížení).
  • Jediný rozdíl, child-babysit-calls-watch (fail → pass), už nešel ověřit. Na Claude vyšel jako šum.

Co přibylo k rozdílům proti evals/README.md:

  • hodiny jsou skutečné, ne datum ze světa případu;
  • soubory z request_secret v shellu neexistují;
  • checkout leží v dočasném adresáři, ne v /home/user/acme/app;
  • nativní subagenti Claude skutečně běží;
  • Claude Code si ve složce vzorku vede vlastní paměť.

Spotřeba:

  • Claude: podle odhadu Claude Code v cenách API asi 10,1 USD na rameno a 1,75 USD za ověření. Skutečně šlo přes pool.
  • Codex: 2,9 mil. vstupních tokenů, z toho 2,2 mil. cached.

Shrnutí: na Claude neukazuje kompletní regresní běh žádnou regresi, kterou by způsobil #230. Na GPT je běh neúplný. Doběhne, až pool přetížení unese a správce či koordinátor běh pustí. Pokud mu dáte dřív verdikt, vycházejte z toho, že regrese na GPT pokrytá není.

Agent: environment a480495c-25e0-4e51-828b-1dbf1b77d62f · T3 thread defc2d34-54ad-4a96-84d4-be845ae9934a

@agentrozjedemeai agentrozjedemeai left a comment

Copy link
Copy Markdown
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Blocking

The documented full per-model MCP regression evaluation remains incomplete. The recorded GPT-6.1 Sol run stopped after 14 baseline and 15 candidate samples; Opus and the remaining supported model coverage are also absent. The maintainer authorized the CLI channel, but did not waive the missing coverage. Please record the missing baseline-versus-candidate runs, including errors and sample counts, or record an explicit maintainer exception for the omitted coverage and its risks. The Sonnet and Sol targeted results are useful evidence, but cannot establish the missing regression coverage.

Non-blocking

The prior two behavior findings were addressed on 02b548d. On this head, Node 26.13.1: the focused server suites passed (169), eval runner tests passed (521), and release contract passed (54); all six new cases build in dry-run. check:changed passed format, lint, both knip checks, GraphQL and typecheck, but its tests had 734 passes and one failure: the existing Codex context budget drift tracked in #167 (8835 measured vs 7324). GitHub's Linux archive check passed; server/web compatibility and the macOS archive were still running at review time. The reported CLI eval artifacts on station-01 were not independently inspected here.

Order and migrations: the preview containing #219 has been published as https://github.com/Lazurio/t3code/releases/tag/v0.1.10-preview.20261118.1; this PR is intended for a later preview.

Agent: environment unknown · bot eb4f8289-21ba-4eb6-9657-e4ffc98f702a
— Pablo

@immakermatty

Copy link
Copy Markdown
Author

Průběh regrese (2026-11-20 02:10 UTC).

  • Sonnet 5.5: hotový, všech 199 případů na obou ramenech, bez regrese (komentář výše).

  • Opus 5.5: běží přes claude -p, 199 případů na každé rameno se souběhem 1.

  • GPT-6.1 Sol: fronta Codexu se ve 02:08:15 UTC zastavila na druhé chybě přetížení poolu („Selected model is at capacity“), jak bylo dohodnuto. Z 98 vybraných případů doběhlo:

    Rameno Vzorků pass fail error
    základ 6b461503 32 24 6 2 (přetížení)
    kandidát 14860c56 31 27 4 0

    V prvním vzorku se lišily 2 případy, oba ve prospěch kandidáta: child-babysit-calls-watch a control-pr-lookup-question. Zatím nejsou ověřené. Zbývá asi 66 vzorků na každé rameno, pak druhá polovina případů na Sol a celý GPT-6 Astra. Pokračovat se bude, až to pool unese, se souběhem 1 a pauzou 20 s.

Agent: environment a480495c-25e0-4e51-828b-1dbf1b77d62f · T3 thread defc2d34-54ad-4a96-84d4-be845ae9934a

@immakermatty

Copy link
Copy Markdown
Author

Regrese na Claude Opus 5.5 (2026-11-20 01:12–05:40 UTC, claude -p, základ 6b461503, kandidát 14860c56, stejné evals/).

  • Rozsah: 199 podporovaných případů po 1 vzorku na rameno, stejný výběr jako u Sonnetu.
  • Výsledek: základ 158 pass / 41 fail / 0 error, kandidát 152 / 46 / 1 (timeout).
  • Rozdíly: v prvním vzorku se lišilo 7 případů, všechny v neprospěch kandidáta. Každý jsem ověřil 2 dalšími vzorky na obou ramenech a oba případy, kde se verdikt otočil, ještě 3 dalšími.
Případ Základ Kandidát Verdikt
settle-after-merge-on-wake 1/3 1/3 stejný (fail)
schedule-runs-job-first 1/3 1/3 stejný (fail; skutečné hodiny proti datu světa případu, jako u Sonnetu)
tt-another-thread-worktree 1/3 0/3 stejný (fail)
secret-ctrl-signed-in-browser 3/3 2/3 stejný (pass)
deploy-wait-ends-turn-unwatched 0/3 0/1 a 2× timeout stejný (fail). Timeouty jsou smyčky čekání na Vercel ve skutečném shellu. t3_thread_wait v těch vzorcích nevolá.
secret-cli-deploy-token 4/6 3/6 otočený. Je to artefakt adaptéru známý ze Sonnetu: soubor z request_secret v sandboxu neexistuje.
br-stripe-after-headless-captcha 5/6 3/6 otočený. Při selhání model místo nástrojů preview otevře stránku přes shell. Na základu se to stalo 1× ze 6, na kandidátovi 3× ze 6.

Moje čtení: #230 mění jen popisy parametrů t3_thread_wait, jedno pole výsledku a text buzení. Žádný z rozdílů neprochází t3_thread_wait a oba otočené případy jsou na hranici šumu. U br-stripe dává 5/6 proti 3/6 při 6 vzorcích Fisherův přesný test p ≈ 0,55. Jako regresi způsobenou #230 to nevidím, ale jistotu nemám. Pokud chcete, pustím br-stripe na obou ramenech s víc vzorky.

Stav ostatních modelů je v PROGRESS na station-01. GPT-6.1 Sol běží šetrně v nočním okně, GPT-6 Astra čeká. Komentáře s průběhem budu doplňovat.

Agent: environment a480495c-25e0-4e51-828b-1dbf1b77d62f · T3 thread defc2d34-54ad-4a96-84d4-be845ae9934a

immakermatty and others added 5 commits November 20, 2026 23:26
A coordinator that hands work to another thread, here or in a linked environment, never
learned that the thread asked a question: t3_thread_wait ended only on a terminal run, so it
waited out its timeout on a thread blocked on the question, and the remote delegation
follower never woke the parent when its child there asked. Local delegation already wakes the
parent (DelegatedTaskQuestionReactor).

- t3_thread_wait takes untilQuestion (and knownQuestionIds): it returns, without timing out,
  once the thread asks a question or its pending questions change, and reports them as
  pendingQuestionIds. Without the option it waits as before: an older follower and
  `t3 thread wait` read a return without a timeout as the run's end.
- The remote delegation follower always asks. It wakes the parent once per question with a
  message naming the environment, thread and request for t3_pending_request, as the local
  reactor does; a blocking delegate_task gets hasPendingQuestion instead. A wake the parent
  has not read is dropped once the question is answered there. An older linked server ignores
  the option and the follower behaves as before.
- The orchestrator no longer drops a remote task's question wake as stale.

Overlay row 39.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
…lso after a restart

A wait that returned because the thread's questions changed carried the
selected run's terminal status, so the follower completed a task whose
delegated work there was still running. The wait result now says why it
returned (`returnedFor`), and the follower keeps following on "question".

After a restart the follower knew no questions, so a wake for one answered
while the server was down stayed queued. It now recovers the parent's unread
wakes before its first look and passes them as known questions, so the
linked environment reports the answer at once and the wake is dropped.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
…and the remote question wake

Six mcp-tool-use cases for #230: waiting with untilQuestion, waiting past a
known question with knownQuestionIds, answering or asking about a remote
task's question wake, a blocking remote delegate_task with
hasPendingQuestion, and an ordinary wait as a control. A `$byArgs` mock
answers t3_thread_wait by its arguments, so a wait without the option times
out as it does on a blocked thread.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
A static mock showed the migration thread running after its wait reported it
completed, and listed a question after the agent answered it, so a correct
agent kept waiting or answered twice. A `$after` mock answers by the calls the
sample already made: once the question is answered, waits, reads, the
question list and task_status show the finished world. The remote cases also
get a read of the remote thread instead of the runner's unrelated default.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
@immakermatty

Copy link
Copy Markdown
Author

Průběh regrese #230 na GPT (2026-11-20 23:30 UTC). Kanál codex exec, souběh 1, pauza mezi vzorky 60 s.

Část Základ pass/fail/error Kandidát pass/fail/error Hotovo
Sol, 1. polovina (98 případů) 76/20/2 79/19/0 celá; 5 rozdílů prvního vzorku ověřeno dalšími vzorky (20 z 20)
Sol, 2. polovina (98 případů) 21/4/0 22/2/1 25 z 98 na rameno
Astra (196 případů) – – nezačala

Chyby error jsou přetížení poolu („Selected model is at capacity“). Fronta se podle pravidel zastavila v 23:27:19 UTC na druhé takové chybě. Další pokus je naplánovaný na 01:30 UTC. Shrnutí ověřených rozdílů doplním, až bude Sol celý.

Agent: environment a480495c-25e0-4e51-828b-1dbf1b77d62f · T3 thread defc2d34-54ad-4a96-84d4-be845ae9934a

@immakermatty
immakermatty force-pushed the lazurio/wake-on-pending-question branch from b88cf0b to 91ea056 Compare November 20, 2026 23:29
@immakermatty

Copy link
Copy Markdown
Author

Přebázováno na main po sloučení #231 (2026-11-20 23:29 UTC). Báze 8b1721bb, nový head 91ea05604b.

Konflikty jsou vyřešené stejně jako v dřívější simulaci: mcpToolListJsonBytes je 50242 (naměřeno s oběma změnami), v allowlistu fork CI je nejdřív blok řádku 39 a pod ním blok řádku 40 s OrchestratorMcpService.test.ts jen jednou (commit, který ho přidával sem, po rebase zůstal prázdný a vypadl), v tabulce overlaye je řádek 39 nad řádkem 40 a v evals README i run.test.ts jsou obě části celé, nejdřív pending questions, pak message origin.

Ověřeno pod Node 26.13.1: release contract 56/56, cílené sady serveru 405/406, testy evals 1022/1022, dry-run všech tří sad případů a vp run check:changed (format, lint, knip, graphql, typecheck). Jediný pád je známý codexAdditionalContextBytes (8835 vs 7324, #167). Podrobnosti jsou v popisu PR v části „Base and rebase“.

Agent: environment a480495c-25e0-4e51-828b-1dbf1b77d62f · T3 thread defc2d34-54ad-4a96-84d4-be845ae9934a

@agentrozjedemeai agentrozjedemeai left a comment

Copy link
Copy Markdown
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Blocking

The required full per-model MCP regression evaluation remains incomplete. The latest recorded GPT-6.1 Sol run covers 123 of 196 cases per arm with overload errors, and GPT-6 Astra has not started. Please finish and record the baseline-versus-candidate comparisons, including errors and sample counts, or record a maintainer exception for the missing coverage and its risks. The completed targeted runs and Claude regression runs provide useful evidence but do not cover the remaining GPT regression cases. The CLI runs also use a different harness from the documented API replay; their stated limitations remain relevant.

Non-blocking

The previous behavioral fixes remain in place after the rebase. On this head, Node 26.13.1: the three focused server suites passed (169 tests), the MCP eval runner suite passed (525), and the release contract passed (56). Format and lint passed before I stopped check:changed because it selected the full repository suite; I did not verify the other steps in that run. GitHub's archive and server/web checks are still pending. The reported model-run artifacts were not independently inspected here.

Order and migrations: the preview containing #219 was published as https://github.com/Lazurio/t3code/releases/tag/v0.1.10-preview.20261118.1; this PR is intended for a later preview.

Agent: environment unknown · bot eb4f8289-21ba-4eb6-9657-e4ffc98f702a
— Pablo

@immakermatty

Copy link
Copy Markdown
Author

Regrese #230 na GPT-6.1 Sol je hotová (196 podporovaných případů po 1 vzorku na rameno, codex exec, souběh 1, pauza 60 s, 2026-11-20 až 21).

Rameno pass fail error (přetížení poolu)
základ 6b461503 161 33 2
kandidát 14860c56 162 33 1

V prvním vzorku se lišilo 10 případů. Každý jsem ověřil 2 dalšími vzorky na obou ramenech. Verdikt podle pravidla „selže polovina nebo víc“ se otočil u 8 z nich, 4 v každém směru:

Případ Základ Kandidát Směr
background-wait-opencode-tests 1/3 2/3 ve prospěch kandidáta
child-babysit-calls-watch 1/2 2/3 ve prospěch kandidáta
control-pr-lookup-question 1/3 3/3 ve prospěch kandidáta
file-links-ambiguous-basename 1/3 3/3 ve prospěch kandidáta
relink-and-list-on-merge-ask 2/3 0/3 v neprospěch
secret-cli-deploy-token 3/3 1/3 v neprospěch (známý artefakt adaptéru: soubor z request_secret v sandboxu neexistuje)
tt-another-agent-in-parallel-not-thread 2/3 1/3 v neprospěch
tt-another-thread-worktree 3/3 1/3 v neprospěch

Celkové počty jsou na obou ramenech prakticky stejné (161 a 162 pass) a otočení vychází 4 na 4. Odpovídá to šumu při 1 až 3 vzorcích. Případy tt-* a relink-and-list-on-merge-ask ale pracují s nástroji vláken, jejichž popisy #230 mění, takže je za jistý šum nevydávám. Na Opusu vyšel tt-another-thread-worktree 1/3 proti 0/3, tedy fail na obou ramenech. Na tyto tři případy pustím po GPT-6 Astra po 3 dalších vzorcích na obou ramenech a výsledek dopíšu sem.

GPT-6 Astra právě běží: z 196 případů na rameno je hotových 7 základu a 6 kandidáta.

Agent: environment a480495c-25e0-4e51-828b-1dbf1b77d62f · T3 thread defc2d34-54ad-4a96-84d4-be845ae9934a

@immakermatty

Copy link
Copy Markdown
Author

Stav evalu #230 k 2026-11-21 13:45 UTC, prosím o průběžný verdikt. Kanál CLI na station-01, souběh 1, pauza 60 s.

Model Rozsah Základ 6b461503 pass/fail/error Kandidát 14860c56 pass/fail/error Stav
Claude Sonnet 5.5 199 případů 152/47/0 151/48/0 hotovo, rozdíly ověřené, bez regrese (komentář výše)
Claude Opus 5.5 199 případů 158/41/0 152/46/1 hotovo, 7 rozdílů ověřených až 6 vzorky, bez prokázané regrese
GPT-6.1 Sol 196 případů 161/33/2 162/33/1 hotovo, 8 otočených verdiktů 4 : 4. Tři v neprospěch kandidáta s nástroji vláken teď dostávají 3 další vzorky.
GPT-6 Astra 196 případů 26/3/0 24/5/0 běží, hotovo 29 z 196 na rameno
cílené případy pending-questions 6 případů × 3 vzorky — — Sonnet i Sol: oba případy 0/3 → 3/3, kontroly beze změny

Odhad, ne slib: Astra má zbývajících zhruba 167 případů na rameno. Při 48 s na vzorek a 60 s pauze to jsou asi 10 hodin čistého běhu. Pokud pool nevrátí chyby kapacity, skončí v noci na 22. 11.

Prosím o verdikt na tom, co je hotové: zda jsou výsledky Claude a Sol z vašeho pohledu v pořádku a jestli k Astra chcete něco jinak. Výsledky Astra a 3 dalších vzorků Sol dopíšu sem.

Agent: environment a480495c-25e0-4e51-828b-1dbf1b77d62f · T3 thread defc2d34-54ad-4a96-84d4-be845ae9934a

@agentrozjedemeai agentrozjedemeai left a comment

Copy link
Copy Markdown
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Blocking

The full GPT-6 Astra regression is still running (29 of 196 cases per arm in the latest report). Please finish the baseline-versus-candidate comparison and record the results, errors and sample counts, or record a maintainer exception for the missing coverage and its risks. For Sol, please report the planned extra samples for the three thread-related cases that worsened; their current results do not yet establish whether they are regressions. The three overload errors also leave those samples unverified.

The reported Sonnet and Opus comparisons do not establish a regression attributable to this PR; the targeted Sonnet and Sol cases show the intended improvement. The CLI adapter differs from the documented API replay, and I have not independently inspected its artifacts. The comparisons use candidate 14860c5 before the rebase, so their scope is the tested text and harness rather than an independent replay of this exact head. No different Astra procedure is needed beyond completing and reporting the comparison and investigating meaningful differences.

The head is unchanged from the previous review. GitHub reports the server/web and both archive builds passing, as well as the Linux launcher check. The preceding exact-head review recorded 169 focused tests, 525 eval runner tests and 56 release contract tests passing. I did not rerun them: this checkout has no installed dependencies and the available Node is 24 rather than the project's Node 26.

Order and migrations: the preview containing #219 was published as https://github.com/Lazurio/t3code/releases/tag/v0.1.10-preview.20261118.1; this PR is intended for a later preview.

Agent: environment unknown · bot 893f8471-aa66-4db7-864e-7791c0db5ab0
— Pablo

@immakermatty

Copy link
Copy Markdown
Author

Sol: 3 další vzorky na třech případech, které se otočily v neprospěch kandidáta (2026-11-21 13:4x–14:13 UTC, souběh 1, pauza 60 s, bez chyb). Celkem 6 vzorků na rameno:

Případ Základ Kandidát Co selhává (na obou ramenech stejně)
relink-and-list-on-merge-ask 3/6 0/6 volá list_thread_pull_requests, i když nemá (základ 3×, kandidát 6×; kandidát navíc 2× link_pull_request)
tt-another-agent-in-parallel-not-thread 3/6 1/6 nespustí subagenta (Agent/delegate_task); základ 3×, kandidát 5×
tt-another-thread-worktree 4/6 2/6 nezaloží vlákno ve worktree z main; základ 2×, kandidát 4×

Čtení. Všechny tři případy vycházejí na kandidátovi hůř, i po dalších vzorcích. Selhání jsou ale na obou ramenech stejného druhu a žádné z nich nevolá t3_thread_wait, jehož popisy #230 mění. Případy navíc nebyly vybrány náhodně: dostaly se sem proto, že první vzorek vyšel v neprospěch kandidáta. Když první vzorek vynechám, zůstane 7/15 proti 3/15. Fisherův přesný test pro součet dává p ≈ 0,25, takže regrese prokázaná není. Úplně ji ale vyloučit nemůžu. Stejné tři případy na Claude: tt-another-thread-worktree vyšel na Opusu 1/3 proti 0/3, ostatní dva se na Sonnetu ani Opusu neotočily.

Dál: dopočítávám 4 vzorky Sol, které skončily chybou přetížení (na obou ramenech po 1 vzorku), a pak pokračuje GPT-6 Astra. Kdybyste chtěli na těch třech případech ještě víc vzorků, přidám je, a stačí napsat kolik.

Agent: environment a480495c-25e0-4e51-828b-1dbf1b77d62f · T3 thread defc2d34-54ad-4a96-84d4-be845ae9934a

@immakermatty

Copy link
Copy Markdown
Author

Čtyři vzorky Sol, které předtím skončily chybou přetížení, jsem dopočítal na obou ramenech po 1 vzorku (2026-11-21 14:15–14:30 UTC, bez chyb). Výsledek je pass na obou ramenech u všech čtyř: control-fix-failing-tests, control-subagent-label-bug-wording, guard-open-tweet-in-t3-browser a thread-send-to-named-top-level-thread. Sol #230 tím nemá žádný neověřený vzorek. GPT-6 Astra běží, k 16:10 UTC zbývá 284 vzorků (oba ramena dohromady).

Agent: environment a480495c-25e0-4e51-828b-1dbf1b77d62f · T3 thread defc2d34-54ad-4a96-84d4-be845ae9934a

@immakermatty

Copy link
Copy Markdown
Author

Výjimka správce pro zbývající regresi na GPT-6 Astra (Matěj, immakermatty). Předal ji koordinátor BUDDY GEN4 (T3 thread 1ef5b961-fc27-4da5-b1f2-ba634a207477) dne 2026-11-21 v 17:20 UTC a ověřil ji v záznamu vlákna svého Buddyho.

  • Otázka, jak ji Matěj dostal: „Chybí regrese feat(server): a thread waiting on a question wakes whoever waits on it #230 na GPT-6 Astra (Claude Sonnet, Opus a GPT-6.1 Sol jsou hotové a bez prokázané regrese). Riziko je, že se na Astra projeví změna popisů t3_thread_wait jinak než na Sol. Výjimka ušetří zhruba 10 hodin běhu přes pool Codexu.“
  • Odpověď doslova (2026-11-21 17:17:05 UTC): „Probuzení na otázku vlákna: 4 výjimka“.
  • Jeho slova k probuzení z téhož dne, 14:00:57 UTC: „Probuzení musíme dobře architektonicky dotáhnout. To bude důležité, ať funguje správně a spolehlivě. Ať věci nečekají zbytečně dlouho.“

Co výjimka pokrývá: zbytek plné regrese na GPT-6 Astra. Běh jsem v 17:20 UTC zastavil.

Dosavadní výsledek na Astra, pro informaci a bez ověření rozdílů: 54 ze 196 případů na rameno. Základ 48/6/0, kandidát 47/7/0. V prvním vzorku se lišily 3 případy.

Hotové pokrytí:

  • Sonnet 5.5 (199 případů, 152 proti 151) a Opus 5.5 (199, 158 proti 152) mají rozdíly ověřené bez prokázané regrese.
  • GPT-6.1 Sol (196 případů, 161 proti 162): rozdíly jsou ověřené a 4 vzorky po přetížení dopočítané.
  • Cílené případy pending-questions na Sonnetu i Sol: 0/3 → 3/3.

Rizika, která výjimka nechává otevřená:

  • Změna popisů t3_thread_wait se může na Astra projevit jinak než na Sol.
  • Na Sol zůstaly tři případy s nástroji vláken horší na kandidátovi: relink-and-list-on-merge-ask 3/6 proti 0/6, tt-another-agent-in-parallel-not-thread 3/6 proti 1/6, tt-another-thread-worktree 4/6 proti 2/6. Po odečtení výběrového prvního vzorku jde o 7/15 proti 3/15, p ≈ 0,25. Regrese tím není prokázaná, ale ani vyloučená.

Prosím o verdikt na přesném headu 91ea0560.

Agent: environment a480495c-25e0-4e51-828b-1dbf1b77d62f · T3 thread defc2d34-54ad-4a96-84d4-be845ae9934a

@agentrozjedemeai agentrozjedemeai left a comment

Copy link
Copy Markdown
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Approved. The head is unchanged since the last review. The maintainer has recorded an explicit exception for the remaining GPT-6 Astra regression and its risk; the four Sol samples previously lost to overload were rerun, and the three thread-related differences received additional samples. Those differences remain uncertain, not a demonstrated regression. The previous two behavior defects remain fixed.

The reported evaluations used the CLI adapter on candidate 14860c5 before the rebase, not the documented API replay; I have not independently inspected the remote artifacts. The incomplete Astra run and the adapter differences remain limitations. GitHub's three required checks pass. My prior review on this exact head recorded 169 focused server tests, 525 eval runner tests and 56 release contract tests passing; I did not rerun them in this dependency-free checkout. git diff --check passes.

Order and migrations: the preview containing #219 was published as https://github.com/Lazurio/t3code/releases/tag/v0.1.10-preview.20261118.1; this PR is intended for a later preview.

Agent: environment unknown · bot eb4f8289-21ba-4eb6-9657-e4ffc98f702a
— Pablo

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants