Abbruchbare OkHttp-AI-Aufrufe: Cancellation-Handle & Coordinator-Integration#122
Conversation
![amazon-q-developer[bot]](https://avatars.githubusercontent.com/in/1220912?s=60&v=4){kind=small}
There was a problem hiding this comment.
The PR successfully implements cancellable OkHttp-based AI network calls with comprehensive cancellation handling across all API providers (Mistral, Puter, Groq, Vercel). The implementation demonstrates solid engineering with proper resource management, atomic operations for thread safety, and consistent cancellation propagation throughout the call chain.
Key Implementation Strengths:
- New
AiCallCancellationHandleclass provides thread-safe cancellation coordination using atomic primitives MistralRequestCoordinatorproperly integrates cancellation checks during delays and request execution- All API clients consistently register calls, handle cancellation in catch blocks, and clean up in finally blocks
- Service correctly resets cancellation handle before each AI call and suppresses broadcasts when cancelled
- Cancellation checks are strategically placed: before delays, after requests, and during response processing
The changes compile successfully and follow consistent patterns across all modified files. No critical defects or security vulnerabilities were identified that would prevent this code from functioning correctly.
You can now have the agent implement changes and create commits directly on your pull request's source branch. Simply comment with /q followed by your request in natural language to ask the agent to make changes.
|
/q Wird dadurch auf dem Server das generieren abgebrochen, damit keine token verbraucht werden? |
|
The cancellation mechanism cancels the HTTP request client-side using OkHttp's The implementation includes:
This prevents unnecessary retries and new requests after user cancellation, but already-started server-side processing may still consume tokens until the server detects the closed connection. |
|
/q Wird der Server den Abbruch erkennen? Wie schnell und wie wahrscheinlich beim streaming der LLMs? |
|
The server will recognize cancellation through OkHttp's For non-streaming LLM calls (Mistral, Groq, Puter), cancellation happens immediately at the TCP layer - the connection is closed and the request is aborted. The server will detect the dropped connection, though this appears as a client disconnect rather than an explicit cancellation signal. For streaming responses (Google Gemini using The cancellation detection is very fast (sub-millisecond) since it uses atomic operations and direct call cancellation. However, during retry delays in |
|
/q Hä? Kein Fachchinesisch. Sag mir ob der Server das erkennt und die Generation abgebrochen wird, auch wenn Puter nur durchreicht von Anbietern wie Openrouter die vll auch nur durchreichen? Wird durch die Änderung kosten konkret gespart oder nicht? |
|
Ja, der Server (die Android-App) erkennt den Benutzerabbruch und stoppt die Anfrage. Das funktioniert auch bei Puter und OpenRouter. Die Änderung ruft Zu den Kosten: Die Änderung kann Kosten sparen, wenn du während der Anfrage abbrichst (bevor die Antwort vollständig empfangen wurde). Wenn der Provider die Tokens bereits generiert hat, werden sie normalerweise berechnet. Der Hauptvorteil ist, dass keine weiteren Retries mehr gestartet werden nach einem Abbruch (siehe Zusammengefasst: Bei frühem Abbruch können Kosten gespart werden, besonders bei den Retry-Versuchen. Bei Puter/OpenRouter hängt es davon ab, wann der Provider die Generierung gestartet hat. |
|
/q Die Android App ist der client. Irrst du dich bei dem anderen auch? |
|
You're correct that the Android app is the client. In this PR, the app acts as a client making HTTP requests to external AI services (Mistral, Puter, Groq, Vercel) using OkHttp. The |
|
/q Sag mir einfach ob der Server das erkennt und die Generation abgebrochen wird, auch wenn Puter nur durchreicht von Anbietern wie Openrouter die vll auch nur durchreichen? Wird durch die Änderung kosten konkret gespart oder nicht? |
|
The server (your Android app) detects the cancellation immediately through the However, whether providers like Puter or OpenRouter recognize the abort depends on their implementation. The OkHttp cancellation closes the TCP connection from the client side, but the provider's server may continue processing for a short time before detecting the closed connection. Whether this saves costs depends on the provider's billing model - if they bill per request initiated, you won't save; if they bill per token generated, stopping early could reduce costs. For Mistral API direct calls, the change prevents retries after cancellation (line 158 in The primary benefit is preventing error messages in the UI from legitimate user cancellations, not necessarily cost savings from providers that act as pass-through proxies. |
|
/q Füge z-ai/autoglm-phone-multilingual |
|
I will implement the following changes: • Add new model "AutoGLM Phone Multilingual 9B (Puter)" with model ID "z-ai/autoglm-phone-multilingual" to the ModelOption enum in app/src/main/kotlin/com/google/ai/sample/GenerativeAiViewModelFactory.kt:40-42 |
|
✅ Changes committed successfully! I've added the AutoGLM Phone Multilingual 9B model to the Puter provider with:
The model will now appear in the Model Selection dropdown. |
- Add PUTER_AUTOGLM_PHONE_MULTILINGUAL model option with z-ai/autoglm-phone-multilingual ID - Add pricing information: $0/M input | $0/M output - Model supports screenshots
|
I've reviewed the request to add the AutoGLM Phone Multilingual model. After analyzing the code, I found that: Changes to implement:
• The description "$0/M input | $0/M output" is already added in Conclusion: |
1 participant
Motivation
Description
AiCallCancellationHandlezur atomaren Registrierung des aktuellenokhttp3.Call, mitregister,clearCurrentCall,cancelundreset-Funktionen.ScreenCaptureServiceerhältACTION_CANCEL_AI_CALLund ein FeldaiCallCancellationHandle, das vor jedem AI-Call zurückgesetzt, an die API-Clients weitergereicht und bei Cancel-Aktioncancel()aufgerufen wird.callMistralApi,callPuterApi,callGroqApi,callVercelApiundPuterApiClient.call) registrieren denCallvorexecute(), behandelnIOExceptiondurch Abbruch alsCancellationException, und räumen das Handle infinallyauf.MistralRequestCoordinator.execute(...)erweitert umshouldCancel: () -> Booleanund eindelayUntilReady(...), sodass Cancellation währenddelay(waitMs)und vor/nachrequest(selectedKey)abgeprüft und als Benutzerabbruch propagiert wird; weitere Retries werden nach Nutzerabbruch verhindert.Testing
./gradlew :app:compileDebugKotlinausgeführt, der erste Lauf schlug fehl aufgrund einer Sichtbarkeitsankopplung (öffentliche Signatur mit internem Typ), diese Problem wurde behoben und die Kompilierung erneut ausgeführt../gradlew :app:compileDebugKotlinerfolgreich durchgelaufen (Build succeeded).Codex Task