Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
46 changes: 30 additions & 16 deletions docs/utilities/whisper-transcriber.mdx
Original file line number Diff line number Diff line change
Expand Up @@ -64,7 +64,14 @@ The app is built as a standalone micro-application under `static/utility-apps/wh

## First run: the model download

The first time you press **Transcribe**, the browser downloads the multilingual Whisper Tiny weights (about 77 MB) from the Hugging Face Hub and caches them. This is the only network traffic the utility generates, and it carries no audio — only the model files.
The first time you press **Start Transcription**, the browser downloads the multilingual Whisper Tiny weights from the Hugging Face Hub and caches them. This is the only network traffic the utility generates, and it carries no audio — only the model files.

How much depends on which engine runs, and the badge at the top of the utility always shows the figure for your device before you start:

| Engine | Weights | Typical device |
| --- | --- | --- |
| WASM | **~41 MB** | Phones and tablets, and any browser without WebGPU |
| WebGPU | **~77 MB** | Desktop browsers with GPU support |

- Later runs start from that cache and need no network at all.
- Clearing site data, using a private window, or browser storage pressure can evict the cache and trigger a fresh download.
Expand All @@ -80,39 +87,46 @@ The first time you press **Transcribe**, the browser downloads the multilingual

## Workflow

1. Drop an audio or video file into the drop zone, or press **Record microphone** and stop when you are done.
1. Drop an audio or video file into the drop zone, or press **Record Audio** and stop when you are done.
2. Wait for the status line to report the media as ready — it shows duration, and whether the windowed pipeline will be used.
3. Choose language, timestamps, and runtime if the defaults do not suit the recording.
4. Press **Transcribe**. On the first run, the progress bar shows the model download; after that it goes straight to inference.
5. Correct the transcript in place — the text area is editable.
3. Choose language, timestamps, and engine if the defaults do not suit the recording.
4. Press **Start Transcription**. On the first run, the progress bar shows the model download; after that it goes straight to inference.
5. Correct the transcript in place — the text area is editable, and the exports below read from it.
6. Copy the text, or export TXT, SRT, or WebVTT.
7. Press **Clear session** to drop the media, transcript, and loaded model from memory.
7. Press **Clear File** to drop the media, transcript, and loaded model from memory.

## Settings

| Setting | Options | What it changes |
| --- | --- | --- |
| Model | Whisper Tiny (multilingual, ~77 MB) | The weights used for recognition and the size of the first download. |
| Language | Automatic, English, Russian | Automatic lets Whisper detect the language; picking one explicitly is more reliable on short or noisy clips. |
| Timestamps | Segment, Off | Segment produces the timestamped list that SRT and WebVTT export needs. Off returns plain text only. |
| Runtime | Auto (WebGPU → WASM), WASM only, WebGPU preferred | Auto uses the GPU when the browser exposes WebGPU and silently falls back to WASM. WASM only is the slower but most compatible path. |
| Model | Whisper Tiny (multilingual) | The weights used for recognition. The size shown is the one your device will actually fetch. |
| Language | Automatic Detection, English Only, Russian Only | Automatic lets Whisper detect the language; picking one explicitly is more reliable on short or noisy clips. |
| Timestamps | Show Timestamps, Text Only | Timestamps produce the segment list that SRT and WebVTT export needs. |
| Engine Runtime | Auto (GPU/WASM), WASM Only, WebGPU Preferred | Auto uses the GPU on desktop and WASM on phones. WASM is slower but works everywhere, and the utility falls back to it by itself whenever the GPU path is unavailable. |

## Long recordings

Short clips are decoded in one pass. Longer media is probed first and then run through a conveyor of roughly 30-second mono windows with 5 seconds of overlap, so only one window of audio sits in memory at a time while the model stays loaded between windows. The transcript fills in window by window, and **Cancel** stops the run without losing what has already been produced.
Short clips are decoded in one pass. Longer media is probed first and then run through a conveyor of mono windows, so only one window of audio sits in memory at a time while the model stays loaded between windows. Desktop uses 30-second windows with 5 seconds of overlap; phones use 15 and 3, which halves the peak memory. The transcript fills in window by window, and **Cancel** stops the run without losing what has already been produced.

## On a phone

The utility runs on mobile browsers, with a few adjustments made for you: the WASM engine is the default, the model download is the smaller 41 MB one, and audio is windowed more tightly. Two things are still worth knowing.

- **Keep the tab in the foreground.** The utility asks to keep the screen awake while it works, but that does not stop the operating system suspending the page if you switch to another app. A long transcription needs the tab visible.
- **Expect it to be slower than a laptop.** The work is real inference on your own device; a phone simply has less to give it.

## Privacy

- Audio, video, filenames, transcript text, and your edits stay in the page. They are never sent to CAD AutoScript, to analytics, or to any transcription API.
- The only outbound requests are the pinned model files from the Hugging Face Hub.
- The microphone is only accessed after you press **Record microphone**, and this is the only utility on the site that is granted microphone permission at all.
- **Clear session** releases the microphone stream, the audio buffers, and the loaded model. Closing the tab does the same.
- The only outbound requests are the pinned model files from the Hugging Face Hub. There are no fonts, scripts, or trackers loaded from anywhere else, and the build is checked for that automatically before it can be published.
- The microphone is only accessed after you press **Record Audio**, and this is the only utility on the site that is granted microphone permission at all.
- **Clear File** releases the microphone stream, the audio buffers, and the loaded model. Closing the tab does the same.
- Nothing is written to your account, and no transcript history is kept — save or export anything you want to keep before you leave the page.

## Requirements and limits

- A current Chromium, Firefox, or Safari release with WebAssembly support. WebGPU is optional and only adds speed.
- Roughly 77 MB of free browser cache for the model, plus working memory proportional to the recording length.
- A current Chromium, Firefox, or Safari release with WebAssembly support, on desktop or mobile. WebGPU is optional and only adds speed.
- 41 MB of free browser cache for the model (77 MB on the WebGPU path), plus working memory proportional to the recording length.
- Whisper Tiny favours speed over accuracy: expect to proofread technical vocabulary, part numbers, and proper names.
- Heavy accents, crosstalk, and noisy site audio degrade the result — a closer microphone helps far more than any setting here.
- Speaker diarization ("who said what"), live rolling transcription, and larger Whisper models are not part of this version.
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -64,7 +64,14 @@ Die Anwendung ist als eigenständige Mikroanwendung unter `static/utility-apps/w

## Erster Start: der Modell-Download

Beim ersten Klick auf **Transcribe** lädt der Browser die Gewichte des mehrsprachigen Whisper-Tiny-Modells (rund 77 MB) vom Hugging Face Hub und legt sie im Cache ab. Das ist der einzige Netzwerkverkehr dieses Werkzeugs, und er enthält kein Audio — nur die Modelldateien.
Beim ersten Klick auf **Start Transcription** lädt der Browser die Gewichte des mehrsprachigen Whisper-Tiny-Modells vom Hugging Face Hub und legt sie im Cache ab. Das ist der einzige Netzwerkverkehr dieses Werkzeugs, und er enthält kein Audio — nur die Modelldateien.

Wie viel, hängt davon ab, welche Engine läuft; das Abzeichen oben im Werkzeug nennt den Wert für Ihr Gerät im Voraus:

| Engine | Gewichte | Typisches Gerät |
| --- | --- | --- |
| WASM | **~41 MB** | Smartphones und Tablets sowie Browser ohne WebGPU |
| WebGPU | **~77 MB** | Desktop-Browser mit GPU-Unterstützung |

- Spätere Läufe greifen auf den Cache zu und benötigen überhaupt kein Netz.
- Das Löschen der Websitedaten, ein privates Fenster oder Speicherdruck im Browser können den Cache verdrängen und einen erneuten Download auslösen.
Expand All @@ -80,39 +87,46 @@ Beim ersten Klick auf **Transcribe** lädt der Browser die Gewichte des mehrspra

## Arbeitsablauf

1. Ziehen Sie eine Audio- oder Videodatei in die Ablagefläche oder drücken Sie **Record microphone** und stoppen Sie, wenn Sie fertig sind.
1. Ziehen Sie eine Audio- oder Videodatei in die Ablagefläche oder drücken Sie **Record Audio** und stoppen Sie, wenn Sie fertig sind.
2. Warten Sie, bis die Statuszeile die Medien als bereit meldet — sie zeigt die Dauer und ob die Fensterpipeline verwendet wird.
3. Passen Sie Sprache, Zeitstempel und Runtime an, falls die Voreinstellungen zur Aufnahme nicht passen.
4. Drücken Sie **Transcribe**. Beim ersten Lauf zeigt der Fortschrittsbalken den Modell-Download, danach geht es direkt zur Inferenz.
5. Korrigieren Sie das Transkript direkt — das Textfeld ist editierbar.
3. Passen Sie Sprache, Zeitstempel und Engine an, falls die Voreinstellungen zur Aufnahme nicht passen.
4. Drücken Sie **Start Transcription**. Beim ersten Lauf zeigt der Fortschrittsbalken den Modell-Download, danach geht es direkt zur Inferenz.
5. Korrigieren Sie das Transkript direkt — das Textfeld ist editierbar, und alle Exporte lesen daraus.
6. Kopieren Sie den Text oder exportieren Sie TXT, SRT oder WebVTT.
7. Mit **Clear session** werden Medien, Transkript und geladenes Modell aus dem Speicher entfernt.
7. Mit **Clear File** werden Medien, Transkript und geladenes Modell aus dem Speicher entfernt.

## Einstellungen

| Einstellung | Optionen | Wirkung |
| --- | --- | --- |
| Model | Whisper Tiny (mehrsprachig, ~77 MB) | Die Gewichte für die Erkennung und der Umfang des ersten Downloads. |
| Language | Automatic, English, Russian | Automatic lässt Whisper die Sprache erkennen; eine explizite Wahl ist bei kurzen oder verrauschten Clips zuverlässiger. |
| Timestamps | Segment, Off | Segment erzeugt die Liste mit Zeitstempeln, die der SRT- und WebVTT-Export benötigt. Off liefert nur reinen Text. |
| Runtime | Auto (WebGPU → WASM), WASM only, WebGPU preferred | Auto nutzt die GPU, wenn der Browser WebGPU bereitstellt, und fällt still auf WASM zurück. WASM only ist langsamer, aber am kompatibelsten. |
| Model | Whisper Tiny (mehrsprachig) | Die Gewichte für die Erkennung. Die angezeigte Größe ist die, die Ihr Gerät tatsächlich lädt. |
| Language | Automatic Detection, English Only, Russian Only | Automatic lässt Whisper die Sprache erkennen; eine explizite Wahl ist bei kurzen oder verrauschten Clips zuverlässiger. |
| Timestamps | Show Timestamps, Text Only | Zeitstempel erzeugen die Segmentliste, die der SRT- und WebVTT-Export benötigt. |
| Engine Runtime | Auto (GPU/WASM), WASM Only, WebGPU Preferred | Auto nutzt die GPU auf dem Desktop und WASM auf Smartphones. WASM ist langsamer, läuft aber überall, und das Werkzeug wechselt von selbst dorthin, sobald der GPU-Pfad nicht verfügbar ist. |

## Lange Aufnahmen

Kurze Clips werden in einem Durchgang dekodiert. Längere Medien werden zunächst geprüft und dann durch ein Fließband aus etwa 30-Sekunden-Fenstern mit 5 Sekunden Überlappung geführt: Es liegt immer nur ein Fenster im Speicher, während das Modell zwischen den Fenstern geladen bleibt. Das Transkript füllt sich Fenster für Fenster, und **Cancel** stoppt den Lauf, ohne das bereits Erzeugte zu verlieren.
Kurze Clips werden in einem Durchgang dekodiert. Längere Medien werden zunächst geprüft und dann durch ein Fließband aus Mono-Fenstern geführt: Es liegt immer nur ein Fenster im Speicher, während das Modell zwischen den Fenstern geladen bleibt. Auf dem Desktop sind das 30-Sekunden-Fenster mit 5 Sekunden Überlappung, auf Smartphones 15 und 3 — das halbiert den Speicherbedarf in der Spitze. Das Transkript füllt sich Fenster für Fenster, und **Cancel** stoppt den Lauf, ohne das bereits Erzeugte zu verlieren.

## Auf dem Smartphone

Das Werkzeug läuft in mobilen Browsern, und einiges wird dabei für Sie eingestellt: WASM ist die Standard-Engine, geladen wird das kleinere 41-MB-Modell, und das Audio wird enger gefenstert. Zwei Dinge sollten Sie wissen.

- **Lassen Sie den Tab im Vordergrund.** Das Werkzeug bittet das System, den Bildschirm nicht abzuschalten, aber das hindert es nicht daran, die Seite auszulagern, wenn Sie in eine andere App wechseln. Eine lange Transkription braucht den sichtbaren Tab.
- **Es ist langsamer als ein Laptop.** Hier läuft echte Inferenz auf Ihrem Gerät, und ein Telefon hat schlicht weniger zu bieten.

## Datenschutz

- Audio, Video, Dateinamen, Transkripttext und Ihre Änderungen bleiben auf der Seite. Sie werden weder an CAD AutoScript noch an Analytics oder eine Transkriptions-API gesendet.
- Die einzigen ausgehenden Anfragen sind die gepinnten Modelldateien vom Hugging Face Hub.
- Auf das Mikrofon wird erst nach dem Klick auf **Record microphone** zugegriffen, und dies ist die einzige Utility der Website, der überhaupt eine Mikrofonberechtigung erteilt wird.
- **Clear session** gibt den Mikrofon-Stream, die Audiopuffer und das geladene Modell frei. Das Schließen des Tabs bewirkt dasselbe.
- Die einzigen ausgehenden Anfragen sind die gepinnten Modelldateien vom Hugging Face Hub. Es werden keine Schriften, Skripte oder Tracker von anderswo geladen, und der Build wird vor der Veröffentlichung automatisch darauf geprüft.
- Auf das Mikrofon wird erst nach dem Klick auf **Record Audio** zugegriffen, und dies ist die einzige Utility der Website, der überhaupt eine Mikrofonberechtigung erteilt wird.
- **Clear File** gibt den Mikrofon-Stream, die Audiopuffer und das geladene Modell frei. Das Schließen des Tabs bewirkt dasselbe.
- Es wird nichts in Ihrem Konto gespeichert und keine Transkript-Historie geführt — sichern oder exportieren Sie alles Wichtige, bevor Sie die Seite verlassen.

## Voraussetzungen und Grenzen

- Eine aktuelle Chromium-, Firefox- oder Safari-Version mit WebAssembly-Unterstützung. WebGPU ist optional und bringt nur Geschwindigkeit.
- Rund 77 MB freier Browser-Cache für das Modell sowie Arbeitsspeicher proportional zur Aufnahmelänge.
- Eine aktuelle Chromium-, Firefox- oder Safari-Version mit WebAssembly-Unterstützung, auf dem Desktop oder mobil. WebGPU ist optional und bringt nur Geschwindigkeit.
- 41 MB freier Browser-Cache für das Modell (77 MB auf dem WebGPU-Pfad) sowie Arbeitsspeicher proportional zur Aufnahmelänge.
- Whisper Tiny bevorzugt Geschwindigkeit vor Genauigkeit: Fachbegriffe, Teilenummern und Eigennamen sollten Sie nachlesen.
- Starke Akzente, Durcheinanderreden und Baustellenlärm verschlechtern das Ergebnis — ein näheres Mikrofon hilft weit mehr als jede Einstellung hier.
- Sprechertrennung, laufende Live-Transkription und größere Whisper-Modelle sind nicht Teil dieser Version.
Expand Down
Loading
Loading