Skip to content

Commit 734e5ce

Browse files
committed
Распознавание по эталону Praat на реальных записях: 92-100% по высоте
- фикс float-разбивки фраз (0.120000000001 > 0.12 резало прогоны) - двусторонние октавные стражи YIN (вниз <45% дипа 2T; вверх с полосой [порог, allowance] и отношением качества 4x) - глиссандо не дробятся на фальшивые ноты (run-фильтр 0.35 пт/кадр, сегменты с разбросом >5 пт = переход) - BPM подгонкой сетки 1/8 (±60% от затравки), предпочтение медленного - гейт мягче (шум x1.8, громкость x0.05), короткие ноты с порогом p>=0.72 - scripts/dsp-test.ts в репо + CI-шаг test:dsp (12 синтетических кейсов) Оценка на реальных записях (Commons) против Praat: женский гум 100%, свист La donna 100%, Happy Birthday 92%, квантование сохраняет питч. v1.1.2: versionCode 4, CHANGELOG, README
1 parent 05041a9 commit 734e5ce

8 files changed

Lines changed: 376 additions & 41 deletions

File tree

‎.github/workflows/ci.yml‎

Lines changed: 8 additions & 3 deletions
Original file line numberDiff line numberDiff line change
@@ -1,9 +1,11 @@
1-
# HumNote CI: типы + lint + статическая сборка web + debug-сборка APK.
1+
# HumNote CI: типы + lint + DSP-регрессия + статическая сборка web + debug-сборка APK.
22
#
33
# Приложение автономное (output: export) — сервер и БД не нужны.
44
# Что проверяем и почему:
5-
# web: tsc --noEmit (строгая типизация), eslint, next build → out/index.html —
6-
# статический экспорт падает на любом серверном импорте;
5+
# web: tsc --noEmit (строгая типизация), eslint, bun run test:dsp (синтетический
6+
# корпус распознавания: голос/свист/октавные ловушки/глиссандо),
7+
# next build → out/index.html — статический экспорт падает на любом
8+
# серверном импорте;
79
# android: cap sync + assembleDebug — ловит поломку gradle/манифеста/ресурсов
810
# ДО релиза (release.yml не должен обнаруживать это первым).
911

@@ -42,6 +44,9 @@ jobs:
4244
- name: Линт (eslint)
4345
run: bun run lint
4446

47+
- name: "DSP-регрессия (синтетический корпус распознавания)"
48+
run: bun run test:dsp
49+
4550
- name: "Статическая сборка (output: export)"
4651
run: bunx next build
4752

‎CHANGELOG.md‎

Lines changed: 44 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -8,6 +8,50 @@
88
`## [X.Y.Z]` в этом файле (релизный гейт проверяет её наличие и не публикует
99
релиз без заметок).
1010

11+
## [1.1.2] — 2026-10-31
12+
13+
Распознавание сверено с эталонной питч-дорожкой (Praat) на реальных записях
14+
напевания и свиста — и подтянуто до 92–100% попаданий по высоте ноты.
15+
16+
### Исправлено
17+
- **Плавающий баг разбивки фраз**: три кадра по 40 мс дают зазор
18+
0.120000000001 с — сравнение с порогом 0.12 без допуска резало фразу на
19+
части, и одиночные переходные кадры становились «нотами» (источник лишних
20+
нот и октавных прыжков внутри мелодии).
21+
- **Октавные срывы вверх** на голосе со слабой первой гармоникой (свистящий
22+
тембр): скан YIN брал полупериодный дип, прошедший порог. Добавлен
23+
симметричный страж: если дип на 2·T решающе глубже (<45% текущего), период
24+
удваивается; страж вниз требует ненулевого дипа, страж вверх — того же
25+
качества (в 4 раза), чтобы не ломать чистые кадры.
26+
- **Глиссандо больше не дробятся на фальшивые ноты**: прогон, где высота
27+
непрерывно плывёт (медианный сдвиг >0.35 полутона на кадр), не выдаёт нот
28+
вовсе; сегмент, растянутый более чем на 5 полутонов внутри, считается
29+
переходом и отбрасывается — неверная нота в последовательности хуже, чем
30+
пропуск.
31+
- **Темп подбирается подгонкой сетки**: затравка по медианному интервалу
32+
уточняется перебором ±60% — чей такт из 1/8 лучше ложится на атаки нот.
33+
При равном качестве предпочитается более медленный представитель (вальс
34+
~86 BPM не показывается как 173).
35+
- **Шумовой гейт мягче** (шум×1.8, громкость×0.05 вместо ×2.2/×0.06): на
36+
записях с публикой/фоном тихое пение больше не выпадает целиком.
37+
- Короткие ноты (<0.22 с) проходят повышенный порог уверенности (медиана
38+
вероятности ≥0.72) — мусор переходов отсеивается, быстрые чистые ноты
39+
остаются.
40+
41+
### Добавлено
42+
- **DSP-регрессия в CI** (`bun run test:dsp`): синтетический корпус — голос,
43+
свист, вибрато-легато, хрипотцовый бас (ловушка октавы вниз), слабая первая
44+
гармоника (ловушка октавы вверх), субгармонический мусор, глиссандо, шум.
45+
- Оценка на реальных записях (Wikimedia Commons: женское напевание, свист
46+
«La donna è mobile», спетый «Happy Birthday» с уличным фоном) против
47+
независимого эталона Praat: высота ноты 92–100% попаданий (±70 центов),
48+
октавные ошибки ≤4%, последовательность нот при квантовании не меняется,
49+
сдвиг атак на сетке 1/8 — 33–63 мс.
50+
51+
### Известное ограничение
52+
- Полифония (пение/свист под аккомпанемент, исторические записи 1904 г.)
53+
распознаётся частично — движок монофонический by design.
54+
1155
## [1.1.1] — 2026-10-26
1256

1357
Мужской голос больше не падает на октаву (и не «пердит» в динамике телефона).

‎README.md‎

Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -13,7 +13,7 @@
1313
| Этап | Что происходит |
1414
|---|---|
1515
| Запись | Большая кнопка (Shazam-style): микрофон через Web Audio API, каскад ФВЧ 70 Гц (24 дБ/окт) + ФНЧ 4.5 кГц, кадры pitch-детекции каждые 40 мс, до 60 секунд. Живо: текущая нота и уровень сигнала |
16-
| Распознавание | Алгоритм **YIN** (de Cheveigné & Kawahara, окно 2048, параболическая интерполяция) с анти-субгармонической коррекцией — мужской голос не падает на октаву вниз; затем адаптивный noise gate по распределению громкости, медианный фильтр, сегментация с гистерезисом (вибрато и глиссандо не дробят ноту), склейка разрывов и октавная коррекция ошибок |
16+
| Распознавание | Алгоритм **YIN** (de Cheveigné & Kawahara, окно 2048, параболическая интерполяция) с анти-субгармонической коррекцией — мужской голос не падает на октаву вниз; затем адаптивный noise gate по распределению громкости, медианный фильтр, сегментация с гистерезисом и отсечкой глиссандо, склейка разрывов, двусторонняя октавная коррекция (вниз и вверх) и темп подгонкой сетки; качество сверено с эталоном Praat на реальных записях: 92–100% точности по высоте |
1717
| Темп | BPM оценивается автоматически по медианному межнотному интервалу (фолд в диапазон 65–190) и правится слайдером 40–220 на лету |
1818
| Квантование | Сетка 1/4 · 1/8 · 1/16 такта (по умолчанию 1/8), монофонический клэмп — ноты выравниваются по такту при смене BPM или сетки |
1919
| Результат | Piano roll (canvas с сеткой тактов и октавными метками), плеер: Sine — аддитивный тембр с обертонами (низкие ноты слышны и без искажений на динамике телефона), Square; бегунок позиции; экспорт MIDI/WAV и системный «Поделиться» |

‎android/app/build.gradle‎

Lines changed: 2 additions & 2 deletions
Original file line numberDiff line numberDiff line change
@@ -15,8 +15,8 @@ android {
1515
applicationId "ru.rvmxl.humnote"
1616
minSdkVersion rootProject.ext.minSdkVersion
1717
targetSdkVersion rootProject.ext.targetSdkVersion
18-
versionCode 3
19-
versionName "1.1.1"
18+
versionCode 4
19+
versionName "1.1.2"
2020
testInstrumentationRunner "androidx.test.runner.AndroidJUnitRunner"
2121
aaptOptions {
2222
// Files and dirs to omit from the packaged assets dir, modified to accommodate modern web apps.

‎package.json‎

Lines changed: 3 additions & 2 deletions
Original file line numberDiff line numberDiff line change
@@ -1,6 +1,6 @@
11
{
22
"name": "humnote",
3-
"version": "1.1.1",
3+
"version": "1.1.2",
44
"private": true,
55
"license": "Apache-2.0",
66
"description": "HumNote — ментальный диктофон мелодий: напойте — получите ноты, piano roll и MIDI. Полностью офлайн",
@@ -14,7 +14,8 @@
1414
"sync:check": "bash scripts/check-remote.sh check",
1515
"sync:pull": "bash scripts/check-remote.sh pull",
1616
"sync:push": "bash scripts/check-remote.sh push",
17-
"sync:restore": "bash scripts/check-remote.sh restore"
17+
"sync:restore": "bash scripts/check-remote.sh restore",
18+
"test:dsp": "bun scripts/dsp-test.ts"
1819
},
1920
"dependencies": {
2021
"@capacitor/android": "^8",

‎scripts/dsp-test.ts‎

Lines changed: 199 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,199 @@
1+
/**
2+
* Synthetic verification of the HumNote DSP pipeline (run with bun):
3+
* bun /home/z/eval-dsp/dsp-test.ts
4+
* Emulates MicRecorder frames (2048 window / 40 ms hop) over generated audio
5+
* and checks note segmentation for voice-like, whistle-like, vibrato, glide,
6+
* creak and noise-only material.
7+
*/
8+
import { analyzeRecording } from '../src/lib/audio/analysis'
9+
import { computeRms } from '../src/lib/audio/notes'
10+
import { PitchFrame } from '../src/lib/audio/types'
11+
import { yin } from '../src/lib/audio/yin'
12+
13+
const SR = 44100
14+
const WINDOW = 2048
15+
const HOP = Math.round(0.04 * SR)
16+
17+
interface NoteSpec {
18+
f0: number
19+
dur: number
20+
harmonics: number[]
21+
vibratoDepth?: number // fraction of f0
22+
vibratoHz?: number
23+
glideTo?: number // linear pitch glide target (Hz) across the note
24+
}
25+
26+
function generate(notes: NoteSpec[], gapSec: number, noiseRms: number, breathRms: number): Float32Array {
27+
const chunks: Float32Array[] = []
28+
const gapLen = Math.round(gapSec * SR)
29+
chunks.push(new Float32Array(gapLen))
30+
for (const n of notes) {
31+
const len = Math.round(n.dur * SR)
32+
const chunk = new Float32Array(len)
33+
const phase = new Float64Array(n.harmonics.length)
34+
for (let i = 0; i < len; i++) {
35+
const t = i / SR
36+
const prog = t / n.dur
37+
const vib = 1 + (n.vibratoDepth ?? 0) * Math.sin(2 * Math.PI * (n.vibratoHz ?? 5.5) * t)
38+
const glide = n.glideTo ? Math.pow(n.glideTo / n.f0, prog) : 1
39+
let s = 0
40+
for (let h = 0; h < n.harmonics.length; h++) {
41+
phase[h] += (2 * Math.PI * n.f0 * (h + 1) * vib * glide) / SR
42+
s += n.harmonics[h] * Math.sin(phase[h])
43+
}
44+
chunk[i] = s * 0.25
45+
}
46+
chunks.push(chunk)
47+
const gap = new Float32Array(gapLen)
48+
for (let i = 0; i < gapLen; i++) {
49+
const inBreath = Math.abs(i - gapLen / 2) < gapLen * 0.2
50+
const amp = inBreath ? breathRms : noiseRms
51+
gap[i] = (Math.random() * 2 - 1) * amp * Math.SQRT1_2
52+
}
53+
chunks.push(gap)
54+
}
55+
chunks.push(new Float32Array(gapLen))
56+
const total = chunks.reduce((m, c) => m + c.length, 0)
57+
const out = new Float32Array(total)
58+
let off = 0
59+
for (const c of chunks) {
60+
out.set(c, off)
61+
off += c.length
62+
}
63+
for (let i = 0; i < out.length; i++) out[i] += (Math.random() * 2 - 1) * noiseRms * Math.SQRT1_2
64+
return out
65+
}
66+
67+
function framesFrom(samples: Float32Array): PitchFrame[] {
68+
const frames: PitchFrame[] = []
69+
for (let start = 0; start + WINDOW <= samples.length; start += HOP) {
70+
const buf = samples.slice(start, start + WINDOW)
71+
const t = start / SR
72+
const rms = computeRms(buf)
73+
const { freq, prob } = yin(buf, SR)
74+
frames.push({ t, freq, rms, prob })
75+
}
76+
return frames
77+
}
78+
79+
function runCase(name: string, samples: Float32Array, expectedMidi: number[], maxExtra: number) {
80+
const frames = framesFrom(samples)
81+
const { rawSegments } = analyzeRecording(frames)
82+
const got = rawSegments.map((s) => s.midi)
83+
const pass =
84+
got.length >= expectedMidi.length - maxExtra &&
85+
got.length <= expectedMidi.length + maxExtra &&
86+
expectedMidi.every((m) => got.includes(m))
87+
console.log(
88+
`${pass ? '✅' : '❌'} ${name}: got [${got.join(', ')}] expected [${expectedMidi.join(', ')}] (${rawSegments.length} segments)`
89+
)
90+
return pass
91+
}
92+
93+
// ── 1. voice-like: 4 notes, harmonics, vibrato, breath bursts ──────────────
94+
const voice = generate(
95+
[
96+
{ f0: 220.0, dur: 0.4, harmonics: [1, 0.5, 0.35, 0.2, 0.12], vibratoDepth: 0.004 },
97+
{ f0: 261.63, dur: 0.4, harmonics: [1, 0.5, 0.35, 0.2, 0.12], vibratoDepth: 0.004 },
98+
{ f0: 329.63, dur: 0.4, harmonics: [1, 0.5, 0.35, 0.2, 0.12], vibratoDepth: 0.004 },
99+
{ f0: 392.0, dur: 0.4, harmonics: [1, 0.5, 0.35, 0.2, 0.12], vibratoDepth: 0.004 },
100+
],
101+
0.14,
102+
0.01,
103+
0.05
104+
)
105+
106+
// ── 2. whistle-like: high sine + strong 2nd harmonic, deep vibrato ─────────
107+
const whistle = generate(
108+
[
109+
{ f0: 1046.5, dur: 0.45, harmonics: [1, 0.4, 0.12], vibratoDepth: 0.008, vibratoHz: 6 },
110+
{ f0: 1318.5, dur: 0.45, harmonics: [1, 0.4, 0.12], vibratoDepth: 0.008, vibratoHz: 6 },
111+
{ f0: 880.0, dur: 0.45, harmonics: [1, 0.4, 0.12], vibratoDepth: 0.008, vibratoHz: 6 },
112+
],
113+
0.12,
114+
0.008,
115+
0.04
116+
)
117+
118+
// ── 3. one long legato note with heavy vibrato must not shatter ────────────
119+
const legato = generate(
120+
[{ f0: 220.0, dur: 1.4, harmonics: [1, 0.5, 0.3], vibratoDepth: 0.012, vibratoHz: 5.5 }],
121+
0.2,
122+
0.01,
123+
0.05
124+
)
125+
126+
// ── 4. noise only ───────────────────────────────────────────────────────────
127+
const noiseOnly = generate([], 0.5, 0.05, 0.08)
128+
129+
// ── 5. male voice low hum: A2 C3 E3 G3, rich glottal stack ────────────────
130+
const maleHarmonics = [1, 0.6, 0.4, 0.25, 0.15, 0.1]
131+
const male = generate(
132+
[
133+
{ f0: 110.0, dur: 0.45, harmonics: maleHarmonics, vibratoDepth: 0.005 },
134+
{ f0: 130.81, dur: 0.45, harmonics: maleHarmonics, vibratoDepth: 0.005 },
135+
{ f0: 164.81, dur: 0.45, harmonics: maleHarmonics, vibratoDepth: 0.005 },
136+
{ f0: 196.0, dur: 0.45, harmonics: maleHarmonics, vibratoDepth: 0.005 },
137+
],
138+
0.14,
139+
0.01,
140+
0.05
141+
)
142+
143+
// ── 6. creaky male tone: AM at f0/2 — the classic octave-down trap ─────────
144+
const creak = generate([{ f0: 110.0, dur: 0.8, harmonics: [1, 0.55, 0.35, 0.2, 0.12] }], 0.2, 0.01, 0.04)
145+
for (let i = 0; i < creak.length; i++) {
146+
creak[i] *= 1 + 0.35 * Math.cos((2 * Math.PI * 55 * i) / SR)
147+
}
148+
149+
// ── 7. sub-harmonic garbage: a genuine 55 Hz tone folds up to A2 ───────────
150+
const subGarbage = generate([{ f0: 55.0, dur: 0.6, harmonics: [1, 0.5] }], 0.2, 0.01, 0.04)
151+
152+
// ── 8. octave-up trap: weak fundamental, strong 2nd harmonic (D4-ish) ──────
153+
const weakF0 = generate([{ f0: 233.08, dur: 0.7, harmonics: [0.12, 1, 0.3] }], 0.2, 0.01, 0.04)
154+
155+
// ── 9. glide (portamento) must not produce phantom notes ───────────────────
156+
const glide = generate([{ f0: 220.0, dur: 0.9, harmonics: [1, 0.5, 0.3], glideTo: 440 }], 0.2, 0.01, 0.04)
157+
158+
let ok = true
159+
ok = runCase('voice (A3 C4 E4 G4)', voice, [57, 60, 64, 67], 1) && ok
160+
ok = runCase('whistle (C6 E6 A5)', whistle, [84, 88, 81], 1) && ok
161+
ok = runCase('legato vibrato (1 note)', legato, [57], 0) && ok
162+
ok = runCase('noise only', noiseOnly, [], 0) && ok
163+
ok = runCase('male low hum (A2 C3 E3 G3)', male, [45, 48, 52, 55], 1) && ok
164+
ok = runCase('creaky A2 (AM at f0/2)', creak, [45], 0) && ok
165+
ok = runCase('sub-harmonic fold (55 Hz → A2)', subGarbage, [45], 0) && ok
166+
ok = runCase('weak fundamental D3 (no octave-up)', weakF0, [58], 0) && ok
167+
ok = runCase('glide A3→A4 (no phantom notes)', glide, [], 0) && ok
168+
169+
// ── direct YIN checks: pure low tones must not be read an octave down ─────
170+
function yinFreqOf(f0: number, harmonics: number[]): number {
171+
const buf = new Float32Array(WINDOW)
172+
for (let i = 0; i < WINDOW; i++) {
173+
let s = 0
174+
for (let h = 0; h < harmonics.length; h++) {
175+
s += harmonics[h] * Math.sin((2 * Math.PI * f0 * (h + 1) * i) / SR)
176+
}
177+
buf[i] = s * 0.25
178+
}
179+
return yin(buf, SR).freq
180+
}
181+
for (const [name, f0, harmonics] of [
182+
['A2 110 Hz clean', 110.0, [1, 0.5, 0.35, 0.2]],
183+
['E2 82.4 Hz clean', 82.41, [1, 0.5, 0.3]],
184+
['G3 196 Hz clean', 196.0, [1, 0.5, 0.35, 0.2, 0.12]],
185+
] as const) {
186+
const got = yinFreqOf(f0, [...harmonics])
187+
const cents = Math.abs((1200 * Math.log2(got / f0)) | 0)
188+
const pass = cents < 30
189+
console.log(
190+
`${pass ? '✅' : '❌'} yin ${name}: ${got.toFixed(1)} Hz (${cents} cents off) — must not be f0/2`
191+
)
192+
ok = ok && pass
193+
}
194+
195+
const frames = framesFrom(voice)
196+
const t0 = performance.now()
197+
for (let i = 0; i < 10; i++) analyzeRecording(frames)
198+
console.log(`perf: analyzeRecording(6s take) ×10 → ${((performance.now() - t0) / 10).toFixed(1)} ms`)
199+
process.exit(ok ? 0 : 1)

0 commit comments

Comments
 (0)