DeepSync - Система автоматического дубляжа видео

DeepSync - это приложение для автоматического дубляжа видео с английского на русский язык с сохранением характеристик оригинального голоса.

Возможности

• Разделение аудио на голос и фоновую музыку
• Транскрибация английской речи в текст
• Перевод текста на русский язык
• Генерация русской речи с сохранением характеристик оригинального голоса
• Сборка финального видео с переведенной речью и оригинальной музыкой

Технологии

• Demucs: Разделение аудио на голос и фоновую музыку
• Whisper: Транскрибация речи
• M2M100: Перевод текста
• Coqui XTTS v2: Синтез речи с клонированием голоса
• PyQt6: Графический интерфейс
• FFmpeg: Обработка видео и аудио
• PyTorch: Работа с нейронными сетями

Требования

• Python 3.8 или выше
• CUDA-совместимая видеокарта (опционально, для ускорения обработки)
• FFmpeg
• 8 ГБ ОЗУ минимум (рекомендуется 16 ГБ)
• 10 ГБ свободного места на диске для моделей

Установка

1. Клонируйте репозиторий:

git clone https://github.com/yourusername/DeepSync.git
cd DeepSync

2. Установите зависимости:

pip install -r requirements.txt

3. Установите FFmpeg:

• Windows: Скачайте с официального сайта
• Linux: sudo apt install ffmpeg
• macOS: brew install ffmpeg

Использование

1. Запустите приложение:

python src/main.py

2. Нажмите "Выбрать видео" и выберите видеофайл на английском языке

3. Нажмите "Начать обработку" и дождитесь завершения

4. Готовое видео будет сохранено в той же папке с именем "final_output.mp4"

Особенности работы

• При первом запуске будут загружены необходимые модели (около 10 ГБ)
• Время обработки зависит от длины видео и мощности компьютера
• Процесс можно отменить в любой момент кнопкой "Отменить" или сочетанием Ctrl+C
• Прогресс обработки отображается в окне логов

Авторы

• Дмитрий Шляшин Алексеевич ЭФБО-07-23
• Антон Стецко Владимирович ЭФБО-08-23

Лицензия

MIT License