Skip to content

About

Automated MLOps Pipeline for Real-Time Bitcoin Volatility Anomaly Detection using Continual Learning.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Repository files navigation

MLOps: Automated Anomaly Detection for Bitcoin Price Volatility

Python Version License: MIT Codespaces

📌 Deskripsi Proyek

Proyek MLOps ini membangun pipeline otomatisasi untuk mendeteksi dan memprediksi volatilitas harga Bitcoin secara real-time. Sistem ini mencakup otomatisasi ingesti data dari REST API, pembersihan data, data versioning menggunakan DVC, pelacakan eksperimen ML dan model registry menggunakan MLflow & DagsHub Cloud, containerization REST API dengan Docker, serta otomatisasi CI/CD terintegrasi ("Code as a Trigger") menggunakan GitHub Actions.


👤 Identitas Mahasiswa

  • Nama: Alif Kusuma Fauzan
  • NIM: 245150201111051
  • Program Studi: Teknik Informatika
  • Fakultas: Ilmu Komputer, Universitas Brawijaya

🗺️ Peta Jalan Praktikum (Sesuai RPS)

Modul Topik Utama RPS Deskripsi & Fokus Pengerjaan Status Dokumen Detail
LK-01 Pengantar MLOps Definisi, urgensi di produksi, perbedaan dengan DevOps, & setup repo ✅ Selesai docs/LK01_Setup_Environment.md
LK-02 Fondasi DevOps CI/CD, otomatisasi, dan budaya kolaborasi ✅ Selesai docs/LK02_Data_Exploration.md
LK-03 Siklus Hidup ML Konsep pengumpulan data, preprocessing, dan strategi retraining ✅ Selesai docs/LK03_Preprocessing_Pipeline.md
LK-04 Teknik Data Acquisition Ingestion/scraping REST API CoinGecko via GitHub Actions ✅ Selesai docs/LK04_Automated_Ingestion.md
LK-05 Manajemen Versi Konsep Data Lineage & integrasi DVC (Tracking v1.0 & v2.0) ✅ Selesai docs/LK05_DVC_Data_Versioning.md
LK-06 Eksperimentasi ML Tracking eksperimen, metrik evaluasi, dan reproduksibilitas ✅ Selesai docs/LK06_Eksperimentasi_ML.md
LK-07 Containerization dengan Docker Model Registry, Versioning v1-v4, Stage Transition, & Docker Serving ✅ Selesai docs/LK07_Containerization_Docker.md
LK-08 Pendalaman Konsep CI/CD Pipeline automation, Pytest, DagsHub remote, & Auto-Staging ✅ Selesai docs/LK08_Pipeline_Automation.md
LK-09 Orkestrasi Layanan ML Orkestrasi layanan Machine Learning terintegrasi ⏳ Mendatang docs/LK09_Orkestrasi_Layanan_ML.md
LK-10 Serving & Scaling Serving & scaling sistem Machine Learning di produksi ⏳ Mendatang docs/LK10_Serving_Scaling.md
LK-11 Observability Teknik monitoring performa model & data drift ⏳ Mendatang docs/LK11_Observability_Monitoring.md
LK-12 Model Maintenance Pemeliharaan, kaji ulang, dan pembaruan model berlanjut ⏳ Mendatang docs/LK12_Model_Maintenance.md
LK-13 Etika AI dan Tata Kelola Governance, transparansi, dan etika kecerdasan artifisial ⏳ Mendatang docs/LK13_Etika_AI_Governance.md

📁 Struktur Direktori

Struktur repositori ini mengikuti konvensi standar industri (Cookiecutter Data Science) yang disesuaikan dengan kebutuhan MLOps:

MLOps-BitcoinVolatilityDetection/
├── .devcontainer/                  # Konfigurasi otomatisasi GitHub Codespaces
├── .dvc/                           # Konfigurasi internal DVC
├── .github/
│   └── workflows/
│       ├── mlops-automation.yaml   # End-to-End CI/CD Pipeline Automation
│       └── schedule_ingest.yml     # Workflow automated data ingestion schedule
├── config/                         # File konfigurasi parameter pipeline (yaml)
├── data/                           # Penyimpanan data lokal & pointer DVC
│   ├── raw/                        # Data mentah hasil ingestion & pointer .dvc
│   └── processed/                  # Data terproses siap latih & pointer .dvc
├── docs/                           # Laporan & dokumentasi detail per Lembar Kerja
│   ├── LK01_Setup_Environment.md
│   ├── LK02_Data_Exploration.md
│   ├── LK03_Preprocessing_Pipeline.md
│   ├── LK04_Automated_Ingestion.md
│   ├── LK05_DVC_Data_Versioning.md
│   ├── LK06_Eksperimentasi_ML.md
│   ├── LK07_Containerization_Docker.md
│   └── LK08_Pipeline_Automation.md 
├── mlruns/                         # MLflow local tracking store directory
├── models/                         # Artefak model & metadata deployment
│   ├── metadata/
│   │   └── model_metadata.json     # Ringkasan metadata model LK-06
│   └── active_model.yaml.dvc       # Pointer DVC metadata model aktif (LK-07)
├── notebooks/                      # Jupyter Notebooks untuk EDA & eksperimen awal
├── src/                            # Source code modular produksi
│   ├── evaluate_and_register.py    # Threshold evaluation & auto-staging script
│   ├── ingest_data.py              # Skrip penarikan data dinamis (CoinGecko REST API)
│   ├── preprocess.py               # Skrip prapemrosesan & feature engineering
│   ├── register_and_transition.py  # Model Registry manager (LK-07)
│   ├── train.py                    # Skrip pelatihan model terintegrasi MLflow Tracking
│   └── verify_inference.py         # Skrip pengujian inferensi programmatic
├── tests/                          # Automated Unit Testing
│   └── test_pipeline.py            # Pytest integrity & Data Leakage test
├── .gitignore                      # Pengabaian file lokal oleh Git
├── app.py                          # Flask REST API Inference Server (Port 5000)
├── Dockerfile                      # Blueprint Containerization (Python 3.10-slim)
├── LICENSE                         # Lisensi proyek (MIT)
├── README.md                       # Dokumentasi utama repositori proyek
└── requirements.txt                # Daftar dependensi library Python

🛠️ Perkakas & Teknologi

Komponen Teknologi Fungsi Utama
Language Python 3.10 Bahasa pemrograman utama
Data Ingestion CoinGecko API, requests Penarikan data harga & volatilitas Bitcoin
Data Processing Pandas, PyArrow Pembersihan data & format Parquet
Data Versioning DVC (Data Version Control) Melacak versi dataset via DagsHub Remote
Experiment & Registry MLflow, DagsHub Cloud Pelacakan metrik, eksperimen, & Model Registry
Automated Testing Pytest Pengujian integritas skema data & Data Leakage
Machine Learning Scikit-Learn Algoritma Random Forest Classifier
Containerization Docker Packaging Flask REST API ke dalam kontainer
CI/CD Automation GitHub Actions Eksekusi otomatisasi pipeline ("Code as a Trigger")

About

Automated MLOps Pipeline for Real-Time Bitcoin Volatility Anomaly Detection using Continual Learning.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages