Proyek MLOps ini membangun pipeline otomatisasi untuk mendeteksi dan memprediksi volatilitas harga Bitcoin secara real-time. Sistem ini mencakup otomatisasi ingesti data dari REST API, pembersihan data, data versioning menggunakan DVC, pelacakan eksperimen ML dan model registry menggunakan MLflow & DagsHub Cloud, containerization REST API dengan Docker, serta otomatisasi CI/CD terintegrasi ("Code as a Trigger") menggunakan GitHub Actions.
- Nama: Alif Kusuma Fauzan
- NIM: 245150201111051
- Program Studi: Teknik Informatika
- Fakultas: Ilmu Komputer, Universitas Brawijaya
| Modul | Topik Utama RPS | Deskripsi & Fokus Pengerjaan | Status | Dokumen Detail |
|---|---|---|---|---|
| LK-01 | Pengantar MLOps | Definisi, urgensi di produksi, perbedaan dengan DevOps, & setup repo | ✅ Selesai | docs/LK01_Setup_Environment.md |
| LK-02 | Fondasi DevOps | CI/CD, otomatisasi, dan budaya kolaborasi | ✅ Selesai | docs/LK02_Data_Exploration.md |
| LK-03 | Siklus Hidup ML | Konsep pengumpulan data, preprocessing, dan strategi retraining | ✅ Selesai | docs/LK03_Preprocessing_Pipeline.md |
| LK-04 | Teknik Data Acquisition | Ingestion/scraping REST API CoinGecko via GitHub Actions | ✅ Selesai | docs/LK04_Automated_Ingestion.md |
| LK-05 | Manajemen Versi | Konsep Data Lineage & integrasi DVC (Tracking v1.0 & v2.0) | ✅ Selesai | docs/LK05_DVC_Data_Versioning.md |
| LK-06 | Eksperimentasi ML | Tracking eksperimen, metrik evaluasi, dan reproduksibilitas | ✅ Selesai | docs/LK06_Eksperimentasi_ML.md |
| LK-07 | Containerization dengan Docker | Model Registry, Versioning v1-v4, Stage Transition, & Docker Serving | ✅ Selesai | docs/LK07_Containerization_Docker.md |
| LK-08 | Pendalaman Konsep CI/CD | Pipeline automation, Pytest, DagsHub remote, & Auto-Staging | ✅ Selesai | docs/LK08_Pipeline_Automation.md |
| LK-09 | Orkestrasi Layanan ML | Orkestrasi layanan Machine Learning terintegrasi | ⏳ Mendatang | docs/LK09_Orkestrasi_Layanan_ML.md |
| LK-10 | Serving & Scaling | Serving & scaling sistem Machine Learning di produksi | ⏳ Mendatang | docs/LK10_Serving_Scaling.md |
| LK-11 | Observability | Teknik monitoring performa model & data drift | ⏳ Mendatang | docs/LK11_Observability_Monitoring.md |
| LK-12 | Model Maintenance | Pemeliharaan, kaji ulang, dan pembaruan model berlanjut | ⏳ Mendatang | docs/LK12_Model_Maintenance.md |
| LK-13 | Etika AI dan Tata Kelola | Governance, transparansi, dan etika kecerdasan artifisial | ⏳ Mendatang | docs/LK13_Etika_AI_Governance.md |
Struktur repositori ini mengikuti konvensi standar industri (Cookiecutter Data Science) yang disesuaikan dengan kebutuhan MLOps:
MLOps-BitcoinVolatilityDetection/
├── .devcontainer/ # Konfigurasi otomatisasi GitHub Codespaces
├── .dvc/ # Konfigurasi internal DVC
├── .github/
│ └── workflows/
│ ├── mlops-automation.yaml # End-to-End CI/CD Pipeline Automation
│ └── schedule_ingest.yml # Workflow automated data ingestion schedule
├── config/ # File konfigurasi parameter pipeline (yaml)
├── data/ # Penyimpanan data lokal & pointer DVC
│ ├── raw/ # Data mentah hasil ingestion & pointer .dvc
│ └── processed/ # Data terproses siap latih & pointer .dvc
├── docs/ # Laporan & dokumentasi detail per Lembar Kerja
│ ├── LK01_Setup_Environment.md
│ ├── LK02_Data_Exploration.md
│ ├── LK03_Preprocessing_Pipeline.md
│ ├── LK04_Automated_Ingestion.md
│ ├── LK05_DVC_Data_Versioning.md
│ ├── LK06_Eksperimentasi_ML.md
│ ├── LK07_Containerization_Docker.md
│ └── LK08_Pipeline_Automation.md
├── mlruns/ # MLflow local tracking store directory
├── models/ # Artefak model & metadata deployment
│ ├── metadata/
│ │ └── model_metadata.json # Ringkasan metadata model LK-06
│ └── active_model.yaml.dvc # Pointer DVC metadata model aktif (LK-07)
├── notebooks/ # Jupyter Notebooks untuk EDA & eksperimen awal
├── src/ # Source code modular produksi
│ ├── evaluate_and_register.py # Threshold evaluation & auto-staging script
│ ├── ingest_data.py # Skrip penarikan data dinamis (CoinGecko REST API)
│ ├── preprocess.py # Skrip prapemrosesan & feature engineering
│ ├── register_and_transition.py # Model Registry manager (LK-07)
│ ├── train.py # Skrip pelatihan model terintegrasi MLflow Tracking
│ └── verify_inference.py # Skrip pengujian inferensi programmatic
├── tests/ # Automated Unit Testing
│ └── test_pipeline.py # Pytest integrity & Data Leakage test
├── .gitignore # Pengabaian file lokal oleh Git
├── app.py # Flask REST API Inference Server (Port 5000)
├── Dockerfile # Blueprint Containerization (Python 3.10-slim)
├── LICENSE # Lisensi proyek (MIT)
├── README.md # Dokumentasi utama repositori proyek
└── requirements.txt # Daftar dependensi library Python
| Komponen | Teknologi | Fungsi Utama |
|---|---|---|
| Language | Python 3.10 | Bahasa pemrograman utama |
| Data Ingestion | CoinGecko API, requests |
Penarikan data harga & volatilitas Bitcoin |
| Data Processing | Pandas, PyArrow | Pembersihan data & format Parquet |
| Data Versioning | DVC (Data Version Control) | Melacak versi dataset via DagsHub Remote |
| Experiment & Registry | MLflow, DagsHub Cloud | Pelacakan metrik, eksperimen, & Model Registry |
| Automated Testing | Pytest | Pengujian integritas skema data & Data Leakage |
| Machine Learning | Scikit-Learn | Algoritma Random Forest Classifier |
| Containerization | Docker | Packaging Flask REST API ke dalam kontainer |
| CI/CD Automation | GitHub Actions | Eksekusi otomatisasi pipeline ("Code as a Trigger") |