PagedAutoML

H2O AutoML의 전략을 GPU에서 재구현하고, 메모리 관리 방향을 탐색하는 연구 프로젝트

---

What

H2O AutoML의 검증된 전략(Stacking, HPO, 훈련 순서)을 분석하고, RAPIDS GPU에서 재구현한 뒤, GPU 메모리 관리 문제를 탐색하는 연구 프로젝트.

달성한 것: H2O Stacking을 GPU에서 재현 (129만 행 검증), 3-Phase 훈련 전략 유효성 확인, VRAM 프로파일링
한계: Memory-Aware는 skip만 가능, vLLM 수준 paging 미달, CPU 비교 미실시
상세: docs/ 참고

---

Results

Credit Card Fraud (1.29M rows) — AUC 0.998, 181초

Higgs Boson (5M rows) — AUC 0.813, 153초

Higgs에서 rmm pool ON 시 모든 모델 skip 발생 -> 상세 해석 / 한계 / 개선 방향

---

Quick Start

git clone https://github.com/ModulabsRAPIDSLAB/H2O_AutoML.git
cd H2O_AutoML

uv venv --python 3.12
uv sync   # 타임아웃 시: UV_HTTP_TIMEOUT=300 uv sync

from paged_automl import GPUAutoML

automl = GPUAutoML(max_runtime_secs=300, max_models=20, memory_aware=True)
automl.fit(X_train, y_train)
print(automl.leaderboard())

# E2E 테스트
python -m tests.test_e2e_gpu --rows 10000 --features 20 --models 5

---

Structure

H2O_AutoML/
+-- docs/                            # 문서 전체 (클릭해서 목차 확인)
|   +-- 01-research/                 #   H2O AutoML 분석 (Stacking, HPO, GPU 매핑)
|   +-- 02-design/                   #   GPU 재설계 (PRD, 아키텍처, vLLM 비교)
|   +-- 03-results/                  #   벤치마크 해석, 한계, 개선 방향
|
+-- src/
|   +-- paged_automl/                # GPU AutoML 프레임워크
|   |   +-- automl.py                #   GPUAutoML (진입점)
|   |   +-- orchestrator.py          #   H2O 훈련 전략
|   |   +-- scheduler.py             #   Memory-Aware Scheduler
|   |   +-- data/                    #   cuDF 로더, CV, 전처리
|   |   +-- models/                  #   XGBoost GPU, cuML RF, cuML GLM
|   |   +-- ensemble/                #   Stacked Ensemble + Meta Learner
|   |   +-- memory/                  #   Profiler, Estimator, PagedMemoryManager
|   |   +-- hpo/                     #   Random Search + presets
|   |   +-- reporting/               #   Leaderboard + memory report
|   +-- notebooks/                   # Jupyter 노트북
|   |   +-- 01_h2o_automl_demo       #   H2O CPU baseline
|   |   +-- 04_paged_automl_benchmark#   GPU 벤치마크 (Credit Card)
|   +-- scripts/                     # 차트 생성
|   +-- tests/                       # E2E GPU 테스트
|
+-- assets/results/                  # 벤치마크 차트
    +-- credit_card/                 #   Credit Card Fraud 결과
    +-- higgs_5m/                    #   Higgs Boson 결과

---

References

• LeDell & Poirier (2020). H2O AutoML: Scalable Automatic Machine Learning. ICML Workshop.
• Bergstra & Bengio (2012). Random Search for Hyper-Parameter Optimization. JMLR.
• Kwon et al. (2023). Efficient Memory Management for LLM Serving with PagedAttention. SOSP.
• RAPIDS docs / H2O docs / Troubleshooting