From 3dd8f09a1089d68cefc5c765c32921d086be658c Mon Sep 17 00:00:00 2001 From: Andy Liu Date: Thu, 17 Sep 2026 02:13:43 +0000 Subject: [PATCH 1/2] [algoperf] Update analysis 1. Share standard plotting helpers 2. Add target relaxation plotting 3. Add muon analysis plotting 4. Update jax vs pytorch plotting --- artifacts/tech_report_v1/README.md | 44 + artifacts/tech_report_v1/regenerate.py | 194 + artifacts/tech_report_v1/report_data.py | 121 + artifacts/tech_report_v1/report_tables.py | 88 + artifacts/tech_report_v1/report_utils.py | 189 + .../newly_reached_targets_relaxed.csv | 2 +- .../performance_profile_score_relaxed.csv | 16 +- .../performance_profiles_00pct.csv | 15 + .../performance_profiles_01pct.csv | 15 + .../performance_profiles_02pct.csv | 15 + .../performance_profiles_03pct.csv | 15 + .../performance_profiles_04pct.csv | 15 + .../performance_profiles_05pct.csv | 15 + .../performance_profiles_06pct.csv | 15 + .../performance_profiles_07pct.csv | 15 + .../performance_profiles_08pct.csv | 15 + .../performance_profiles_09pct.csv | 15 + .../performance_profiles_10pct.csv | 15 + .../performance_profiles_11pct.csv | 15 + .../performance_profiles_12pct.csv | 15 + .../performance_profiles_13pct.csv | 15 + .../performance_profiles_14pct.csv | 15 + .../performance_profiles_15pct.csv | 15 + .../performance_profiles_16pct.csv | 15 + .../performance_profiles_17pct.csv | 15 + .../performance_profiles_18pct.csv | 15 + .../performance_profiles_19pct.csv | 15 + .../performance_profiles_20pct.csv | 15 + .../relaxation_sweep/scores_and_coverage.csv | 295 + .../relaxation_sweep/selected_curves.csv | 106 + .../relaxation_sweep/target_thresholds.csv | 190 + .../time_to_targets_00pct.csv | 15 + .../time_to_targets_01pct.csv | 15 + .../time_to_targets_02pct.csv | 15 + .../time_to_targets_03pct.csv | 15 + .../time_to_targets_04pct.csv | 15 + .../time_to_targets_05pct.csv | 15 + .../time_to_targets_06pct.csv | 15 + .../time_to_targets_07pct.csv | 15 + .../time_to_targets_08pct.csv | 15 + .../time_to_targets_09pct.csv | 15 + .../time_to_targets_10pct.csv | 15 + .../time_to_targets_11pct.csv | 15 + .../time_to_targets_12pct.csv | 15 + .../time_to_targets_13pct.csv | 15 + .../time_to_targets_14pct.csv | 15 + .../time_to_targets_15pct.csv | 15 + .../time_to_targets_16pct.csv | 15 + .../time_to_targets_17pct.csv | 15 + .../time_to_targets_18pct.csv | 15 + .../time_to_targets_19pct.csv | 15 + .../time_to_targets_20pct.csv | 15 + .../out/byproducts/scores_relaxed.csv | 16 +- .../byproducts/scores_standard_vs_relaxed.csv | 24 +- .../byproducts/summaries/ademamix_summary.csv | 42 +- .../summaries/cautious_nadamw_summary.csv | 44 +- .../out/byproducts/summaries/lion_summary.csv | 48 +- .../out/byproducts/summaries/muon_summary.csv | 48 +- .../summaries/muon_torch_summary.csv | 48 +- .../summaries/nadamw_baselinev05_summary.csv | 48 +- .../summaries/nadamw_resnet_summary.csv | 48 +- .../byproducts/summaries/nadamw_summary.csv | 48 +- .../schedule_free_adamw_jax_summary.csv | 48 +- .../schedule_free_adamw_jax_v2_summary.csv | 48 +- .../summaries/schedule_free_adamw_summary.csv | 48 +- .../schedule_free_adamw_v2_summary.csv | 42 +- .../single_worker_diloco_summary.csv | 46 +- .../single_worker_dilocov2_summary.csv | 44 +- .../byproducts/time_to_targets_relaxed.csv | 2 +- .../out/results/leaderboard_profile.pdf | Bin 0 -> 31818 bytes .../out/results/leaderboard_profile.png | Bin 0 -> 533782 bytes .../results/leaderboard_profile_relaxed.pdf | Bin 0 -> 32161 bytes .../results/leaderboard_profile_relaxed.png | Bin 0 -> 561571 bytes .../out/results/leaderboard_profile_steps.pdf | Bin 0 -> 31794 bytes .../out/results/leaderboard_profile_steps.png | Bin 0 -> 523419 bytes .../performance_profile_by_global_step.pdf | Bin 24317 -> 24359 bytes .../performance_profile_by_global_step.png | Bin 286160 -> 304267 bytes .../results/performance_profile_by_score.pdf | Bin 24050 -> 24103 bytes .../results/performance_profile_by_score.png | Bin 290455 -> 307791 bytes .../performance_profile_by_score_relaxed.pdf | Bin 24063 -> 24345 bytes .../performance_profile_by_score_relaxed.png | Bin 309958 -> 333634 bytes .../out/results/scores_relaxed_table.tex | 24 +- .../results/target_relaxation_selected.pdf | Bin 0 -> 22286 bytes .../results/target_relaxation_selected.png | Bin 0 -> 283558 bytes .../out/results/target_relaxation_sweep.pdf | Bin 0 -> 31176 bytes .../out/results/target_relaxation_sweep.png | Bin 0 -> 618839 bytes .../results/time_to_target_table_relaxed.tex | 8 +- .../out/results/wallclock_vs_steps.pdf | Bin 29724 -> 29724 bytes .../out/run_metadata.json | 329 + .../plot_leaderboard_profile.py | 384 + .../score_submissions.ipynb | 10615 +---------- .../score_submissions.py | 1103 +- .../score_submissions_bkup.ipynb | 3 - .../sweep_target_relaxation.py | 364 + .../section_6_algorithms/muon_workloads.ipynb | 133 + .../section_6_algorithms/muon_workloads.py | 95 + .../out/byproducts/muon_workloads_data.csv | 127 + .../out/results/muon_workloads.pdf | Bin 0 -> 35763 bytes .../out/results/muon_workloads.png | Bin 0 -> 147944 bytes .../out/run_metadata.json | 1 + .../plot_muon_workloads.py | 307 + .../framework_comparison.ipynb | 15505 +--------------- .../framework_comparison.py | 210 + .../out/framework_comparison.csv | 3 + .../out/framework_comparison.pdf | Bin 0 -> 23463 bytes .../out/framework_comparison.png | Bin 0 -> 136607 bytes .../out/run_metadata.json | 282 + .../out/schedule_free_adamw_jax_summary.csv | 28 + .../schedule_free_adamw_jax_v2_summary.csv | 28 + .../out/schedule_free_adamw_summary.csv | 28 + .../out/schedule_free_adamw_v2_summary.csv | 27 + .../plot_framework_comparison.py | 116 + pyproject.toml | 5 + scoring/performance_profile.py | 46 +- uv.lock | 834 +- 115 files changed, 6467 insertions(+), 26705 deletions(-) create mode 100644 artifacts/tech_report_v1/README.md create mode 100644 artifacts/tech_report_v1/regenerate.py create mode 100644 artifacts/tech_report_v1/report_data.py create mode 100644 artifacts/tech_report_v1/report_tables.py create mode 100644 artifacts/tech_report_v1/report_utils.py create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_00pct.csv create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_01pct.csv create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_02pct.csv create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_03pct.csv create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_04pct.csv create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_05pct.csv create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_06pct.csv create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_07pct.csv create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_08pct.csv create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_09pct.csv create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_10pct.csv create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_11pct.csv create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_12pct.csv create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_13pct.csv create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_14pct.csv create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_15pct.csv create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_16pct.csv create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_17pct.csv create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_18pct.csv create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_19pct.csv create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_20pct.csv create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/scores_and_coverage.csv create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/selected_curves.csv create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/target_thresholds.csv create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_00pct.csv create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_01pct.csv create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_02pct.csv create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_03pct.csv create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_04pct.csv create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_05pct.csv create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_06pct.csv create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_07pct.csv create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_08pct.csv create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_09pct.csv create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_10pct.csv create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_11pct.csv create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_12pct.csv create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_13pct.csv create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_14pct.csv create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_15pct.csv create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_16pct.csv create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_17pct.csv create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_18pct.csv create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_19pct.csv create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_20pct.csv create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/results/leaderboard_profile.pdf create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/results/leaderboard_profile.png create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/results/leaderboard_profile_relaxed.pdf create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/results/leaderboard_profile_relaxed.png create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/results/leaderboard_profile_steps.pdf create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/results/leaderboard_profile_steps.png create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/results/target_relaxation_selected.pdf create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/results/target_relaxation_selected.png create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/results/target_relaxation_sweep.pdf create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/results/target_relaxation_sweep.png create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/out/run_metadata.json create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/plot_leaderboard_profile.py create mode 100644 artifacts/tech_report_v1/section_4_leaderboards/sweep_target_relaxation.py create mode 100644 artifacts/tech_report_v1/section_6_algorithms/muon_workloads.ipynb create mode 100644 artifacts/tech_report_v1/section_6_algorithms/muon_workloads.py create mode 100644 artifacts/tech_report_v1/section_6_algorithms/out/byproducts/muon_workloads_data.csv create mode 100644 artifacts/tech_report_v1/section_6_algorithms/out/results/muon_workloads.pdf create mode 100644 artifacts/tech_report_v1/section_6_algorithms/out/results/muon_workloads.png create mode 100644 artifacts/tech_report_v1/section_6_algorithms/out/run_metadata.json create mode 100644 artifacts/tech_report_v1/section_6_algorithms/plot_muon_workloads.py create mode 100644 artifacts/tech_report_v1/section_7_frameworks/framework_comparison.py create mode 100644 artifacts/tech_report_v1/section_7_frameworks/out/framework_comparison.csv create mode 100644 artifacts/tech_report_v1/section_7_frameworks/out/framework_comparison.pdf create mode 100644 artifacts/tech_report_v1/section_7_frameworks/out/framework_comparison.png create mode 100644 artifacts/tech_report_v1/section_7_frameworks/out/run_metadata.json create mode 100644 artifacts/tech_report_v1/section_7_frameworks/out/schedule_free_adamw_jax_summary.csv create mode 100644 artifacts/tech_report_v1/section_7_frameworks/out/schedule_free_adamw_jax_v2_summary.csv create mode 100644 artifacts/tech_report_v1/section_7_frameworks/out/schedule_free_adamw_summary.csv create mode 100644 artifacts/tech_report_v1/section_7_frameworks/out/schedule_free_adamw_v2_summary.csv create mode 100644 artifacts/tech_report_v1/section_7_frameworks/plot_framework_comparison.py diff --git a/artifacts/tech_report_v1/README.md b/artifacts/tech_report_v1/README.md new file mode 100644 index 00000000..bdfd4946 --- /dev/null +++ b/artifacts/tech_report_v1/README.md @@ -0,0 +1,44 @@ +# Regenerating the tech report + +Run from the repository root: + +```bash +uv sync --locked --extra dev --extra analysis +uv run --locked python -m artifacts.tech_report_v1.regenerate \ + --submission-directory logs/self_tuning \ + --output-root scoring_results_tech_report +``` + +Supply the complete submission pool and a new, empty output directory. The +runner executes the leaderboard, Muon, and framework notebooks in order, +including the 0–20% target-relaxation sweep. Outputs include figures, tables, +CSVs, executed notebooks, and a `manifest.json` with input/source hashes and +completion status. Each section records its actual settings in +`out/run_metadata.json`. Failed runs must not be used as results. + +The default is non-strict self-tuning scoring over nine workloads. Pool and +workload changes affect scores. Configure filters and scoring settings in the +paired scripts; add submission labels in `report_utils.py`. The Muon, selected +sweep, and framework views require their configured submissions. Recheck the +framework view's batch-size assumptions when submission recipes change. + +Sections share loading/scoring in `report_data.py`, table rendering in +`report_tables.py`, and labels, styles, paths, and PDF/PNG export in +`report_utils.py`. Notebook and command-line plots use the same renderers. + +For interactive use, select the repository's `.venv` kernel. Run Section 4 +before Muon; the framework notebook runs independently. After editing either +member of a notebook/script pair, synchronize it before running: + +```bash +uv run jupytext --sync artifacts/tech_report_v1/section_4_leaderboards/score_submissions.py +uv run jupytext --sync artifacts/tech_report_v1/section_6_algorithms/muon_workloads.py +uv run jupytext --sync artifacts/tech_report_v1/section_7_frameworks/framework_comparison.py +``` + +Source notebooks have no saved outputs. Review executed notebooks and artifacts +in the fresh output directory; synchronization alone does not refresh results. +Section-local `out/` artifacts can be checked in; refresh them from a completed +run before committing generated results. +Paper export is separate, and paper tables remain hand-maintained. Appendix +curves use their [own workflow](appendix_training_curves/curve_plotting/README.md). diff --git a/artifacts/tech_report_v1/regenerate.py b/artifacts/tech_report_v1/regenerate.py new file mode 100644 index 00000000..943d51f9 --- /dev/null +++ b/artifacts/tech_report_v1/regenerate.py @@ -0,0 +1,194 @@ +"""Execute the current report notebooks in dependency order from fresh logs.""" + +import argparse +import hashlib +import importlib.metadata +import json +import os +from pathlib import Path +import platform +import subprocess +import sys + +import jupytext +import nbformat +from jupyter_client import KernelManager +from nbclient import NotebookClient + +from artifacts.tech_report_v1.report_utils import REPO_ROOT, REPORT_ROOT + +NOTEBOOKS = ( + ('section_4_leaderboards', 'score_submissions'), + ('section_6_algorithms', 'muon_workloads'), + ('section_7_frameworks', 'framework_comparison'), +) + + +def fingerprints(paths, root): + """Hash contents, including uncommitted changes and newly supplied logs.""" + return { + str(path.relative_to(root)): hashlib.sha256(path.read_bytes()).hexdigest() + for path in sorted(paths) + } + + +def read_paired_notebook(script): + """Fail on unsynchronized sources instead of trusting file timestamps.""" + notebook = jupytext.read(script) + paired = jupytext.read(script.with_suffix('.ipynb')) + + def cells(nb): + return [(c.cell_type, c.source) for c in nb.cells] + + if cells(notebook) != cells(paired): + raise ValueError( + f'Notebook pair differs: {script}. Reconcile edits, then synchronize ' + 'with jupytext before regenerating.' + ) + return notebook + + +def execute_notebook(notebook, destination, env, timeout): + # Capture actual settings from the executed namespace, not duplicated defaults. + notebook.cells.append( + nbformat.v4.new_code_cell(r""" +import dataclasses, json +from pathlib import Path +_keys = ( + 'SUBMISSION_DIRECTORY', 'INCLUDE_SUBMISSIONS', 'EXCLUDE_SUBMISSIONS', + 'STRICT', 'SELF_TUNING_RULESET', 'MIN_TAU', 'MAX_TAU', 'NUM_POINTS', + 'SCALE', 'TARGET_RELAXATION_FRACTION', 'SELECTED_SUBMISSIONS', + 'LOAD_RESULTS_FROM', 'SAVE_RESULTS_TO', +) +_metadata = {key: globals()[key] for key in _keys if key in globals()} +if _metadata.get('LOAD_RESULTS_FROM'): + raise ValueError('Regeneration requires fresh logs; disable LOAD_RESULTS_FROM.') +if 'WORKLOAD_CONFIG' in globals(): + _metadata['workload_config'] = dataclasses.asdict(WORKLOAD_CONFIG) +if 'results' in globals(): + _metadata['submission_pool'] = sorted(results) +if 'SWEEP_PERCENTAGES' in globals(): + _metadata['sweep_percentages'] = list(SWEEP_PERCENTAGES) +Path(OUTPUT_DIR, 'run_metadata.json').write_text( + json.dumps(_metadata, indent=2) + '\n' +) +""") + ) + manager = KernelManager(kernel_name='python3') + # Use the invoking uv environment even if another python3 kernel is installed. + manager.kernel_spec.argv[0] = sys.executable + client = NotebookClient(notebook, km=manager, timeout=timeout) + try: + client.execute(cwd=str(REPO_ROOT), env=env) + finally: + notebook.cells.pop() + destination.parent.mkdir(parents=True, exist_ok=True) + nbformat.write(notebook, destination) + + +def regenerate(submission_directory, output_root, *, timeout=1800): + submission_directory = submission_directory.resolve() + output_root = output_root.resolve() + if not submission_directory.is_dir(): + raise ValueError(f'Input directory does not exist: {submission_directory}') + if output_root.exists() and any(output_root.iterdir()): + raise ValueError( + f'Output directory must be empty: {output_root}. ' + 'Choose a new directory to avoid mixing results from different inputs.' + ) + notebooks = [ + (section, name, read_paired_notebook(REPORT_ROOT / section / f'{name}.py')) + for section, name in NOTEBOOKS + ] + + def inputs(): + return fingerprints( + submission_directory.rglob('eval_measurements.csv'), submission_directory + ) + + def sources(): + return fingerprints( + [ + *REPORT_ROOT.rglob('*.py'), + *REPO_ROOT.joinpath('scoring').glob('*.py'), + *REPO_ROOT.joinpath('scoring').glob('workload_targets*.json'), + REPO_ROOT / 'pyproject.toml', + REPO_ROOT / 'uv.lock', + ], + REPO_ROOT, + ) + + manifest = { + 'status': 'running', + 'git_revision': subprocess.check_output( + ['git', 'rev-parse', 'HEAD'], cwd=REPO_ROOT, text=True + ).strip(), + 'python': platform.python_version(), + 'packages': { + name: importlib.metadata.version(name) + for name in ('numpy', 'pandas', 'matplotlib', 'jupytext', 'nbclient') + }, + 'submission_directory': str(submission_directory), + 'input_sha256': inputs(), + 'source_sha256': sources(), + } + if not manifest['input_sha256']: + raise ValueError( + 'No eval_measurements.csv files found in the input directory.' + ) + output_root.mkdir(parents=True, exist_ok=True) + manifest_path = output_root / 'manifest.json' + + def save_manifest(): + manifest_path.write_text(json.dumps(manifest, indent=2) + '\n') + + save_manifest() + env = { + **os.environ, + 'ALGOPERF_REPORT_INPUT': str(submission_directory), + 'ALGOPERF_REPORT_OUTPUT': str(output_root), + 'MPLBACKEND': 'module://matplotlib_inline.backend_inline', + } + try: + for section, name, notebook in notebooks: + print(f'Executing {section}/{name} ...', flush=True) + execute_notebook( + notebook, output_root / section / f'{name}.ipynb', env, timeout + ) + if ( + inputs() != manifest['input_sha256'] + or sources() != manifest['source_sha256'] + ): + raise RuntimeError('Inputs or source changed during regeneration; rerun.') + manifest['outputs_sha256'] = fingerprints( + (p for p in output_root.rglob('*') if p.is_file() and p != manifest_path), + output_root, + ) + manifest['status'] = 'complete' + except Exception as error: + manifest.update(status='failed', error=str(error)) + raise + finally: + save_manifest() + print(f'Completed. Results and executed notebooks: {output_root}', flush=True) + + +def main(): + parser = argparse.ArgumentParser(description=__doc__) + parser.add_argument( + '--submission-directory', type=Path, default=REPO_ROOT / 'logs/self_tuning' + ) + parser.add_argument( + '--output-root', + type=Path, + default=REPO_ROOT / 'scoring_results_tech_report', + ) + parser.add_argument( + '--timeout', type=int, default=1800, help='Seconds per cell.' + ) + args = parser.parse_args() + regenerate(args.submission_directory, args.output_root, timeout=args.timeout) + + +if __name__ == '__main__': + main() diff --git a/artifacts/tech_report_v1/report_data.py b/artifacts/tech_report_v1/report_data.py new file mode 100644 index 00000000..64925087 --- /dev/null +++ b/artifacts/tech_report_v1/report_data.py @@ -0,0 +1,121 @@ +"""Shared log loading, summaries, and canonical scoring for report sections.""" + +from pathlib import Path +import pickle + +import pandas as pd + +from artifacts.tech_report_v1.report_utils import DISPLAY_TO_RAW, pretty + + +DEFAULT_MIN_TAU = 1.0 +DEFAULT_MAX_TAU = 4.0 +DEFAULT_PROFILE_POINTS = 100 + + +def load_runs( + directory, *, include=(), exclude=(), cache=None, save_cache=None +): + """Load a named comparison pool from logs or an explicitly supplied cache.""" + from scoring import scoring_utils + + def names(value): + return ( + {s.strip() for s in value.split(',') if s.strip()} + if isinstance(value, str) + else set(value) + ) + + include, exclude = names(include), names(exclude) + directory = Path(directory) + if cache: + with Path(cache).open('rb') as handle: + available = { + DISPLAY_TO_RAW.get(name, name): frame + for name, frame in pickle.load(handle).items() + } + else: + available = {p.name: None for p in directory.iterdir() if p.is_dir()} + missing = include - available.keys() + if missing: + raise ValueError(f'Requested submissions are missing: {sorted(missing)}') + selected = sorted((include or available.keys()) - exclude) + if not selected: + raise ValueError('No submissions selected for scoring.') + runs = {} + for raw in selected: + name = pretty(raw) + if name in runs: + raise ValueError(f'Duplicate submission display name: {name}') + print(f'Loading {name} ({raw})', flush=True) + frame = ( + available[raw] + if cache + else scoring_utils.get_experiment_df(str(directory / raw)) + ) + if frame.empty: + raise ValueError(f'No evaluation measurements found for {raw}.') + runs[name] = frame + if save_cache: + path = Path(save_cache) + path.parent.mkdir(parents=True, exist_ok=True) + with path.open('wb') as handle: + pickle.dump(runs, handle) + return runs + + +def write_summaries(runs, config, directory): + """Refresh study summaries even when the parsed runs came from a cache.""" + from scoring.score_submissions import get_submission_summary + + directory = Path(directory) + directory.mkdir(parents=True, exist_ok=True) + summaries = {} + for name, frame in runs.items(): + summary = get_submission_summary(frame, config) + raw = DISPLAY_TO_RAW.get(name, name) + summary.to_csv(directory / f'{raw}_summary.csv') + summaries[name] = summary + return summaries + + +def score_runs( + runs, + config, + output_dir, + *, + time_col='score', + artifact_suffix='', + min_tau=DEFAULT_MIN_TAU, + max_tau=DEFAULT_MAX_TAU, + num_points=DEFAULT_PROFILE_POINTS, + scale='linear', + strict=False, + self_tuning_ruleset=True, +): + """Return profiles, normalized scores, and target times for the same pool.""" + from scoring import performance_profile + + output_dir = Path(output_dir) + output_dir.mkdir(parents=True, exist_ok=True) + profiles = performance_profile.compute_performance_profiles( + runs, + config, + time_col=time_col, + min_tau=min_tau, + max_tau=max_tau, + num_points=num_points, + scale=scale, + strict=strict, + self_tuning_ruleset=self_tuning_ruleset, + verbosity=0, + output_dir=str(output_dir), + artifact_suffix=artifact_suffix, + ) + scores = performance_profile.compute_leaderboard_score( + profiles, normalize=True + ) + times = pd.read_csv( + output_dir / f'time_to_targets{artifact_suffix}.csv', index_col=0 + ) + return profiles, scores, times.loc[scores.index] diff --git a/artifacts/tech_report_v1/report_tables.py b/artifacts/tech_report_v1/report_tables.py new file mode 100644 index 00000000..1dc8fe8d --- /dev/null +++ b/artifacts/tech_report_v1/report_tables.py @@ -0,0 +1,88 @@ +"""Shared LaTeX table rendering for standard, step, and relaxed results.""" + +from artifacts.tech_report_v1.report_utils import latex_name + +WORKLOAD_LATEX = { + 'criteo1tb': r'\criteo', + 'fastmri': r'\fastmri', + 'finewebedu_lm': r'\finewebedu', + 'imagenet_resnet': r'\resnet', + 'imagenet_vit': r'\vit', + 'librispeech_conformer': r'\conformer', + 'librispeech_deepspeech': r'\deepspeech', + 'ogbg': r'\ogbg', + 'wmt': r'\wmt', +} + + +def scores_to_latex( + scores_df, caption='AlgoPerf Self-Tuning Leaderboard', label='tab:scores' +): + """ + Render a leaderboard scores DataFrame as a LaTeX table. + Submission names come from the DataFrame index (pretty-named), rendered + via their `latex_name()` \\newcommand macro. + Scores are formatted to 4 decimal places; best score is bolded. + """ + df = scores_df.sort_values('score', ascending=False).copy() + df['rank'] = range(1, len(df) + 1) + + best_score = df['score'].iloc[0] + + rows = [] + for rank, (name, row) in enumerate(df.iterrows(), start=1): + score_str = f'{row["score"]:.4f}' + if row['score'] == best_score: + score_str = r'\textbf{' + score_str + '}' + rows.append(f' {rank} & {latex_name(name)} & {score_str} \\\\') + + body = '\n'.join(rows) + + latex = ( + r'\begin{table}[h]' + '\n' + r' \centering' + '\n' + r' \caption{' + caption + '}\n' + r' \label{' + label + '}\n' + r' \begin{tabular}{rlr}' + '\n' + r' \toprule' + '\n' + r' Rank & Submission & Score \\' + '\n' + r' \midrule' + '\n' + body + '\n' + r' \bottomrule' + '\n' + r' \end{tabular}' + '\n' + r'\end{table}' + ) + return latex + + +def workload_table(frame, *, caption, label, bold=None): + """Render formatted workload values; align optional emphasis by row/column name.""" + headers = ' & '.join(WORKLOAD_LATEX.get(w, w) for w in frame.columns) + rows = [] + for name, row in frame.iterrows(): + cells = [] + for workload, value in row.items(): + cell = str(value).replace('%', r'\%') + if bold is not None and bold.loc[name, workload]: + cell = r'\textbf{' + cell + '}' + cells.append(cell) + rows.append( + ' ' + latex_name(name) + ' & ' + ' & '.join(cells) + r' \\' + ) + return '\n'.join( + [ + r'\begin{table}[htbp]', + r' \centering', + r' \caption{' + caption + '}', + r' \label{' + label + '}', + r' \resizebox{\textwidth}{!}{%', + r' \begin{tabular}{' + 'l' + 'r' * len(frame.columns) + '}', + r' \toprule', + r' Submission & ' + headers + r' \\', + r' \midrule', + *rows, + r' \bottomrule', + r' \end{tabular}%', + r' }', + r'\end{table}', + ] + ) diff --git a/artifacts/tech_report_v1/report_utils.py b/artifacts/tech_report_v1/report_utils.py new file mode 100644 index 00000000..7b263c01 --- /dev/null +++ b/artifacts/tech_report_v1/report_utils.py @@ -0,0 +1,189 @@ +"""Shared presentation metadata and artifact helpers for report notebooks. + +Importing this module does not change the Matplotlib backend or global style. +""" + +import os +from pathlib import Path + +import matplotlib as mpl + +REPO_ROOT = Path(__file__).resolve().parents[2] +REPORT_ROOT = Path(__file__).resolve().parent +COLORS = [ + '#4477AA', + '#EE6677', + '#228833', + '#CCBB44', + '#66CCEE', + '#AA3377', + '#BBBBBB', + '#EE7733', + '#009988', + '#CC3311', +] +LINE_STYLES = ['-', '--', '-.', ':'] + +SERIF_STYLE = { + 'font.family': 'serif', + 'font.serif': ['DejaVu Serif'], + 'font.size': 11, + 'axes.spines.top': False, + 'axes.spines.right': False, + 'pdf.fonttype': 42, +} + +NOTEBOOK_STYLE = { + 'figure.figsize': (9, 4.5), + 'figure.dpi': 150, + 'savefig.dpi': 300, + 'savefig.bbox': 'tight', + 'savefig.pad_inches': 0.05, + 'font.family': 'serif', + 'font.serif': ['Times New Roman', 'DejaVu Serif'], + 'font.size': 11, + 'axes.titlesize': 11, + 'axes.labelsize': 11, + 'xtick.labelsize': 10, + 'ytick.labelsize': 10, + 'legend.fontsize': 8.5, + 'legend.title_fontsize': 9, + 'legend.framealpha': 0.92, + 'legend.edgecolor': '#cccccc', + 'legend.borderpad': 0.5, + 'legend.labelspacing': 0.35, + 'axes.grid': True, + 'grid.alpha': 0.3, + 'grid.linestyle': '--', + 'grid.linewidth': 0.6, + 'axes.spines.top': False, + 'axes.spines.right': False, + 'axes.linewidth': 0.8, + 'lines.linewidth': 1.6, +} + +SUBMISSION_NAME_MAP = { + 'ademamix': 'AdEMAMix (PyTorch)', + 'cautious_nadamw': 'Cautious NAdamW (JAX)', + 'lion': 'Lion (PyTorch)', + 'muon': 'Muon (JAX)', + 'muon_torch': 'Muon (PyTorch)', + 'muon_torch_jax_hps': 'Muon (PyTorch, JAX HPs)', + 'muon_torch_jax_hps_achandr': 'Muon (PyTorch, JAX HPs, achandr)', + 'muon_torch_jax_hps_lr_fix': 'Muon (PyTorch, JAX HPs, LR Fix)', + 'muon_torch_replicated_jax_hps': 'Muon (Replicated, JAX HPs)', + 'muon_torch_replicated_torch_hps': 'Muon (Replicated, Torch HPs)', + 'nadamw': 'NAdamW (JAX)', + 'nadamw_baselinev05': 'NAdamW (Baseline AlgoPerf v0.5) (JAX)', + 'nadamw_resnet': 'NAdamW (Tuned for ResNet) (JAX)', + 'schedule_free_adamw': 'Schedule-Free AdamW (PyTorch)', + 'schedule_free_adamw_jax': 'Schedule-Free AdamW (JAX)', + 'schedule_free_adamw_jax_v2': 'Schedule-Free AdamW v2 (JAX)', + 'schedule_free_adamw_v2': 'Schedule-Free AdamW v2 (PyTorch)', + 'single_worker_diloco': 'Single Worker DiLoCo (JAX)', + 'single_worker_dilocov2': 'Single Worker DiLoCo v2 (JAX)', +} + +SUBMISSION_LATEX_MACRO = { + 'ademamix': r'\ademamix', + 'cautious_nadamw': r'\cautiousnadamw', + 'lion': r'\lion', + 'muon': r'\muonjax', + 'muon_torch': r'\muonpt', + 'nadamw': r'\nadamw', + 'nadamw_baselinev05': r'\nadamwbase', + 'nadamw_resnet': r'\nadamwresnet', + 'schedule_free_adamw': r'\sfadamw', + 'schedule_free_adamw_jax': r'\sfadamwjax', + 'schedule_free_adamw_jax_v2': r'\sfadamwjaxii', + 'schedule_free_adamw_v2': r'\sfadamwii', + 'single_worker_diloco': r'\dilocosw', + 'single_worker_dilocov2': r'\dilocoswii', +} + +DISPLAY_TO_RAW = {display: raw for raw, display in SUBMISSION_NAME_MAP.items()} + + +def marker_for(name): + """Use one symbol per algorithm family, as in the step/time scatter.""" + if 'Schedule-Free' in name: + return 'o' + if 'Muon' in name: + return 'D' + if 'DiLoCo' in name: + return 'v' + if 'AdEMAMix' in name: + return 's' + if 'Lion' in name: + return '*' + if 'Cautious' in name: + return 'P' + return '^' + + +def submission_styles(names): + """Shared line/color/symbol map for paired profiles and sensitivity plots.""" + return { + name: dict( + color=COLORS[i % len(COLORS)], + linestyle=LINE_STYLES[(i // len(COLORS)) % len(LINE_STYLES)], + marker=marker_for(name), + ) + for i, name in enumerate(sorted(names)) + } + + +def set_plot_style(overrides): + """Set global defaults for the next report figure and its PDF/PNG exports.""" + mpl.rcdefaults() + mpl.rcParams.update({'savefig.dpi': 220, **overrides}) + + +def save_figure(fig, output): + """Save PDF and PNG using the renderer's style; leave the figure open.""" + output = Path(output) + output.parent.mkdir(parents=True, exist_ok=True) + paths = [output.with_suffix(f'.{extension}') for extension in ('pdf', 'png')] + for path in paths: + fig.savefig(path, facecolor='white') + return paths + + +def pretty(name): + return SUBMISSION_NAME_MAP.get(name, name) + + +def latex_name(name): + return SUBMISSION_LATEX_MACRO.get(DISPLAY_TO_RAW.get(name, name), name) + + +def submission_directory(): + return ( + REPO_ROOT / os.environ.get('ALGOPERF_REPORT_INPUT', 'logs/self_tuning') + ).resolve() + + +def section_output_dir(section): + root = REPO_ROOT / os.environ.get('ALGOPERF_REPORT_OUTPUT', str(REPORT_ROOT)) + return root / section / 'out' + + +EXCLUDED_SUBMISSIONS = ( + 'muon_torch_jax_hps', + 'muon_torch_jax_hps_achandr', + 'muon_torch_jax_hps_lr_fix', + 'muon_torch_replicated_jax_hps', + 'muon_torch_replicated_torch_hps', +) +SELECTED_SWEEP_SUBMISSIONS = tuple( + map( + pretty, + ( + 'schedule_free_adamw_v2', + 'muon_torch', + 'ademamix', + 'nadamw_baselinev05', + 'single_worker_dilocov2', + ), + ) +) diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/newly_reached_targets_relaxed.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/newly_reached_targets_relaxed.csv index ee35afa6..54fd2162 100644 --- a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/newly_reached_targets_relaxed.csv +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/newly_reached_targets_relaxed.csv @@ -9,7 +9,7 @@ NAdamW (Baseline AlgoPerf v0.5) (JAX),False,False,False,True,True,False,False,Fa NAdamW (Tuned for ResNet) (JAX),True,False,False,True,True,False,False,False,True Schedule-Free AdamW (PyTorch),False,False,False,False,False,True,False,False,False Schedule-Free AdamW (JAX),True,False,False,False,False,False,False,False,False -Schedule-Free AdamW v2 (JAX),False,False,False,False,False,False,False,False,True +Schedule-Free AdamW v2 (JAX),False,False,False,True,False,False,False,False,True Schedule-Free AdamW v2 (PyTorch),False,False,True,False,False,False,False,False,False Single Worker DiLoCo (JAX),True,False,False,True,True,False,False,True,True Single Worker DiLoCo v2 (JAX),True,False,False,True,False,False,False,True,True diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/performance_profile_score_relaxed.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/performance_profile_score_relaxed.csv index a8797501..28068fc5 100644 --- a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/performance_profile_score_relaxed.csv +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/performance_profile_score_relaxed.csv @@ -1,15 +1,15 @@ submission,1.0,1.0303030303030303,1.0606060606060606,1.0909090909090908,1.121212121212121,1.1515151515151516,1.1818181818181819,1.2121212121212122,1.2424242424242424,1.2727272727272727,1.303030303030303,1.3333333333333335,1.3636363636363638,1.393939393939394,1.4242424242424243,1.4545454545454546,1.4848484848484849,1.5151515151515151,1.5454545454545454,1.5757575757575757,1.606060606060606,1.6363636363636362,1.6666666666666667,1.696969696969697,1.7272727272727273,1.7575757575757576,1.7878787878787878,1.8181818181818183,1.8484848484848486,1.878787878787879,1.9090909090909092,1.9393939393939394,1.9696969696969697,2.0,2.0303030303030303,2.0606060606060606,2.090909090909091,2.121212121212121,2.1515151515151514,2.1818181818181817,2.212121212121212,2.242424242424242,2.2727272727272725,2.3030303030303028,2.3333333333333335,2.3636363636363638,2.393939393939394,2.4242424242424243,2.4545454545454546,2.484848484848485,2.515151515151515,2.5454545454545454,2.5757575757575757,2.6060606060606064,2.6363636363636367,2.666666666666667,2.6969696969696972,2.7272727272727275,2.757575757575758,2.787878787878788,2.8181818181818183,2.8484848484848486,2.878787878787879,2.909090909090909,2.9393939393939394,2.9696969696969697,3.0,3.0303030303030303,3.0606060606060606,3.090909090909091,3.121212121212121,3.1515151515151514,3.1818181818181817,3.2121212121212124,3.2424242424242427,3.272727272727273,3.303030303030303,3.3333333333333335,3.3636363636363638,3.393939393939394,3.4242424242424243,3.4545454545454546,3.484848484848485,3.515151515151515,3.5454545454545454,3.5757575757575757,3.606060606060606,3.6363636363636362,3.666666666666667,3.6969696969696972,3.7272727272727275,3.757575757575758,3.787878787878788,3.8181818181818183,3.8484848484848486,3.878787878787879,3.909090909090909,3.9393939393939394,3.9696969696969697,4.0 AdEMAMix (PyTorch),0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 -Cautious NAdamW (JAX),0.0,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Cautious NAdamW (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778 Lion (PyTorch),0.0,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 -Muon (JAX),0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Muon (JAX),0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 Muon (PyTorch),0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 -NAdamW (JAX),0.0,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 -NAdamW (Baseline AlgoPerf v0.5) (JAX),0.0,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 -NAdamW (Tuned for ResNet) (JAX),0.0,0.1111111111111111,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666 +NAdamW (JAX),0.0,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 +NAdamW (Baseline AlgoPerf v0.5) (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778 +NAdamW (Tuned for ResNet) (JAX),0.0,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.6666666666666666 Schedule-Free AdamW (PyTorch),0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 Schedule-Free AdamW (JAX),0.1111111111111111,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 -Schedule-Free AdamW v2 (JAX),0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Schedule-Free AdamW v2 (JAX),0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 Schedule-Free AdamW v2 (PyTorch),0.3333333333333333,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 -Single Worker DiLoCo (JAX),0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 -Single Worker DiLoCo v2 (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444 +Single Worker DiLoCo (JAX),0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Single Worker DiLoCo v2 (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_00pct.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_00pct.csv new file mode 100644 index 00000000..259998dc --- /dev/null +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_00pct.csv @@ -0,0 +1,15 @@ +submission,1.0,1.0303030303030303,1.0606060606060606,1.0909090909090908,1.121212121212121,1.1515151515151516,1.1818181818181819,1.2121212121212122,1.2424242424242424,1.2727272727272727,1.303030303030303,1.3333333333333335,1.3636363636363638,1.393939393939394,1.4242424242424243,1.4545454545454546,1.4848484848484849,1.5151515151515151,1.5454545454545454,1.5757575757575757,1.606060606060606,1.6363636363636362,1.6666666666666667,1.696969696969697,1.7272727272727273,1.7575757575757576,1.7878787878787878,1.8181818181818183,1.8484848484848486,1.878787878787879,1.9090909090909092,1.9393939393939394,1.9696969696969697,2.0,2.0303030303030303,2.0606060606060606,2.090909090909091,2.121212121212121,2.1515151515151514,2.1818181818181817,2.212121212121212,2.242424242424242,2.2727272727272725,2.3030303030303028,2.3333333333333335,2.3636363636363638,2.393939393939394,2.4242424242424243,2.4545454545454546,2.484848484848485,2.515151515151515,2.5454545454545454,2.5757575757575757,2.6060606060606064,2.6363636363636367,2.666666666666667,2.6969696969696972,2.7272727272727275,2.757575757575758,2.787878787878788,2.8181818181818183,2.8484848484848486,2.878787878787879,2.909090909090909,2.9393939393939394,2.9696969696969697,3.0,3.0303030303030303,3.0606060606060606,3.090909090909091,3.121212121212121,3.1515151515151514,3.1818181818181817,3.2121212121212124,3.2424242424242427,3.272727272727273,3.303030303030303,3.3333333333333335,3.3636363636363638,3.393939393939394,3.4242424242424243,3.4545454545454546,3.484848484848485,3.515151515151515,3.5454545454545454,3.5757575757575757,3.606060606060606,3.6363636363636362,3.666666666666667,3.6969696969696972,3.7272727272727275,3.757575757575758,3.787878787878788,3.8181818181818183,3.8484848484848486,3.878787878787879,3.909090909090909,3.9393939393939394,3.9696969696969697,4.0 +AdEMAMix (PyTorch),0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Cautious NAdamW (JAX),0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444 +Lion (PyTorch),0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444 +Muon (JAX),0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333 +Muon (PyTorch),0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444 +NAdamW (JAX),0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444 +NAdamW (Baseline AlgoPerf v0.5) (JAX),0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 +NAdamW (Tuned for ResNet) (JAX),0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333 +Schedule-Free AdamW (PyTorch),0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 +Schedule-Free AdamW (JAX),0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 +Schedule-Free AdamW v2 (JAX),0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 +Schedule-Free AdamW v2 (PyTorch),0.2222222222222222,0.2222222222222222,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Single Worker DiLoCo (JAX),0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222 +Single Worker DiLoCo v2 (JAX),0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_01pct.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_01pct.csv new file mode 100644 index 00000000..80350346 --- /dev/null +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_01pct.csv @@ -0,0 +1,15 @@ +submission,1.0,1.0303030303030303,1.0606060606060606,1.0909090909090908,1.121212121212121,1.1515151515151516,1.1818181818181819,1.2121212121212122,1.2424242424242424,1.2727272727272727,1.303030303030303,1.3333333333333335,1.3636363636363638,1.393939393939394,1.4242424242424243,1.4545454545454546,1.4848484848484849,1.5151515151515151,1.5454545454545454,1.5757575757575757,1.606060606060606,1.6363636363636362,1.6666666666666667,1.696969696969697,1.7272727272727273,1.7575757575757576,1.7878787878787878,1.8181818181818183,1.8484848484848486,1.878787878787879,1.9090909090909092,1.9393939393939394,1.9696969696969697,2.0,2.0303030303030303,2.0606060606060606,2.090909090909091,2.121212121212121,2.1515151515151514,2.1818181818181817,2.212121212121212,2.242424242424242,2.2727272727272725,2.3030303030303028,2.3333333333333335,2.3636363636363638,2.393939393939394,2.4242424242424243,2.4545454545454546,2.484848484848485,2.515151515151515,2.5454545454545454,2.5757575757575757,2.6060606060606064,2.6363636363636367,2.666666666666667,2.6969696969696972,2.7272727272727275,2.757575757575758,2.787878787878788,2.8181818181818183,2.8484848484848486,2.878787878787879,2.909090909090909,2.9393939393939394,2.9696969696969697,3.0,3.0303030303030303,3.0606060606060606,3.090909090909091,3.121212121212121,3.1515151515151514,3.1818181818181817,3.2121212121212124,3.2424242424242427,3.272727272727273,3.303030303030303,3.3333333333333335,3.3636363636363638,3.393939393939394,3.4242424242424243,3.4545454545454546,3.484848484848485,3.515151515151515,3.5454545454545454,3.5757575757575757,3.606060606060606,3.6363636363636362,3.666666666666667,3.6969696969696972,3.7272727272727275,3.757575757575758,3.787878787878788,3.8181818181818183,3.8484848484848486,3.878787878787879,3.909090909090909,3.9393939393939394,3.9696969696969697,4.0 +AdEMAMix (PyTorch),0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Cautious NAdamW (JAX),0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444 +Lion (PyTorch),0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 +Muon (JAX),0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333 +Muon (PyTorch),0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 +NAdamW (JAX),0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444 +NAdamW (Baseline AlgoPerf v0.5) (JAX),0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 +NAdamW (Tuned for ResNet) (JAX),0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 +Schedule-Free AdamW (PyTorch),0.0,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 +Schedule-Free AdamW (JAX),0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Schedule-Free AdamW v2 (JAX),0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Schedule-Free AdamW v2 (PyTorch),0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Single Worker DiLoCo (JAX),0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333 +Single Worker DiLoCo v2 (JAX),0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_02pct.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_02pct.csv new file mode 100644 index 00000000..e2ba4f98 --- /dev/null +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_02pct.csv @@ -0,0 +1,15 @@ +submission,1.0,1.0303030303030303,1.0606060606060606,1.0909090909090908,1.121212121212121,1.1515151515151516,1.1818181818181819,1.2121212121212122,1.2424242424242424,1.2727272727272727,1.303030303030303,1.3333333333333335,1.3636363636363638,1.393939393939394,1.4242424242424243,1.4545454545454546,1.4848484848484849,1.5151515151515151,1.5454545454545454,1.5757575757575757,1.606060606060606,1.6363636363636362,1.6666666666666667,1.696969696969697,1.7272727272727273,1.7575757575757576,1.7878787878787878,1.8181818181818183,1.8484848484848486,1.878787878787879,1.9090909090909092,1.9393939393939394,1.9696969696969697,2.0,2.0303030303030303,2.0606060606060606,2.090909090909091,2.121212121212121,2.1515151515151514,2.1818181818181817,2.212121212121212,2.242424242424242,2.2727272727272725,2.3030303030303028,2.3333333333333335,2.3636363636363638,2.393939393939394,2.4242424242424243,2.4545454545454546,2.484848484848485,2.515151515151515,2.5454545454545454,2.5757575757575757,2.6060606060606064,2.6363636363636367,2.666666666666667,2.6969696969696972,2.7272727272727275,2.757575757575758,2.787878787878788,2.8181818181818183,2.8484848484848486,2.878787878787879,2.909090909090909,2.9393939393939394,2.9696969696969697,3.0,3.0303030303030303,3.0606060606060606,3.090909090909091,3.121212121212121,3.1515151515151514,3.1818181818181817,3.2121212121212124,3.2424242424242427,3.272727272727273,3.303030303030303,3.3333333333333335,3.3636363636363638,3.393939393939394,3.4242424242424243,3.4545454545454546,3.484848484848485,3.515151515151515,3.5454545454545454,3.5757575757575757,3.606060606060606,3.6363636363636362,3.666666666666667,3.6969696969696972,3.7272727272727275,3.757575757575758,3.787878787878788,3.8181818181818183,3.8484848484848486,3.878787878787879,3.909090909090909,3.9393939393939394,3.9696969696969697,4.0 +AdEMAMix (PyTorch),0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Cautious NAdamW (JAX),0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 +Lion (PyTorch),0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444 +Muon (JAX),0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444 +Muon (PyTorch),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 +NAdamW (JAX),0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444 +NAdamW (Baseline AlgoPerf v0.5) (JAX),0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 +NAdamW (Tuned for ResNet) (JAX),0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444 +Schedule-Free AdamW (PyTorch),0.0,0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 +Schedule-Free AdamW (JAX),0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Schedule-Free AdamW v2 (JAX),0.1111111111111111,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Schedule-Free AdamW v2 (PyTorch),0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Single Worker DiLoCo (JAX),0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444 +Single Worker DiLoCo v2 (JAX),0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_03pct.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_03pct.csv new file mode 100644 index 00000000..1aef9ee4 --- /dev/null +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_03pct.csv @@ -0,0 +1,15 @@ +submission,1.0,1.0303030303030303,1.0606060606060606,1.0909090909090908,1.121212121212121,1.1515151515151516,1.1818181818181819,1.2121212121212122,1.2424242424242424,1.2727272727272727,1.303030303030303,1.3333333333333335,1.3636363636363638,1.393939393939394,1.4242424242424243,1.4545454545454546,1.4848484848484849,1.5151515151515151,1.5454545454545454,1.5757575757575757,1.606060606060606,1.6363636363636362,1.6666666666666667,1.696969696969697,1.7272727272727273,1.7575757575757576,1.7878787878787878,1.8181818181818183,1.8484848484848486,1.878787878787879,1.9090909090909092,1.9393939393939394,1.9696969696969697,2.0,2.0303030303030303,2.0606060606060606,2.090909090909091,2.121212121212121,2.1515151515151514,2.1818181818181817,2.212121212121212,2.242424242424242,2.2727272727272725,2.3030303030303028,2.3333333333333335,2.3636363636363638,2.393939393939394,2.4242424242424243,2.4545454545454546,2.484848484848485,2.515151515151515,2.5454545454545454,2.5757575757575757,2.6060606060606064,2.6363636363636367,2.666666666666667,2.6969696969696972,2.7272727272727275,2.757575757575758,2.787878787878788,2.8181818181818183,2.8484848484848486,2.878787878787879,2.909090909090909,2.9393939393939394,2.9696969696969697,3.0,3.0303030303030303,3.0606060606060606,3.090909090909091,3.121212121212121,3.1515151515151514,3.1818181818181817,3.2121212121212124,3.2424242424242427,3.272727272727273,3.303030303030303,3.3333333333333335,3.3636363636363638,3.393939393939394,3.4242424242424243,3.4545454545454546,3.484848484848485,3.515151515151515,3.5454545454545454,3.5757575757575757,3.606060606060606,3.6363636363636362,3.666666666666667,3.6969696969696972,3.7272727272727275,3.757575757575758,3.787878787878788,3.8181818181818183,3.8484848484848486,3.878787878787879,3.909090909090909,3.9393939393939394,3.9696969696969697,4.0 +AdEMAMix (PyTorch),0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Cautious NAdamW (JAX),0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Lion (PyTorch),0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444 +Muon (JAX),0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556 +Muon (PyTorch),0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 +NAdamW (JAX),0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +NAdamW (Baseline AlgoPerf v0.5) (JAX),0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 +NAdamW (Tuned for ResNet) (JAX),0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444 +Schedule-Free AdamW (PyTorch),0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Schedule-Free AdamW (JAX),0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Schedule-Free AdamW v2 (JAX),0.1111111111111111,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Schedule-Free AdamW v2 (PyTorch),0.2222222222222222,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666 +Single Worker DiLoCo (JAX),0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 +Single Worker DiLoCo v2 (JAX),0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_04pct.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_04pct.csv new file mode 100644 index 00000000..69980d7f --- /dev/null +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_04pct.csv @@ -0,0 +1,15 @@ +submission,1.0,1.0303030303030303,1.0606060606060606,1.0909090909090908,1.121212121212121,1.1515151515151516,1.1818181818181819,1.2121212121212122,1.2424242424242424,1.2727272727272727,1.303030303030303,1.3333333333333335,1.3636363636363638,1.393939393939394,1.4242424242424243,1.4545454545454546,1.4848484848484849,1.5151515151515151,1.5454545454545454,1.5757575757575757,1.606060606060606,1.6363636363636362,1.6666666666666667,1.696969696969697,1.7272727272727273,1.7575757575757576,1.7878787878787878,1.8181818181818183,1.8484848484848486,1.878787878787879,1.9090909090909092,1.9393939393939394,1.9696969696969697,2.0,2.0303030303030303,2.0606060606060606,2.090909090909091,2.121212121212121,2.1515151515151514,2.1818181818181817,2.212121212121212,2.242424242424242,2.2727272727272725,2.3030303030303028,2.3333333333333335,2.3636363636363638,2.393939393939394,2.4242424242424243,2.4545454545454546,2.484848484848485,2.515151515151515,2.5454545454545454,2.5757575757575757,2.6060606060606064,2.6363636363636367,2.666666666666667,2.6969696969696972,2.7272727272727275,2.757575757575758,2.787878787878788,2.8181818181818183,2.8484848484848486,2.878787878787879,2.909090909090909,2.9393939393939394,2.9696969696969697,3.0,3.0303030303030303,3.0606060606060606,3.090909090909091,3.121212121212121,3.1515151515151514,3.1818181818181817,3.2121212121212124,3.2424242424242427,3.272727272727273,3.303030303030303,3.3333333333333335,3.3636363636363638,3.393939393939394,3.4242424242424243,3.4545454545454546,3.484848484848485,3.515151515151515,3.5454545454545454,3.5757575757575757,3.606060606060606,3.6363636363636362,3.666666666666667,3.6969696969696972,3.7272727272727275,3.757575757575758,3.787878787878788,3.8181818181818183,3.8484848484848486,3.878787878787879,3.909090909090909,3.9393939393939394,3.9696969696969697,4.0 +AdEMAMix (PyTorch),0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Cautious NAdamW (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Lion (PyTorch),0.0,0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 +Muon (JAX),0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 +Muon (PyTorch),0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 +NAdamW (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +NAdamW (Baseline AlgoPerf v0.5) (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +NAdamW (Tuned for ResNet) (JAX),0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Schedule-Free AdamW (PyTorch),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Schedule-Free AdamW (JAX),0.1111111111111111,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Schedule-Free AdamW v2 (JAX),0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Schedule-Free AdamW v2 (PyTorch),0.2222222222222222,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Single Worker DiLoCo (JAX),0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 +Single Worker DiLoCo v2 (JAX),0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_05pct.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_05pct.csv new file mode 100644 index 00000000..d3615d0b --- /dev/null +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_05pct.csv @@ -0,0 +1,15 @@ +submission,1.0,1.0303030303030303,1.0606060606060606,1.0909090909090908,1.121212121212121,1.1515151515151516,1.1818181818181819,1.2121212121212122,1.2424242424242424,1.2727272727272727,1.303030303030303,1.3333333333333335,1.3636363636363638,1.393939393939394,1.4242424242424243,1.4545454545454546,1.4848484848484849,1.5151515151515151,1.5454545454545454,1.5757575757575757,1.606060606060606,1.6363636363636362,1.6666666666666667,1.696969696969697,1.7272727272727273,1.7575757575757576,1.7878787878787878,1.8181818181818183,1.8484848484848486,1.878787878787879,1.9090909090909092,1.9393939393939394,1.9696969696969697,2.0,2.0303030303030303,2.0606060606060606,2.090909090909091,2.121212121212121,2.1515151515151514,2.1818181818181817,2.212121212121212,2.242424242424242,2.2727272727272725,2.3030303030303028,2.3333333333333335,2.3636363636363638,2.393939393939394,2.4242424242424243,2.4545454545454546,2.484848484848485,2.515151515151515,2.5454545454545454,2.5757575757575757,2.6060606060606064,2.6363636363636367,2.666666666666667,2.6969696969696972,2.7272727272727275,2.757575757575758,2.787878787878788,2.8181818181818183,2.8484848484848486,2.878787878787879,2.909090909090909,2.9393939393939394,2.9696969696969697,3.0,3.0303030303030303,3.0606060606060606,3.090909090909091,3.121212121212121,3.1515151515151514,3.1818181818181817,3.2121212121212124,3.2424242424242427,3.272727272727273,3.303030303030303,3.3333333333333335,3.3636363636363638,3.393939393939394,3.4242424242424243,3.4545454545454546,3.484848484848485,3.515151515151515,3.5454545454545454,3.5757575757575757,3.606060606060606,3.6363636363636362,3.666666666666667,3.6969696969696972,3.7272727272727275,3.757575757575758,3.787878787878788,3.8181818181818183,3.8484848484848486,3.878787878787879,3.909090909090909,3.9393939393939394,3.9696969696969697,4.0 +AdEMAMix (PyTorch),0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Cautious NAdamW (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Lion (PyTorch),0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666 +Muon (JAX),0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 +Muon (PyTorch),0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 +NAdamW (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +NAdamW (Baseline AlgoPerf v0.5) (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +NAdamW (Tuned for ResNet) (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Schedule-Free AdamW (PyTorch),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Schedule-Free AdamW (JAX),0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Schedule-Free AdamW v2 (JAX),0.1111111111111111,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Schedule-Free AdamW v2 (PyTorch),0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Single Worker DiLoCo (JAX),0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 +Single Worker DiLoCo v2 (JAX),0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_06pct.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_06pct.csv new file mode 100644 index 00000000..c850bb3a --- /dev/null +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_06pct.csv @@ -0,0 +1,15 @@ +submission,1.0,1.0303030303030303,1.0606060606060606,1.0909090909090908,1.121212121212121,1.1515151515151516,1.1818181818181819,1.2121212121212122,1.2424242424242424,1.2727272727272727,1.303030303030303,1.3333333333333335,1.3636363636363638,1.393939393939394,1.4242424242424243,1.4545454545454546,1.4848484848484849,1.5151515151515151,1.5454545454545454,1.5757575757575757,1.606060606060606,1.6363636363636362,1.6666666666666667,1.696969696969697,1.7272727272727273,1.7575757575757576,1.7878787878787878,1.8181818181818183,1.8484848484848486,1.878787878787879,1.9090909090909092,1.9393939393939394,1.9696969696969697,2.0,2.0303030303030303,2.0606060606060606,2.090909090909091,2.121212121212121,2.1515151515151514,2.1818181818181817,2.212121212121212,2.242424242424242,2.2727272727272725,2.3030303030303028,2.3333333333333335,2.3636363636363638,2.393939393939394,2.4242424242424243,2.4545454545454546,2.484848484848485,2.515151515151515,2.5454545454545454,2.5757575757575757,2.6060606060606064,2.6363636363636367,2.666666666666667,2.6969696969696972,2.7272727272727275,2.757575757575758,2.787878787878788,2.8181818181818183,2.8484848484848486,2.878787878787879,2.909090909090909,2.9393939393939394,2.9696969696969697,3.0,3.0303030303030303,3.0606060606060606,3.090909090909091,3.121212121212121,3.1515151515151514,3.1818181818181817,3.2121212121212124,3.2424242424242427,3.272727272727273,3.303030303030303,3.3333333333333335,3.3636363636363638,3.393939393939394,3.4242424242424243,3.4545454545454546,3.484848484848485,3.515151515151515,3.5454545454545454,3.5757575757575757,3.606060606060606,3.6363636363636362,3.666666666666667,3.6969696969696972,3.7272727272727275,3.757575757575758,3.787878787878788,3.8181818181818183,3.8484848484848486,3.878787878787879,3.909090909090909,3.9393939393939394,3.9696969696969697,4.0 +AdEMAMix (PyTorch),0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 +Cautious NAdamW (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Lion (PyTorch),0.0,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 +Muon (JAX),0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 +Muon (PyTorch),0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 +NAdamW (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +NAdamW (Baseline AlgoPerf v0.5) (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +NAdamW (Tuned for ResNet) (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 +Schedule-Free AdamW (PyTorch),0.0,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Schedule-Free AdamW (JAX),0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Schedule-Free AdamW v2 (JAX),0.1111111111111111,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Schedule-Free AdamW v2 (PyTorch),0.3333333333333333,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Single Worker DiLoCo (JAX),0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Single Worker DiLoCo v2 (JAX),0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_07pct.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_07pct.csv new file mode 100644 index 00000000..1151dfee --- /dev/null +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_07pct.csv @@ -0,0 +1,15 @@ +submission,1.0,1.0303030303030303,1.0606060606060606,1.0909090909090908,1.121212121212121,1.1515151515151516,1.1818181818181819,1.2121212121212122,1.2424242424242424,1.2727272727272727,1.303030303030303,1.3333333333333335,1.3636363636363638,1.393939393939394,1.4242424242424243,1.4545454545454546,1.4848484848484849,1.5151515151515151,1.5454545454545454,1.5757575757575757,1.606060606060606,1.6363636363636362,1.6666666666666667,1.696969696969697,1.7272727272727273,1.7575757575757576,1.7878787878787878,1.8181818181818183,1.8484848484848486,1.878787878787879,1.9090909090909092,1.9393939393939394,1.9696969696969697,2.0,2.0303030303030303,2.0606060606060606,2.090909090909091,2.121212121212121,2.1515151515151514,2.1818181818181817,2.212121212121212,2.242424242424242,2.2727272727272725,2.3030303030303028,2.3333333333333335,2.3636363636363638,2.393939393939394,2.4242424242424243,2.4545454545454546,2.484848484848485,2.515151515151515,2.5454545454545454,2.5757575757575757,2.6060606060606064,2.6363636363636367,2.666666666666667,2.6969696969696972,2.7272727272727275,2.757575757575758,2.787878787878788,2.8181818181818183,2.8484848484848486,2.878787878787879,2.909090909090909,2.9393939393939394,2.9696969696969697,3.0,3.0303030303030303,3.0606060606060606,3.090909090909091,3.121212121212121,3.1515151515151514,3.1818181818181817,3.2121212121212124,3.2424242424242427,3.272727272727273,3.303030303030303,3.3333333333333335,3.3636363636363638,3.393939393939394,3.4242424242424243,3.4545454545454546,3.484848484848485,3.515151515151515,3.5454545454545454,3.5757575757575757,3.606060606060606,3.6363636363636362,3.666666666666667,3.6969696969696972,3.7272727272727275,3.757575757575758,3.787878787878788,3.8181818181818183,3.8484848484848486,3.878787878787879,3.909090909090909,3.9393939393939394,3.9696969696969697,4.0 +AdEMAMix (PyTorch),0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 +Cautious NAdamW (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Lion (PyTorch),0.0,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 +Muon (JAX),0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 +Muon (PyTorch),0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 +NAdamW (JAX),0.0,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +NAdamW (Baseline AlgoPerf v0.5) (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +NAdamW (Tuned for ResNet) (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 +Schedule-Free AdamW (PyTorch),0.0,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Schedule-Free AdamW (JAX),0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Schedule-Free AdamW v2 (JAX),0.1111111111111111,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Schedule-Free AdamW v2 (PyTorch),0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Single Worker DiLoCo (JAX),0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.6666666666666666 +Single Worker DiLoCo v2 (JAX),0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_08pct.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_08pct.csv new file mode 100644 index 00000000..ea5a9dcd --- /dev/null +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_08pct.csv @@ -0,0 +1,15 @@ +submission,1.0,1.0303030303030303,1.0606060606060606,1.0909090909090908,1.121212121212121,1.1515151515151516,1.1818181818181819,1.2121212121212122,1.2424242424242424,1.2727272727272727,1.303030303030303,1.3333333333333335,1.3636363636363638,1.393939393939394,1.4242424242424243,1.4545454545454546,1.4848484848484849,1.5151515151515151,1.5454545454545454,1.5757575757575757,1.606060606060606,1.6363636363636362,1.6666666666666667,1.696969696969697,1.7272727272727273,1.7575757575757576,1.7878787878787878,1.8181818181818183,1.8484848484848486,1.878787878787879,1.9090909090909092,1.9393939393939394,1.9696969696969697,2.0,2.0303030303030303,2.0606060606060606,2.090909090909091,2.121212121212121,2.1515151515151514,2.1818181818181817,2.212121212121212,2.242424242424242,2.2727272727272725,2.3030303030303028,2.3333333333333335,2.3636363636363638,2.393939393939394,2.4242424242424243,2.4545454545454546,2.484848484848485,2.515151515151515,2.5454545454545454,2.5757575757575757,2.6060606060606064,2.6363636363636367,2.666666666666667,2.6969696969696972,2.7272727272727275,2.757575757575758,2.787878787878788,2.8181818181818183,2.8484848484848486,2.878787878787879,2.909090909090909,2.9393939393939394,2.9696969696969697,3.0,3.0303030303030303,3.0606060606060606,3.090909090909091,3.121212121212121,3.1515151515151514,3.1818181818181817,3.2121212121212124,3.2424242424242427,3.272727272727273,3.303030303030303,3.3333333333333335,3.3636363636363638,3.393939393939394,3.4242424242424243,3.4545454545454546,3.484848484848485,3.515151515151515,3.5454545454545454,3.5757575757575757,3.606060606060606,3.6363636363636362,3.666666666666667,3.6969696969696972,3.7272727272727275,3.757575757575758,3.787878787878788,3.8181818181818183,3.8484848484848486,3.878787878787879,3.909090909090909,3.9393939393939394,3.9696969696969697,4.0 +AdEMAMix (PyTorch),0.1111111111111111,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 +Cautious NAdamW (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Lion (PyTorch),0.0,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 +Muon (JAX),0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 +Muon (PyTorch),0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +NAdamW (JAX),0.0,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 +NAdamW (Baseline AlgoPerf v0.5) (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +NAdamW (Tuned for ResNet) (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444 +Schedule-Free AdamW (PyTorch),0.0,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Schedule-Free AdamW (JAX),0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Schedule-Free AdamW v2 (JAX),0.1111111111111111,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Schedule-Free AdamW v2 (PyTorch),0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778 +Single Worker DiLoCo (JAX),0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Single Worker DiLoCo v2 (JAX),0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_09pct.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_09pct.csv new file mode 100644 index 00000000..6ece6ca4 --- /dev/null +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_09pct.csv @@ -0,0 +1,15 @@ +submission,1.0,1.0303030303030303,1.0606060606060606,1.0909090909090908,1.121212121212121,1.1515151515151516,1.1818181818181819,1.2121212121212122,1.2424242424242424,1.2727272727272727,1.303030303030303,1.3333333333333335,1.3636363636363638,1.393939393939394,1.4242424242424243,1.4545454545454546,1.4848484848484849,1.5151515151515151,1.5454545454545454,1.5757575757575757,1.606060606060606,1.6363636363636362,1.6666666666666667,1.696969696969697,1.7272727272727273,1.7575757575757576,1.7878787878787878,1.8181818181818183,1.8484848484848486,1.878787878787879,1.9090909090909092,1.9393939393939394,1.9696969696969697,2.0,2.0303030303030303,2.0606060606060606,2.090909090909091,2.121212121212121,2.1515151515151514,2.1818181818181817,2.212121212121212,2.242424242424242,2.2727272727272725,2.3030303030303028,2.3333333333333335,2.3636363636363638,2.393939393939394,2.4242424242424243,2.4545454545454546,2.484848484848485,2.515151515151515,2.5454545454545454,2.5757575757575757,2.6060606060606064,2.6363636363636367,2.666666666666667,2.6969696969696972,2.7272727272727275,2.757575757575758,2.787878787878788,2.8181818181818183,2.8484848484848486,2.878787878787879,2.909090909090909,2.9393939393939394,2.9696969696969697,3.0,3.0303030303030303,3.0606060606060606,3.090909090909091,3.121212121212121,3.1515151515151514,3.1818181818181817,3.2121212121212124,3.2424242424242427,3.272727272727273,3.303030303030303,3.3333333333333335,3.3636363636363638,3.393939393939394,3.4242424242424243,3.4545454545454546,3.484848484848485,3.515151515151515,3.5454545454545454,3.5757575757575757,3.606060606060606,3.6363636363636362,3.666666666666667,3.6969696969696972,3.7272727272727275,3.757575757575758,3.787878787878788,3.8181818181818183,3.8484848484848486,3.878787878787879,3.909090909090909,3.9393939393939394,3.9696969696969697,4.0 +AdEMAMix (PyTorch),0.1111111111111111,0.1111111111111111,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Cautious NAdamW (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778 +Lion (PyTorch),0.0,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 +Muon (JAX),0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 +Muon (PyTorch),0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +NAdamW (JAX),0.0,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666 +NAdamW (Baseline AlgoPerf v0.5) (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778 +NAdamW (Tuned for ResNet) (JAX),0.0,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 +Schedule-Free AdamW (PyTorch),0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Schedule-Free AdamW (JAX),0.2222222222222222,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Schedule-Free AdamW v2 (JAX),0.1111111111111111,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Schedule-Free AdamW v2 (PyTorch),0.2222222222222222,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778 +Single Worker DiLoCo (JAX),0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Single Worker DiLoCo v2 (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_10pct.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_10pct.csv new file mode 100644 index 00000000..28068fc5 --- /dev/null +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_10pct.csv @@ -0,0 +1,15 @@ +submission,1.0,1.0303030303030303,1.0606060606060606,1.0909090909090908,1.121212121212121,1.1515151515151516,1.1818181818181819,1.2121212121212122,1.2424242424242424,1.2727272727272727,1.303030303030303,1.3333333333333335,1.3636363636363638,1.393939393939394,1.4242424242424243,1.4545454545454546,1.4848484848484849,1.5151515151515151,1.5454545454545454,1.5757575757575757,1.606060606060606,1.6363636363636362,1.6666666666666667,1.696969696969697,1.7272727272727273,1.7575757575757576,1.7878787878787878,1.8181818181818183,1.8484848484848486,1.878787878787879,1.9090909090909092,1.9393939393939394,1.9696969696969697,2.0,2.0303030303030303,2.0606060606060606,2.090909090909091,2.121212121212121,2.1515151515151514,2.1818181818181817,2.212121212121212,2.242424242424242,2.2727272727272725,2.3030303030303028,2.3333333333333335,2.3636363636363638,2.393939393939394,2.4242424242424243,2.4545454545454546,2.484848484848485,2.515151515151515,2.5454545454545454,2.5757575757575757,2.6060606060606064,2.6363636363636367,2.666666666666667,2.6969696969696972,2.7272727272727275,2.757575757575758,2.787878787878788,2.8181818181818183,2.8484848484848486,2.878787878787879,2.909090909090909,2.9393939393939394,2.9696969696969697,3.0,3.0303030303030303,3.0606060606060606,3.090909090909091,3.121212121212121,3.1515151515151514,3.1818181818181817,3.2121212121212124,3.2424242424242427,3.272727272727273,3.303030303030303,3.3333333333333335,3.3636363636363638,3.393939393939394,3.4242424242424243,3.4545454545454546,3.484848484848485,3.515151515151515,3.5454545454545454,3.5757575757575757,3.606060606060606,3.6363636363636362,3.666666666666667,3.6969696969696972,3.7272727272727275,3.757575757575758,3.787878787878788,3.8181818181818183,3.8484848484848486,3.878787878787879,3.909090909090909,3.9393939393939394,3.9696969696969697,4.0 +AdEMAMix (PyTorch),0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Cautious NAdamW (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778 +Lion (PyTorch),0.0,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 +Muon (JAX),0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Muon (PyTorch),0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +NAdamW (JAX),0.0,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 +NAdamW (Baseline AlgoPerf v0.5) (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778 +NAdamW (Tuned for ResNet) (JAX),0.0,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.6666666666666666 +Schedule-Free AdamW (PyTorch),0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Schedule-Free AdamW (JAX),0.1111111111111111,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Schedule-Free AdamW v2 (JAX),0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Schedule-Free AdamW v2 (PyTorch),0.3333333333333333,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Single Worker DiLoCo (JAX),0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Single Worker DiLoCo v2 (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_11pct.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_11pct.csv new file mode 100644 index 00000000..0b970ad2 --- /dev/null +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_11pct.csv @@ -0,0 +1,15 @@ +submission,1.0,1.0303030303030303,1.0606060606060606,1.0909090909090908,1.121212121212121,1.1515151515151516,1.1818181818181819,1.2121212121212122,1.2424242424242424,1.2727272727272727,1.303030303030303,1.3333333333333335,1.3636363636363638,1.393939393939394,1.4242424242424243,1.4545454545454546,1.4848484848484849,1.5151515151515151,1.5454545454545454,1.5757575757575757,1.606060606060606,1.6363636363636362,1.6666666666666667,1.696969696969697,1.7272727272727273,1.7575757575757576,1.7878787878787878,1.8181818181818183,1.8484848484848486,1.878787878787879,1.9090909090909092,1.9393939393939394,1.9696969696969697,2.0,2.0303030303030303,2.0606060606060606,2.090909090909091,2.121212121212121,2.1515151515151514,2.1818181818181817,2.212121212121212,2.242424242424242,2.2727272727272725,2.3030303030303028,2.3333333333333335,2.3636363636363638,2.393939393939394,2.4242424242424243,2.4545454545454546,2.484848484848485,2.515151515151515,2.5454545454545454,2.5757575757575757,2.6060606060606064,2.6363636363636367,2.666666666666667,2.6969696969696972,2.7272727272727275,2.757575757575758,2.787878787878788,2.8181818181818183,2.8484848484848486,2.878787878787879,2.909090909090909,2.9393939393939394,2.9696969696969697,3.0,3.0303030303030303,3.0606060606060606,3.090909090909091,3.121212121212121,3.1515151515151514,3.1818181818181817,3.2121212121212124,3.2424242424242427,3.272727272727273,3.303030303030303,3.3333333333333335,3.3636363636363638,3.393939393939394,3.4242424242424243,3.4545454545454546,3.484848484848485,3.515151515151515,3.5454545454545454,3.5757575757575757,3.606060606060606,3.6363636363636362,3.666666666666667,3.6969696969696972,3.7272727272727275,3.757575757575758,3.787878787878788,3.8181818181818183,3.8484848484848486,3.878787878787879,3.909090909090909,3.9393939393939394,3.9696969696969697,4.0 +AdEMAMix (PyTorch),0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Cautious NAdamW (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Lion (PyTorch),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 +Muon (JAX),0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 +Muon (PyTorch),0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +NAdamW (JAX),0.0,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 +NAdamW (Baseline AlgoPerf v0.5) (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +NAdamW (Tuned for ResNet) (JAX),0.0,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556 +Schedule-Free AdamW (PyTorch),0.0,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Schedule-Free AdamW (JAX),0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Schedule-Free AdamW v2 (JAX),0.1111111111111111,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Schedule-Free AdamW v2 (PyTorch),0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Single Worker DiLoCo (JAX),0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Single Worker DiLoCo v2 (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_12pct.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_12pct.csv new file mode 100644 index 00000000..3081b397 --- /dev/null +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_12pct.csv @@ -0,0 +1,15 @@ +submission,1.0,1.0303030303030303,1.0606060606060606,1.0909090909090908,1.121212121212121,1.1515151515151516,1.1818181818181819,1.2121212121212122,1.2424242424242424,1.2727272727272727,1.303030303030303,1.3333333333333335,1.3636363636363638,1.393939393939394,1.4242424242424243,1.4545454545454546,1.4848484848484849,1.5151515151515151,1.5454545454545454,1.5757575757575757,1.606060606060606,1.6363636363636362,1.6666666666666667,1.696969696969697,1.7272727272727273,1.7575757575757576,1.7878787878787878,1.8181818181818183,1.8484848484848486,1.878787878787879,1.9090909090909092,1.9393939393939394,1.9696969696969697,2.0,2.0303030303030303,2.0606060606060606,2.090909090909091,2.121212121212121,2.1515151515151514,2.1818181818181817,2.212121212121212,2.242424242424242,2.2727272727272725,2.3030303030303028,2.3333333333333335,2.3636363636363638,2.393939393939394,2.4242424242424243,2.4545454545454546,2.484848484848485,2.515151515151515,2.5454545454545454,2.5757575757575757,2.6060606060606064,2.6363636363636367,2.666666666666667,2.6969696969696972,2.7272727272727275,2.757575757575758,2.787878787878788,2.8181818181818183,2.8484848484848486,2.878787878787879,2.909090909090909,2.9393939393939394,2.9696969696969697,3.0,3.0303030303030303,3.0606060606060606,3.090909090909091,3.121212121212121,3.1515151515151514,3.1818181818181817,3.2121212121212124,3.2424242424242427,3.272727272727273,3.303030303030303,3.3333333333333335,3.3636363636363638,3.393939393939394,3.4242424242424243,3.4545454545454546,3.484848484848485,3.515151515151515,3.5454545454545454,3.5757575757575757,3.606060606060606,3.6363636363636362,3.666666666666667,3.6969696969696972,3.7272727272727275,3.757575757575758,3.787878787878788,3.8181818181818183,3.8484848484848486,3.878787878787879,3.909090909090909,3.9393939393939394,3.9696969696969697,4.0 +AdEMAMix (PyTorch),0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Cautious NAdamW (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Lion (PyTorch),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Muon (JAX),0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Muon (PyTorch),0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +NAdamW (JAX),0.0,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +NAdamW (Baseline AlgoPerf v0.5) (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +NAdamW (Tuned for ResNet) (JAX),0.0,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Schedule-Free AdamW (PyTorch),0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Schedule-Free AdamW (JAX),0.1111111111111111,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Schedule-Free AdamW v2 (JAX),0.2222222222222222,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Schedule-Free AdamW v2 (PyTorch),0.2222222222222222,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Single Worker DiLoCo (JAX),0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Single Worker DiLoCo v2 (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_13pct.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_13pct.csv new file mode 100644 index 00000000..ee71b080 --- /dev/null +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_13pct.csv @@ -0,0 +1,15 @@ +submission,1.0,1.0303030303030303,1.0606060606060606,1.0909090909090908,1.121212121212121,1.1515151515151516,1.1818181818181819,1.2121212121212122,1.2424242424242424,1.2727272727272727,1.303030303030303,1.3333333333333335,1.3636363636363638,1.393939393939394,1.4242424242424243,1.4545454545454546,1.4848484848484849,1.5151515151515151,1.5454545454545454,1.5757575757575757,1.606060606060606,1.6363636363636362,1.6666666666666667,1.696969696969697,1.7272727272727273,1.7575757575757576,1.7878787878787878,1.8181818181818183,1.8484848484848486,1.878787878787879,1.9090909090909092,1.9393939393939394,1.9696969696969697,2.0,2.0303030303030303,2.0606060606060606,2.090909090909091,2.121212121212121,2.1515151515151514,2.1818181818181817,2.212121212121212,2.242424242424242,2.2727272727272725,2.3030303030303028,2.3333333333333335,2.3636363636363638,2.393939393939394,2.4242424242424243,2.4545454545454546,2.484848484848485,2.515151515151515,2.5454545454545454,2.5757575757575757,2.6060606060606064,2.6363636363636367,2.666666666666667,2.6969696969696972,2.7272727272727275,2.757575757575758,2.787878787878788,2.8181818181818183,2.8484848484848486,2.878787878787879,2.909090909090909,2.9393939393939394,2.9696969696969697,3.0,3.0303030303030303,3.0606060606060606,3.090909090909091,3.121212121212121,3.1515151515151514,3.1818181818181817,3.2121212121212124,3.2424242424242427,3.272727272727273,3.303030303030303,3.3333333333333335,3.3636363636363638,3.393939393939394,3.4242424242424243,3.4545454545454546,3.484848484848485,3.515151515151515,3.5454545454545454,3.5757575757575757,3.606060606060606,3.6363636363636362,3.666666666666667,3.6969696969696972,3.7272727272727275,3.757575757575758,3.787878787878788,3.8181818181818183,3.8484848484848486,3.878787878787879,3.909090909090909,3.9393939393939394,3.9696969696969697,4.0 +AdEMAMix (PyTorch),0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Cautious NAdamW (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778 +Lion (PyTorch),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Muon (JAX),0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Muon (PyTorch),0.0,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +NAdamW (JAX),0.0,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +NAdamW (Baseline AlgoPerf v0.5) (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +NAdamW (Tuned for ResNet) (JAX),0.0,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Schedule-Free AdamW (PyTorch),0.1111111111111111,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Schedule-Free AdamW (JAX),0.2222222222222222,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Schedule-Free AdamW v2 (JAX),0.1111111111111111,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Schedule-Free AdamW v2 (PyTorch),0.3333333333333333,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Single Worker DiLoCo (JAX),0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Single Worker DiLoCo v2 (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_14pct.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_14pct.csv new file mode 100644 index 00000000..fa27bfe3 --- /dev/null +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_14pct.csv @@ -0,0 +1,15 @@ +submission,1.0,1.0303030303030303,1.0606060606060606,1.0909090909090908,1.121212121212121,1.1515151515151516,1.1818181818181819,1.2121212121212122,1.2424242424242424,1.2727272727272727,1.303030303030303,1.3333333333333335,1.3636363636363638,1.393939393939394,1.4242424242424243,1.4545454545454546,1.4848484848484849,1.5151515151515151,1.5454545454545454,1.5757575757575757,1.606060606060606,1.6363636363636362,1.6666666666666667,1.696969696969697,1.7272727272727273,1.7575757575757576,1.7878787878787878,1.8181818181818183,1.8484848484848486,1.878787878787879,1.9090909090909092,1.9393939393939394,1.9696969696969697,2.0,2.0303030303030303,2.0606060606060606,2.090909090909091,2.121212121212121,2.1515151515151514,2.1818181818181817,2.212121212121212,2.242424242424242,2.2727272727272725,2.3030303030303028,2.3333333333333335,2.3636363636363638,2.393939393939394,2.4242424242424243,2.4545454545454546,2.484848484848485,2.515151515151515,2.5454545454545454,2.5757575757575757,2.6060606060606064,2.6363636363636367,2.666666666666667,2.6969696969696972,2.7272727272727275,2.757575757575758,2.787878787878788,2.8181818181818183,2.8484848484848486,2.878787878787879,2.909090909090909,2.9393939393939394,2.9696969696969697,3.0,3.0303030303030303,3.0606060606060606,3.090909090909091,3.121212121212121,3.1515151515151514,3.1818181818181817,3.2121212121212124,3.2424242424242427,3.272727272727273,3.303030303030303,3.3333333333333335,3.3636363636363638,3.393939393939394,3.4242424242424243,3.4545454545454546,3.484848484848485,3.515151515151515,3.5454545454545454,3.5757575757575757,3.606060606060606,3.6363636363636362,3.666666666666667,3.6969696969696972,3.7272727272727275,3.757575757575758,3.787878787878788,3.8181818181818183,3.8484848484848486,3.878787878787879,3.909090909090909,3.9393939393939394,3.9696969696969697,4.0 +AdEMAMix (PyTorch),0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Cautious NAdamW (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Lion (PyTorch),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Muon (JAX),0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778 +Muon (PyTorch),0.0,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +NAdamW (JAX),0.0,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +NAdamW (Baseline AlgoPerf v0.5) (JAX),0.0,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +NAdamW (Tuned for ResNet) (JAX),0.0,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Schedule-Free AdamW (PyTorch),0.1111111111111111,0.2222222222222222,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Schedule-Free AdamW (JAX),0.2222222222222222,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Schedule-Free AdamW v2 (JAX),0.1111111111111111,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Schedule-Free AdamW v2 (PyTorch),0.3333333333333333,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Single Worker DiLoCo (JAX),0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Single Worker DiLoCo v2 (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_15pct.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_15pct.csv new file mode 100644 index 00000000..55e10f64 --- /dev/null +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_15pct.csv @@ -0,0 +1,15 @@ +submission,1.0,1.0303030303030303,1.0606060606060606,1.0909090909090908,1.121212121212121,1.1515151515151516,1.1818181818181819,1.2121212121212122,1.2424242424242424,1.2727272727272727,1.303030303030303,1.3333333333333335,1.3636363636363638,1.393939393939394,1.4242424242424243,1.4545454545454546,1.4848484848484849,1.5151515151515151,1.5454545454545454,1.5757575757575757,1.606060606060606,1.6363636363636362,1.6666666666666667,1.696969696969697,1.7272727272727273,1.7575757575757576,1.7878787878787878,1.8181818181818183,1.8484848484848486,1.878787878787879,1.9090909090909092,1.9393939393939394,1.9696969696969697,2.0,2.0303030303030303,2.0606060606060606,2.090909090909091,2.121212121212121,2.1515151515151514,2.1818181818181817,2.212121212121212,2.242424242424242,2.2727272727272725,2.3030303030303028,2.3333333333333335,2.3636363636363638,2.393939393939394,2.4242424242424243,2.4545454545454546,2.484848484848485,2.515151515151515,2.5454545454545454,2.5757575757575757,2.6060606060606064,2.6363636363636367,2.666666666666667,2.6969696969696972,2.7272727272727275,2.757575757575758,2.787878787878788,2.8181818181818183,2.8484848484848486,2.878787878787879,2.909090909090909,2.9393939393939394,2.9696969696969697,3.0,3.0303030303030303,3.0606060606060606,3.090909090909091,3.121212121212121,3.1515151515151514,3.1818181818181817,3.2121212121212124,3.2424242424242427,3.272727272727273,3.303030303030303,3.3333333333333335,3.3636363636363638,3.393939393939394,3.4242424242424243,3.4545454545454546,3.484848484848485,3.515151515151515,3.5454545454545454,3.5757575757575757,3.606060606060606,3.6363636363636362,3.666666666666667,3.6969696969696972,3.7272727272727275,3.757575757575758,3.787878787878788,3.8181818181818183,3.8484848484848486,3.878787878787879,3.909090909090909,3.9393939393939394,3.9696969696969697,4.0 +AdEMAMix (PyTorch),0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Cautious NAdamW (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Lion (PyTorch),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Muon (JAX),0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Muon (PyTorch),0.0,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +NAdamW (JAX),0.0,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +NAdamW (Baseline AlgoPerf v0.5) (JAX),0.0,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +NAdamW (Tuned for ResNet) (JAX),0.0,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Schedule-Free AdamW (PyTorch),0.1111111111111111,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Schedule-Free AdamW (JAX),0.2222222222222222,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Schedule-Free AdamW v2 (JAX),0.1111111111111111,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Schedule-Free AdamW v2 (PyTorch),0.3333333333333333,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Single Worker DiLoCo (JAX),0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Single Worker DiLoCo v2 (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.6666666666666666 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_16pct.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_16pct.csv new file mode 100644 index 00000000..770b240b --- /dev/null +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_16pct.csv @@ -0,0 +1,15 @@ +submission,1.0,1.0303030303030303,1.0606060606060606,1.0909090909090908,1.121212121212121,1.1515151515151516,1.1818181818181819,1.2121212121212122,1.2424242424242424,1.2727272727272727,1.303030303030303,1.3333333333333335,1.3636363636363638,1.393939393939394,1.4242424242424243,1.4545454545454546,1.4848484848484849,1.5151515151515151,1.5454545454545454,1.5757575757575757,1.606060606060606,1.6363636363636362,1.6666666666666667,1.696969696969697,1.7272727272727273,1.7575757575757576,1.7878787878787878,1.8181818181818183,1.8484848484848486,1.878787878787879,1.9090909090909092,1.9393939393939394,1.9696969696969697,2.0,2.0303030303030303,2.0606060606060606,2.090909090909091,2.121212121212121,2.1515151515151514,2.1818181818181817,2.212121212121212,2.242424242424242,2.2727272727272725,2.3030303030303028,2.3333333333333335,2.3636363636363638,2.393939393939394,2.4242424242424243,2.4545454545454546,2.484848484848485,2.515151515151515,2.5454545454545454,2.5757575757575757,2.6060606060606064,2.6363636363636367,2.666666666666667,2.6969696969696972,2.7272727272727275,2.757575757575758,2.787878787878788,2.8181818181818183,2.8484848484848486,2.878787878787879,2.909090909090909,2.9393939393939394,2.9696969696969697,3.0,3.0303030303030303,3.0606060606060606,3.090909090909091,3.121212121212121,3.1515151515151514,3.1818181818181817,3.2121212121212124,3.2424242424242427,3.272727272727273,3.303030303030303,3.3333333333333335,3.3636363636363638,3.393939393939394,3.4242424242424243,3.4545454545454546,3.484848484848485,3.515151515151515,3.5454545454545454,3.5757575757575757,3.606060606060606,3.6363636363636362,3.666666666666667,3.6969696969696972,3.7272727272727275,3.757575757575758,3.787878787878788,3.8181818181818183,3.8484848484848486,3.878787878787879,3.909090909090909,3.9393939393939394,3.9696969696969697,4.0 +AdEMAMix (PyTorch),0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Cautious NAdamW (JAX),0.0,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.7777777777777778 +Lion (PyTorch),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Muon (JAX),0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Muon (PyTorch),0.0,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +NAdamW (JAX),0.0,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666 +NAdamW (Baseline AlgoPerf v0.5) (JAX),0.0,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +NAdamW (Tuned for ResNet) (JAX),0.0,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Schedule-Free AdamW (PyTorch),0.1111111111111111,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Schedule-Free AdamW (JAX),0.2222222222222222,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Schedule-Free AdamW v2 (JAX),0.1111111111111111,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Schedule-Free AdamW v2 (PyTorch),0.3333333333333333,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778 +Single Worker DiLoCo (JAX),0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666 +Single Worker DiLoCo v2 (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_17pct.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_17pct.csv new file mode 100644 index 00000000..380006b8 --- /dev/null +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_17pct.csv @@ -0,0 +1,15 @@ +submission,1.0,1.0303030303030303,1.0606060606060606,1.0909090909090908,1.121212121212121,1.1515151515151516,1.1818181818181819,1.2121212121212122,1.2424242424242424,1.2727272727272727,1.303030303030303,1.3333333333333335,1.3636363636363638,1.393939393939394,1.4242424242424243,1.4545454545454546,1.4848484848484849,1.5151515151515151,1.5454545454545454,1.5757575757575757,1.606060606060606,1.6363636363636362,1.6666666666666667,1.696969696969697,1.7272727272727273,1.7575757575757576,1.7878787878787878,1.8181818181818183,1.8484848484848486,1.878787878787879,1.9090909090909092,1.9393939393939394,1.9696969696969697,2.0,2.0303030303030303,2.0606060606060606,2.090909090909091,2.121212121212121,2.1515151515151514,2.1818181818181817,2.212121212121212,2.242424242424242,2.2727272727272725,2.3030303030303028,2.3333333333333335,2.3636363636363638,2.393939393939394,2.4242424242424243,2.4545454545454546,2.484848484848485,2.515151515151515,2.5454545454545454,2.5757575757575757,2.6060606060606064,2.6363636363636367,2.666666666666667,2.6969696969696972,2.7272727272727275,2.757575757575758,2.787878787878788,2.8181818181818183,2.8484848484848486,2.878787878787879,2.909090909090909,2.9393939393939394,2.9696969696969697,3.0,3.0303030303030303,3.0606060606060606,3.090909090909091,3.121212121212121,3.1515151515151514,3.1818181818181817,3.2121212121212124,3.2424242424242427,3.272727272727273,3.303030303030303,3.3333333333333335,3.3636363636363638,3.393939393939394,3.4242424242424243,3.4545454545454546,3.484848484848485,3.515151515151515,3.5454545454545454,3.5757575757575757,3.606060606060606,3.6363636363636362,3.666666666666667,3.6969696969696972,3.7272727272727275,3.757575757575758,3.787878787878788,3.8181818181818183,3.8484848484848486,3.878787878787879,3.909090909090909,3.9393939393939394,3.9696969696969697,4.0 +AdEMAMix (PyTorch),0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Cautious NAdamW (JAX),0.0,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Lion (PyTorch),0.0,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Muon (JAX),0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Muon (PyTorch),0.0,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +NAdamW (JAX),0.0,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666 +NAdamW (Baseline AlgoPerf v0.5) (JAX),0.0,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778 +NAdamW (Tuned for ResNet) (JAX),0.0,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Schedule-Free AdamW (PyTorch),0.2222222222222222,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Schedule-Free AdamW (JAX),0.1111111111111111,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Schedule-Free AdamW v2 (JAX),0.2222222222222222,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Schedule-Free AdamW v2 (PyTorch),0.2222222222222222,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Single Worker DiLoCo (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666 +Single Worker DiLoCo v2 (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.6666666666666666,0.6666666666666666 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_18pct.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_18pct.csv new file mode 100644 index 00000000..723983b5 --- /dev/null +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_18pct.csv @@ -0,0 +1,15 @@ +submission,1.0,1.0303030303030303,1.0606060606060606,1.0909090909090908,1.121212121212121,1.1515151515151516,1.1818181818181819,1.2121212121212122,1.2424242424242424,1.2727272727272727,1.303030303030303,1.3333333333333335,1.3636363636363638,1.393939393939394,1.4242424242424243,1.4545454545454546,1.4848484848484849,1.5151515151515151,1.5454545454545454,1.5757575757575757,1.606060606060606,1.6363636363636362,1.6666666666666667,1.696969696969697,1.7272727272727273,1.7575757575757576,1.7878787878787878,1.8181818181818183,1.8484848484848486,1.878787878787879,1.9090909090909092,1.9393939393939394,1.9696969696969697,2.0,2.0303030303030303,2.0606060606060606,2.090909090909091,2.121212121212121,2.1515151515151514,2.1818181818181817,2.212121212121212,2.242424242424242,2.2727272727272725,2.3030303030303028,2.3333333333333335,2.3636363636363638,2.393939393939394,2.4242424242424243,2.4545454545454546,2.484848484848485,2.515151515151515,2.5454545454545454,2.5757575757575757,2.6060606060606064,2.6363636363636367,2.666666666666667,2.6969696969696972,2.7272727272727275,2.757575757575758,2.787878787878788,2.8181818181818183,2.8484848484848486,2.878787878787879,2.909090909090909,2.9393939393939394,2.9696969696969697,3.0,3.0303030303030303,3.0606060606060606,3.090909090909091,3.121212121212121,3.1515151515151514,3.1818181818181817,3.2121212121212124,3.2424242424242427,3.272727272727273,3.303030303030303,3.3333333333333335,3.3636363636363638,3.393939393939394,3.4242424242424243,3.4545454545454546,3.484848484848485,3.515151515151515,3.5454545454545454,3.5757575757575757,3.606060606060606,3.6363636363636362,3.666666666666667,3.6969696969696972,3.7272727272727275,3.757575757575758,3.787878787878788,3.8181818181818183,3.8484848484848486,3.878787878787879,3.909090909090909,3.9393939393939394,3.9696969696969697,4.0 +AdEMAMix (PyTorch),0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Cautious NAdamW (JAX),0.0,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Lion (PyTorch),0.0,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Muon (JAX),0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Muon (PyTorch),0.0,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +NAdamW (JAX),0.0,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666 +NAdamW (Baseline AlgoPerf v0.5) (JAX),0.0,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +NAdamW (Tuned for ResNet) (JAX),0.0,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Schedule-Free AdamW (PyTorch),0.1111111111111111,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Schedule-Free AdamW (JAX),0.2222222222222222,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Schedule-Free AdamW v2 (JAX),0.1111111111111111,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Schedule-Free AdamW v2 (PyTorch),0.3333333333333333,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Single Worker DiLoCo (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666 +Single Worker DiLoCo v2 (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.6666666666666666 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_19pct.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_19pct.csv new file mode 100644 index 00000000..26a27d91 --- /dev/null +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_19pct.csv @@ -0,0 +1,15 @@ +submission,1.0,1.0303030303030303,1.0606060606060606,1.0909090909090908,1.121212121212121,1.1515151515151516,1.1818181818181819,1.2121212121212122,1.2424242424242424,1.2727272727272727,1.303030303030303,1.3333333333333335,1.3636363636363638,1.393939393939394,1.4242424242424243,1.4545454545454546,1.4848484848484849,1.5151515151515151,1.5454545454545454,1.5757575757575757,1.606060606060606,1.6363636363636362,1.6666666666666667,1.696969696969697,1.7272727272727273,1.7575757575757576,1.7878787878787878,1.8181818181818183,1.8484848484848486,1.878787878787879,1.9090909090909092,1.9393939393939394,1.9696969696969697,2.0,2.0303030303030303,2.0606060606060606,2.090909090909091,2.121212121212121,2.1515151515151514,2.1818181818181817,2.212121212121212,2.242424242424242,2.2727272727272725,2.3030303030303028,2.3333333333333335,2.3636363636363638,2.393939393939394,2.4242424242424243,2.4545454545454546,2.484848484848485,2.515151515151515,2.5454545454545454,2.5757575757575757,2.6060606060606064,2.6363636363636367,2.666666666666667,2.6969696969696972,2.7272727272727275,2.757575757575758,2.787878787878788,2.8181818181818183,2.8484848484848486,2.878787878787879,2.909090909090909,2.9393939393939394,2.9696969696969697,3.0,3.0303030303030303,3.0606060606060606,3.090909090909091,3.121212121212121,3.1515151515151514,3.1818181818181817,3.2121212121212124,3.2424242424242427,3.272727272727273,3.303030303030303,3.3333333333333335,3.3636363636363638,3.393939393939394,3.4242424242424243,3.4545454545454546,3.484848484848485,3.515151515151515,3.5454545454545454,3.5757575757575757,3.606060606060606,3.6363636363636362,3.666666666666667,3.6969696969696972,3.7272727272727275,3.757575757575758,3.787878787878788,3.8181818181818183,3.8484848484848486,3.878787878787879,3.909090909090909,3.9393939393939394,3.9696969696969697,4.0 +AdEMAMix (PyTorch),0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Cautious NAdamW (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Lion (PyTorch),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 +Muon (JAX),0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Muon (PyTorch),0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +NAdamW (JAX),0.0,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778 +NAdamW (Baseline AlgoPerf v0.5) (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +NAdamW (Tuned for ResNet) (JAX),0.0,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Schedule-Free AdamW (PyTorch),0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Schedule-Free AdamW (JAX),0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Schedule-Free AdamW v2 (JAX),0.1111111111111111,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Schedule-Free AdamW v2 (PyTorch),0.3333333333333333,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Single Worker DiLoCo (JAX),0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666 +Single Worker DiLoCo v2 (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.6666666666666666 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_20pct.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_20pct.csv new file mode 100644 index 00000000..156fe13c --- /dev/null +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/performance_profiles_20pct.csv @@ -0,0 +1,15 @@ +submission,1.0,1.0303030303030303,1.0606060606060606,1.0909090909090908,1.121212121212121,1.1515151515151516,1.1818181818181819,1.2121212121212122,1.2424242424242424,1.2727272727272727,1.303030303030303,1.3333333333333335,1.3636363636363638,1.393939393939394,1.4242424242424243,1.4545454545454546,1.4848484848484849,1.5151515151515151,1.5454545454545454,1.5757575757575757,1.606060606060606,1.6363636363636362,1.6666666666666667,1.696969696969697,1.7272727272727273,1.7575757575757576,1.7878787878787878,1.8181818181818183,1.8484848484848486,1.878787878787879,1.9090909090909092,1.9393939393939394,1.9696969696969697,2.0,2.0303030303030303,2.0606060606060606,2.090909090909091,2.121212121212121,2.1515151515151514,2.1818181818181817,2.212121212121212,2.242424242424242,2.2727272727272725,2.3030303030303028,2.3333333333333335,2.3636363636363638,2.393939393939394,2.4242424242424243,2.4545454545454546,2.484848484848485,2.515151515151515,2.5454545454545454,2.5757575757575757,2.6060606060606064,2.6363636363636367,2.666666666666667,2.6969696969696972,2.7272727272727275,2.757575757575758,2.787878787878788,2.8181818181818183,2.8484848484848486,2.878787878787879,2.909090909090909,2.9393939393939394,2.9696969696969697,3.0,3.0303030303030303,3.0606060606060606,3.090909090909091,3.121212121212121,3.1515151515151514,3.1818181818181817,3.2121212121212124,3.2424242424242427,3.272727272727273,3.303030303030303,3.3333333333333335,3.3636363636363638,3.393939393939394,3.4242424242424243,3.4545454545454546,3.484848484848485,3.515151515151515,3.5454545454545454,3.5757575757575757,3.606060606060606,3.6363636363636362,3.666666666666667,3.6969696969696972,3.7272727272727275,3.757575757575758,3.787878787878788,3.8181818181818183,3.8484848484848486,3.878787878787879,3.909090909090909,3.9393939393939394,3.9696969696969697,4.0 +AdEMAMix (PyTorch),0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Cautious NAdamW (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Lion (PyTorch),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556 +Muon (JAX),0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Muon (PyTorch),0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +NAdamW (JAX),0.0,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +NAdamW (Baseline AlgoPerf v0.5) (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +NAdamW (Tuned for ResNet) (JAX),0.0,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666 +Schedule-Free AdamW (PyTorch),0.0,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Schedule-Free AdamW (JAX),0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Schedule-Free AdamW v2 (JAX),0.1111111111111111,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778 +Schedule-Free AdamW v2 (PyTorch),0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.7777777777777778,0.8888888888888888,0.8888888888888888,0.8888888888888888,0.8888888888888888,0.8888888888888888,1.0 +Single Worker DiLoCo (JAX),0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.5555555555555556,0.6666666666666666 +Single Worker DiLoCo v2 (JAX),0.0,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.1111111111111111,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.2222222222222222,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.4444444444444444,0.5555555555555556,0.6666666666666666 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/scores_and_coverage.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/scores_and_coverage.csv new file mode 100644 index 00000000..94b5a70c --- /dev/null +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/scores_and_coverage.csv @@ -0,0 +1,295 @@ +relaxation_percent,submission,score,rank,workloads_reached,workload_count +0,AdEMAMix (PyTorch),0.5190796857463527,2,6,9 +0,Cautious NAdamW (JAX),0.31425364758698043,9,4,9 +0,Lion (PyTorch),0.27833894500561146,11,4,9 +0,Muon (JAX),0.2845117845117842,10,3,9 +0,Muon (PyTorch),0.4231200897867556,6,4,9 +0,NAdamW (JAX),0.384399551066217,8,4,9 +0,NAdamW (Baseline AlgoPerf v0.5) (JAX),0.4506172839506181,4,5,9 +0,NAdamW (Tuned for ResNet) (JAX),0.18574635241301896,12,3,9 +0,Schedule-Free AdamW (PyTorch),0.466891133557801,3,5,9 +0,Schedule-Free AdamW (JAX),0.4107744107744111,7,5,9 +0,Schedule-Free AdamW v2 (JAX),0.4405162738496074,5,5,9 +0,Schedule-Free AdamW v2 (PyTorch),0.5679012345679016,1,6,9 +0,Single Worker DiLoCo (JAX),0.1369248035914701,13,2,9 +0,Single Worker DiLoCo v2 (JAX),0.1301907968574634,14,2,9 +1,AdEMAMix (PyTorch),0.5875420875420879,1,7,9 +1,Cautious NAdamW (JAX),0.300785634118967,10,4,9 +1,Lion (PyTorch),0.32603815937149255,9,5,9 +1,Muon (JAX),0.2845117845117842,12,4,9 +1,Muon (PyTorch),0.4837261503928179,5,5,9 +1,NAdamW (JAX),0.3726150392817052,8,4,9 +1,NAdamW (Baseline AlgoPerf v0.5) (JAX),0.4304152637485978,7,5,9 +1,NAdamW (Tuned for ResNet) (JAX),0.28675645342312056,11,5,9 +1,Schedule-Free AdamW (PyTorch),0.48092031425364845,6,5,9 +1,Schedule-Free AdamW (JAX),0.5168350168350166,4,6,9 +1,Schedule-Free AdamW v2 (JAX),0.5538720538720535,3,6,9 +1,Schedule-Free AdamW v2 (PyTorch),0.5718294051627385,2,6,9 +1,Single Worker DiLoCo (JAX),0.2059483726150393,13,3,9 +1,Single Worker DiLoCo v2 (JAX),0.12289562289562284,14,3,9 +2,AdEMAMix (PyTorch),0.4831649831649832,3,7,9 +2,Cautious NAdamW (JAX),0.30920314253647624,9,5,9 +2,Lion (PyTorch),0.24579124579124553,12,5,9 +2,Muon (JAX),0.3664421997755325,7,5,9 +2,Muon (PyTorch),0.4304152637485974,6,5,9 +2,NAdamW (JAX),0.30639730639730595,10,4,9 +2,NAdamW (Baseline AlgoPerf v0.5) (JAX),0.3653198653198659,8,5,9 +2,NAdamW (Tuned for ResNet) (JAX),0.19416386083052742,13,5,9 +2,Schedule-Free AdamW (PyTorch),0.4517396184062859,4,5,9 +2,Schedule-Free AdamW (JAX),0.4309764309764304,5,6,9 +2,Schedule-Free AdamW v2 (JAX),0.525813692480359,1,6,9 +2,Schedule-Free AdamW v2 (PyTorch),0.5252525252525261,2,6,9 +2,Single Worker DiLoCo (JAX),0.25869809203142496,11,4,9 +2,Single Worker DiLoCo v2 (JAX),0.06677890011223338,14,3,9 +3,AdEMAMix (PyTorch),0.5157126823793495,4,7,9 +3,Cautious NAdamW (JAX),0.36924803591470273,8,6,9 +3,Lion (PyTorch),0.18406285072951736,13,5,9 +3,Muon (JAX),0.3434343434343429,9,5,9 +3,Muon (PyTorch),0.4180695847362521,6,5,9 +3,NAdamW (JAX),0.4130190796857464,7,6,9 +3,NAdamW (Baseline AlgoPerf v0.5) (JAX),0.33164983164983214,10,5,9 +3,NAdamW (Tuned for ResNet) (JAX),0.2109988776655443,12,6,9 +3,Schedule-Free AdamW (PyTorch),0.5319865319865317,3,6,9 +3,Schedule-Free AdamW (JAX),0.47474747474747464,5,6,9 +3,Schedule-Free AdamW v2 (JAX),0.6531986531986536,1,7,9 +3,Schedule-Free AdamW v2 (PyTorch),0.5465768799102142,2,6,9 +3,Single Worker DiLoCo (JAX),0.2777777777777779,11,6,9 +3,Single Worker DiLoCo v2 (JAX),0.046576879910213226,14,3,9 +4,AdEMAMix (PyTorch),0.5314253647586987,6,7,9 +4,Cautious NAdamW (JAX),0.4932659932659933,7,7,9 +4,Lion (PyTorch),0.3383838383838382,11,6,9 +4,Muon (JAX),0.39169472502805874,10,5,9 +4,Muon (PyTorch),0.461840628507296,8,5,9 +4,NAdamW (JAX),0.45566778900112226,9,7,9 +4,NAdamW (Baseline AlgoPerf v0.5) (JAX),0.5482603815937154,4,7,9 +4,NAdamW (Tuned for ResNet) (JAX),0.3333333333333337,12,7,9 +4,Schedule-Free AdamW (PyTorch),0.5735129068462396,2,6,9 +4,Schedule-Free AdamW (JAX),0.5460157126823791,5,6,9 +4,Schedule-Free AdamW v2 (JAX),0.6840628507295176,1,7,9 +4,Schedule-Free AdamW v2 (PyTorch),0.5600448933782273,3,7,9 +4,Single Worker DiLoCo (JAX),0.32940516273849635,13,6,9 +4,Single Worker DiLoCo v2 (JAX),0.047138047138047125,14,3,9 +5,AdEMAMix (PyTorch),0.5308641975308648,6,7,9 +5,Cautious NAdamW (JAX),0.4775533108866446,8,7,9 +5,Lion (PyTorch),0.3793490460157129,11,6,9 +5,Muon (JAX),0.4197530864197534,10,5,9 +5,Muon (PyTorch),0.488776655443323,7,5,9 +5,NAdamW (JAX),0.44556677890011226,9,7,9 +5,NAdamW (Baseline AlgoPerf v0.5) (JAX),0.5336700336700341,5,7,9 +5,NAdamW (Tuned for ResNet) (JAX),0.3569023569023571,12,7,9 +5,Schedule-Free AdamW (PyTorch),0.5881032547699209,3,6,9 +5,Schedule-Free AdamW (JAX),0.5679012345679008,4,6,9 +5,Schedule-Free AdamW v2 (JAX),0.692480359147026,1,7,9 +5,Schedule-Free AdamW v2 (PyTorch),0.5993265993265994,2,7,9 +5,Single Worker DiLoCo (JAX),0.31705948372615084,13,6,9 +5,Single Worker DiLoCo v2 (JAX),0.12177328843995516,14,4,9 +6,AdEMAMix (PyTorch),0.51571268237935,5,7,9 +6,Cautious NAdamW (JAX),0.41694725028058355,10,7,9 +6,Lion (PyTorch),0.41245791245791247,11,6,9 +6,Muon (JAX),0.4545454545454553,8,6,9 +6,Muon (PyTorch),0.4730639730639739,6,5,9 +6,NAdamW (JAX),0.4219977553310885,9,7,9 +6,NAdamW (Baseline AlgoPerf v0.5) (JAX),0.4674523007856342,7,7,9 +6,NAdamW (Tuned for ResNet) (JAX),0.3439955106621775,12,7,9 +6,Schedule-Free AdamW (PyTorch),0.5510662177328841,3,6,9 +6,Schedule-Free AdamW (JAX),0.5331088664422,4,6,9 +6,Schedule-Free AdamW v2 (JAX),0.6453423120089784,1,7,9 +6,Schedule-Free AdamW v2 (PyTorch),0.5746352413019085,2,7,9 +6,Single Worker DiLoCo (JAX),0.3131313131313134,13,7,9 +6,Single Worker DiLoCo v2 (JAX),0.15544332210998887,14,6,9 +7,AdEMAMix (PyTorch),0.5056116722783399,5,7,9 +7,Cautious NAdamW (JAX),0.3945005611672283,10,7,9 +7,Lion (PyTorch),0.4259259259259267,9,6,9 +7,Muon (JAX),0.4433221099887774,8,7,9 +7,Muon (PyTorch),0.488776655443323,6,5,9 +7,NAdamW (JAX),0.38945005611672306,11,7,9 +7,NAdamW (Baseline AlgoPerf v0.5) (JAX),0.47643097643097665,7,7,9 +7,NAdamW (Tuned for ResNet) (JAX),0.31369248035914676,12,7,9 +7,Schedule-Free AdamW (PyTorch),0.5611672278338942,3,6,9 +7,Schedule-Free AdamW (JAX),0.5634118967452297,2,6,9 +7,Schedule-Free AdamW v2 (JAX),0.6734006734006736,1,7,9 +7,Schedule-Free AdamW v2 (PyTorch),0.5538720538720548,4,7,9 +7,Single Worker DiLoCo (JAX),0.25701459034792357,13,7,9 +7,Single Worker DiLoCo v2 (JAX),0.1419753086419754,14,6,9 +8,AdEMAMix (PyTorch),0.5061728395061739,6,7,9 +8,Cautious NAdamW (JAX),0.3950617283950619,10,7,9 +8,Lion (PyTorch),0.4393939393939401,9,6,9 +8,Muon (JAX),0.4410774410774418,8,7,9 +8,Muon (PyTorch),0.6015712682379343,2,6,9 +8,NAdamW (JAX),0.37878787878787934,11,7,9 +8,NAdamW (Baseline AlgoPerf v0.5) (JAX),0.48484848484848464,7,7,9 +8,NAdamW (Tuned for ResNet) (JAX),0.30078563411896697,12,7,9 +8,Schedule-Free AdamW (PyTorch),0.5645342312008975,4,6,9 +8,Schedule-Free AdamW (JAX),0.5634118967452297,5,6,9 +8,Schedule-Free AdamW v2 (JAX),0.6734006734006736,1,7,9 +8,Schedule-Free AdamW v2 (PyTorch),0.5763187429854101,3,7,9 +8,Single Worker DiLoCo (JAX),0.2985409652076322,13,7,9 +8,Single Worker DiLoCo v2 (JAX),0.19472502805836125,14,6,9 +9,AdEMAMix (PyTorch),0.5342312008978677,6,7,9 +9,Cautious NAdamW (JAX),0.4023569023569024,10,7,9 +9,Lion (PyTorch),0.461840628507296,8,6,9 +9,Muon (JAX),0.43771043771043844,9,7,9 +9,Muon (PyTorch),0.602693602693602,2,6,9 +9,NAdamW (JAX),0.37822671156004545,11,7,9 +9,NAdamW (Baseline AlgoPerf v0.5) (JAX),0.4898989898989896,7,7,9 +9,NAdamW (Tuned for ResNet) (JAX),0.33389450056116715,12,7,9 +9,Schedule-Free AdamW (PyTorch),0.5937149270482598,3,6,9 +9,Schedule-Free AdamW (JAX),0.5746352413019077,5,6,9 +9,Schedule-Free AdamW v2 (JAX),0.6846240179573512,1,7,9 +9,Schedule-Free AdamW v2 (PyTorch),0.5751964085297422,4,7,9 +9,Single Worker DiLoCo (JAX),0.31986531986532013,13,7,9 +9,Single Worker DiLoCo v2 (JAX),0.2457912457912453,14,6,9 +10,AdEMAMix (PyTorch),0.5213243546576883,6,7,9 +10,Cautious NAdamW (JAX),0.40123456790123474,10,7,9 +10,Lion (PyTorch),0.4438832772166114,9,6,9 +10,Muon (JAX),0.4506172839506177,8,7,9 +10,Muon (PyTorch),0.5993265993265987,3,6,9 +10,NAdamW (JAX),0.37542087542087604,11,7,9 +10,NAdamW (Baseline AlgoPerf v0.5) (JAX),0.493265993265993,7,7,9 +10,NAdamW (Tuned for ResNet) (JAX),0.3265993265993262,12,7,9 +10,Schedule-Free AdamW (PyTorch),0.5785634118967448,4,6,9 +10,Schedule-Free AdamW (JAX),0.5561167227833891,5,6,9 +10,Schedule-Free AdamW v2 (JAX),0.6851851851851855,1,7,9 +10,Schedule-Free AdamW v2 (PyTorch),0.607182940516274,2,7,9 +10,Single Worker DiLoCo (JAX),0.31986531986532013,13,7,9 +10,Single Worker DiLoCo v2 (JAX),0.23176206509539798,14,6,9 +11,AdEMAMix (PyTorch),0.5589225589225592,6,7,9 +11,Cautious NAdamW (JAX),0.4612794612794611,9,7,9 +11,Lion (PyTorch),0.45959595959596045,10,6,9 +11,Muon (JAX),0.4870931537598213,8,7,9 +11,Muon (PyTorch),0.5982042648709308,3,6,9 +11,NAdamW (JAX),0.3900112233445572,11,7,9 +11,NAdamW (Baseline AlgoPerf v0.5) (JAX),0.49270482603815907,7,7,9 +11,NAdamW (Tuned for ResNet) (JAX),0.3136924803591467,13,7,9 +11,Schedule-Free AdamW (PyTorch),0.5735129068462397,5,6,9 +11,Schedule-Free AdamW (JAX),0.5746352413019075,4,6,9 +11,Schedule-Free AdamW v2 (JAX),0.6846240179573515,1,7,9 +11,Schedule-Free AdamW v2 (PyTorch),0.6200897867564538,2,7,9 +11,Single Worker DiLoCo (JAX),0.3479236812570148,12,7,9 +11,Single Worker DiLoCo v2 (JAX),0.24803591470258102,14,6,9 +12,AdEMAMix (PyTorch),0.5948372615039287,5,7,9 +12,Cautious NAdamW (JAX),0.48260381593714907,9,7,9 +12,Lion (PyTorch),0.46240179573512985,10,6,9 +12,Muon (JAX),0.5263748597081935,7,7,9 +12,Muon (PyTorch),0.6986531986531989,1,7,9 +12,NAdamW (JAX),0.4096520763187436,11,7,9 +12,NAdamW (Baseline AlgoPerf v0.5) (JAX),0.5106621773288437,8,7,9 +12,NAdamW (Tuned for ResNet) (JAX),0.3625140291806958,13,7,9 +12,Schedule-Free AdamW (PyTorch),0.5959595959595954,4,6,9 +12,Schedule-Free AdamW (JAX),0.5740740740740736,6,6,9 +12,Schedule-Free AdamW v2 (JAX),0.6964085297418633,2,7,9 +12,Schedule-Free AdamW v2 (PyTorch),0.618967452300786,3,7,9 +12,Single Worker DiLoCo (JAX),0.3658810325476993,12,7,9 +12,Single Worker DiLoCo v2 (JAX),0.30471380471380477,14,7,9 +13,AdEMAMix (PyTorch),0.6217732884399555,4,7,9 +13,Cautious NAdamW (JAX),0.47755331088664404,10,7,9 +13,Lion (PyTorch),0.4792368125701467,9,6,9 +13,Muon (JAX),0.5476992143658813,7,7,9 +13,Muon (PyTorch),0.7109988776655444,2,7,9 +13,NAdamW (JAX),0.4242424242424245,11,7,9 +13,NAdamW (Baseline AlgoPerf v0.5) (JAX),0.5353535353535349,8,7,9 +13,NAdamW (Tuned for ResNet) (JAX),0.36588103254769916,13,7,9 +13,Schedule-Free AdamW (PyTorch),0.6122334455667782,6,6,9 +13,Schedule-Free AdamW (JAX),0.6402918069584741,3,7,9 +13,Schedule-Free AdamW v2 (JAX),0.7138047138047138,1,7,9 +13,Schedule-Free AdamW v2 (PyTorch),0.6195286195286199,5,8,9 +13,Single Worker DiLoCo (JAX),0.39730639730639733,12,7,9 +13,Single Worker DiLoCo v2 (JAX),0.2934904601571266,14,7,9 +14,AdEMAMix (PyTorch),0.634118967452301,4,7,9 +14,Cautious NAdamW (JAX),0.48148148148148123,9,7,9 +14,Lion (PyTorch),0.4758698092031434,10,6,9 +14,Muon (JAX),0.551066217732884,8,7,9 +14,Muon (PyTorch),0.7098765432098766,2,7,9 +14,NAdamW (JAX),0.44668911335578004,11,7,9 +14,NAdamW (Baseline AlgoPerf v0.5) (JAX),0.5578002244668906,7,7,9 +14,NAdamW (Tuned for ResNet) (JAX),0.4051627384960715,12,7,9 +14,Schedule-Free AdamW (PyTorch),0.6156004489337815,6,6,9 +14,Schedule-Free AdamW (JAX),0.6346801346801352,3,7,9 +14,Schedule-Free AdamW v2 (JAX),0.7138047138047138,1,7,9 +14,Schedule-Free AdamW v2 (PyTorch),0.6195286195286199,5,8,9 +14,Single Worker DiLoCo (JAX),0.40179573512906847,13,7,9 +14,Single Worker DiLoCo v2 (JAX),0.31874298540965207,14,7,9 +15,AdEMAMix (PyTorch),0.6352413019079688,5,7,9 +15,Cautious NAdamW (JAX),0.4702581369248035,10,7,9 +15,Lion (PyTorch),0.5050505050505053,9,6,9 +15,Muon (JAX),0.5656565656565657,7,7,9 +15,Muon (PyTorch),0.7222222222222222,1,7,9 +15,NAdamW (JAX),0.4601571268237934,11,7,9 +15,NAdamW (Baseline AlgoPerf v0.5) (JAX),0.5476992143658806,8,7,9 +15,NAdamW (Tuned for ResNet) (JAX),0.39506172839506126,12,7,9 +15,Schedule-Free AdamW (PyTorch),0.613355780022446,6,7,9 +15,Schedule-Free AdamW (JAX),0.6402918069584741,4,7,9 +15,Schedule-Free AdamW v2 (JAX),0.7138047138047138,2,7,9 +15,Schedule-Free AdamW v2 (PyTorch),0.662177328843996,3,8,9 +15,Single Worker DiLoCo (JAX),0.3916947250280584,13,7,9 +15,Single Worker DiLoCo v2 (JAX),0.3221099887766551,14,7,9 +16,AdEMAMix (PyTorch),0.6004489337822676,6,7,9 +16,Cautious NAdamW (JAX),0.446127946127947,10,7,9 +16,Lion (PyTorch),0.4668911335577998,9,6,9 +16,Muon (JAX),0.5881032547699218,7,7,9 +16,Muon (PyTorch),0.7177328843995511,1,7,9 +16,NAdamW (JAX),0.4332210998877673,11,7,9 +16,NAdamW (Baseline AlgoPerf v0.5) (JAX),0.5207631874298538,8,7,9 +16,NAdamW (Tuned for ResNet) (JAX),0.4051627384960719,12,7,9 +16,Schedule-Free AdamW (PyTorch),0.6240179573512903,4,7,9 +16,Schedule-Free AdamW (JAX),0.6537598204264875,3,7,9 +16,Schedule-Free AdamW v2 (JAX),0.7138047138047137,2,7,9 +16,Schedule-Free AdamW v2 (PyTorch),0.6127946127946122,5,8,9 +16,Single Worker DiLoCo (JAX),0.37261503928170625,13,7,9 +16,Single Worker DiLoCo v2 (JAX),0.29012345679012325,14,7,9 +17,AdEMAMix (PyTorch),0.6363636363636368,4,7,9 +17,Cautious NAdamW (JAX),0.5044893378226719,9,7,9 +17,Lion (PyTorch),0.48597081930415215,10,6,9 +17,Muon (JAX),0.6307519640852978,5,7,9 +17,Muon (PyTorch),0.7210998877665545,1,7,9 +17,NAdamW (JAX),0.4388327721661063,11,7,9 +17,NAdamW (Baseline AlgoPerf v0.5) (JAX),0.5336700336700334,8,7,9 +17,NAdamW (Tuned for ResNet) (JAX),0.4304152637485974,12,7,9 +17,Schedule-Free AdamW (PyTorch),0.630190796857463,7,7,9 +17,Schedule-Free AdamW (JAX),0.6588103254769926,3,7,9 +17,Schedule-Free AdamW v2 (JAX),0.7143658810325476,2,7,9 +17,Schedule-Free AdamW v2 (PyTorch),0.6301907968574634,6,9,9 +17,Single Worker DiLoCo (JAX),0.39618406285073,13,7,9 +17,Single Worker DiLoCo v2 (JAX),0.29629629629629606,14,7,9 +18,AdEMAMix (PyTorch),0.6475869809203146,4,7,9 +18,Cautious NAdamW (JAX),0.5145903479236814,9,7,9 +18,Lion (PyTorch),0.481481481481481,10,6,9 +18,Muon (JAX),0.6442199775533113,5,7,9 +18,Muon (PyTorch),0.71324354657688,2,8,9 +18,NAdamW (JAX),0.42873176206509617,12,7,9 +18,NAdamW (Baseline AlgoPerf v0.5) (JAX),0.5392817059483729,8,7,9 +18,NAdamW (Tuned for ResNet) (JAX),0.4506172839506173,11,7,9 +18,Schedule-Free AdamW (PyTorch),0.631874298540965,6,7,9 +18,Schedule-Free AdamW (JAX),0.6537598204264875,3,7,9 +18,Schedule-Free AdamW v2 (JAX),0.7138047138047137,1,7,9 +18,Schedule-Free AdamW v2 (PyTorch),0.6307519640852973,7,9,9 +18,Single Worker DiLoCo (JAX),0.3838383838383839,13,7,9 +18,Single Worker DiLoCo v2 (JAX),0.32210998877665503,14,7,9 +19,AdEMAMix (PyTorch),0.5600448933782264,5,7,9 +19,Cautious NAdamW (JAX),0.4360269360269364,9,7,9 +19,Lion (PyTorch),0.42704826038159394,10,7,9 +19,Muon (JAX),0.6116722783389453,2,7,9 +19,Muon (PyTorch),0.6470258136924808,1,8,9 +19,NAdamW (JAX),0.37542087542087527,12,7,9 +19,NAdamW (Baseline AlgoPerf v0.5) (JAX),0.5089786756453427,8,7,9 +19,NAdamW (Tuned for ResNet) (JAX),0.39730639730639755,11,7,9 +19,Schedule-Free AdamW (PyTorch),0.5443322109988779,7,7,9 +19,Schedule-Free AdamW (JAX),0.557239057239057,6,7,9 +19,Schedule-Free AdamW v2 (JAX),0.6105499438832767,3,7,9 +19,Schedule-Free AdamW v2 (PyTorch),0.5729517396184067,4,9,9 +19,Single Worker DiLoCo (JAX),0.286195286195286,13,7,9 +19,Single Worker DiLoCo v2 (JAX),0.2514029180695844,14,7,9 +20,AdEMAMix (PyTorch),0.562289562289562,5,7,9 +20,Cautious NAdamW (JAX),0.45959595959595995,9,7,9 +20,Lion (PyTorch),0.43041526374859734,10,7,9 +20,Muon (JAX),0.6184062850729521,3,7,9 +20,Muon (PyTorch),0.6459034792368129,1,8,9 +20,NAdamW (JAX),0.39337822671155975,12,7,9 +20,NAdamW (Baseline AlgoPerf v0.5) (JAX),0.5325476992143662,8,7,9 +20,NAdamW (Tuned for ResNet) (JAX),0.4276094276094274,11,7,9 +20,Schedule-Free AdamW (PyTorch),0.5549943883277215,7,7,9 +20,Schedule-Free AdamW (JAX),0.5606060606060603,6,7,9 +20,Schedule-Free AdamW v2 (JAX),0.6105499438832767,4,7,9 +20,Schedule-Free AdamW v2 (PyTorch),0.6212121212121214,2,9,9 +20,Single Worker DiLoCo (JAX),0.286195286195286,13,7,9 +20,Single Worker DiLoCo v2 (JAX),0.25701459034792334,14,7,9 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/selected_curves.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/selected_curves.csv new file mode 100644 index 00000000..829bef7c --- /dev/null +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/selected_curves.csv @@ -0,0 +1,106 @@ +relaxation_percent,submission,score,rank,workloads_reached,workload_count +0,AdEMAMix (PyTorch),0.5190796857463527,2,6,9 +0,Muon (PyTorch),0.4231200897867556,6,4,9 +0,NAdamW (Baseline AlgoPerf v0.5) (JAX),0.4506172839506181,4,5,9 +0,Schedule-Free AdamW v2 (PyTorch),0.5679012345679016,1,6,9 +0,Single Worker DiLoCo v2 (JAX),0.1301907968574634,14,2,9 +1,AdEMAMix (PyTorch),0.5875420875420879,1,7,9 +1,Muon (PyTorch),0.4837261503928179,5,5,9 +1,NAdamW (Baseline AlgoPerf v0.5) (JAX),0.4304152637485978,7,5,9 +1,Schedule-Free AdamW v2 (PyTorch),0.5718294051627385,2,6,9 +1,Single Worker DiLoCo v2 (JAX),0.12289562289562284,14,3,9 +2,AdEMAMix (PyTorch),0.4831649831649832,3,7,9 +2,Muon (PyTorch),0.4304152637485974,6,5,9 +2,NAdamW (Baseline AlgoPerf v0.5) (JAX),0.3653198653198659,8,5,9 +2,Schedule-Free AdamW v2 (PyTorch),0.5252525252525261,2,6,9 +2,Single Worker DiLoCo v2 (JAX),0.06677890011223338,14,3,9 +3,AdEMAMix (PyTorch),0.5157126823793495,4,7,9 +3,Muon (PyTorch),0.4180695847362521,6,5,9 +3,NAdamW (Baseline AlgoPerf v0.5) (JAX),0.33164983164983214,10,5,9 +3,Schedule-Free AdamW v2 (PyTorch),0.5465768799102142,2,6,9 +3,Single Worker DiLoCo v2 (JAX),0.046576879910213226,14,3,9 +4,AdEMAMix (PyTorch),0.5314253647586987,6,7,9 +4,Muon (PyTorch),0.461840628507296,8,5,9 +4,NAdamW (Baseline AlgoPerf v0.5) (JAX),0.5482603815937154,4,7,9 +4,Schedule-Free AdamW v2 (PyTorch),0.5600448933782273,3,7,9 +4,Single Worker DiLoCo v2 (JAX),0.047138047138047125,14,3,9 +5,AdEMAMix (PyTorch),0.5308641975308648,6,7,9 +5,Muon (PyTorch),0.488776655443323,7,5,9 +5,NAdamW (Baseline AlgoPerf v0.5) (JAX),0.5336700336700341,5,7,9 +5,Schedule-Free AdamW v2 (PyTorch),0.5993265993265994,2,7,9 +5,Single Worker DiLoCo v2 (JAX),0.12177328843995516,14,4,9 +6,AdEMAMix (PyTorch),0.51571268237935,5,7,9 +6,Muon (PyTorch),0.4730639730639739,6,5,9 +6,NAdamW (Baseline AlgoPerf v0.5) (JAX),0.4674523007856342,7,7,9 +6,Schedule-Free AdamW v2 (PyTorch),0.5746352413019085,2,7,9 +6,Single Worker DiLoCo v2 (JAX),0.15544332210998887,14,6,9 +7,AdEMAMix (PyTorch),0.5056116722783399,5,7,9 +7,Muon (PyTorch),0.488776655443323,6,5,9 +7,NAdamW (Baseline AlgoPerf v0.5) (JAX),0.47643097643097665,7,7,9 +7,Schedule-Free AdamW v2 (PyTorch),0.5538720538720548,4,7,9 +7,Single Worker DiLoCo v2 (JAX),0.1419753086419754,14,6,9 +8,AdEMAMix (PyTorch),0.5061728395061739,6,7,9 +8,Muon (PyTorch),0.6015712682379343,2,6,9 +8,NAdamW (Baseline AlgoPerf v0.5) (JAX),0.48484848484848464,7,7,9 +8,Schedule-Free AdamW v2 (PyTorch),0.5763187429854101,3,7,9 +8,Single Worker DiLoCo v2 (JAX),0.19472502805836125,14,6,9 +9,AdEMAMix (PyTorch),0.5342312008978677,6,7,9 +9,Muon (PyTorch),0.602693602693602,2,6,9 +9,NAdamW (Baseline AlgoPerf v0.5) (JAX),0.4898989898989896,7,7,9 +9,Schedule-Free AdamW v2 (PyTorch),0.5751964085297422,4,7,9 +9,Single Worker DiLoCo v2 (JAX),0.2457912457912453,14,6,9 +10,AdEMAMix (PyTorch),0.5213243546576883,6,7,9 +10,Muon (PyTorch),0.5993265993265987,3,6,9 +10,NAdamW (Baseline AlgoPerf v0.5) (JAX),0.493265993265993,7,7,9 +10,Schedule-Free AdamW v2 (PyTorch),0.607182940516274,2,7,9 +10,Single Worker DiLoCo v2 (JAX),0.23176206509539798,14,6,9 +11,AdEMAMix (PyTorch),0.5589225589225592,6,7,9 +11,Muon (PyTorch),0.5982042648709308,3,6,9 +11,NAdamW (Baseline AlgoPerf v0.5) (JAX),0.49270482603815907,7,7,9 +11,Schedule-Free AdamW v2 (PyTorch),0.6200897867564538,2,7,9 +11,Single Worker DiLoCo v2 (JAX),0.24803591470258102,14,6,9 +12,AdEMAMix (PyTorch),0.5948372615039287,5,7,9 +12,Muon (PyTorch),0.6986531986531989,1,7,9 +12,NAdamW (Baseline AlgoPerf v0.5) (JAX),0.5106621773288437,8,7,9 +12,Schedule-Free AdamW v2 (PyTorch),0.618967452300786,3,7,9 +12,Single Worker DiLoCo v2 (JAX),0.30471380471380477,14,7,9 +13,AdEMAMix (PyTorch),0.6217732884399555,4,7,9 +13,Muon (PyTorch),0.7109988776655444,2,7,9 +13,NAdamW (Baseline AlgoPerf v0.5) (JAX),0.5353535353535349,8,7,9 +13,Schedule-Free AdamW v2 (PyTorch),0.6195286195286199,5,8,9 +13,Single Worker DiLoCo v2 (JAX),0.2934904601571266,14,7,9 +14,AdEMAMix (PyTorch),0.634118967452301,4,7,9 +14,Muon (PyTorch),0.7098765432098766,2,7,9 +14,NAdamW (Baseline AlgoPerf v0.5) (JAX),0.5578002244668906,7,7,9 +14,Schedule-Free AdamW v2 (PyTorch),0.6195286195286199,5,8,9 +14,Single Worker DiLoCo v2 (JAX),0.31874298540965207,14,7,9 +15,AdEMAMix (PyTorch),0.6352413019079688,5,7,9 +15,Muon (PyTorch),0.7222222222222222,1,7,9 +15,NAdamW (Baseline AlgoPerf v0.5) (JAX),0.5476992143658806,8,7,9 +15,Schedule-Free AdamW v2 (PyTorch),0.662177328843996,3,8,9 +15,Single Worker DiLoCo v2 (JAX),0.3221099887766551,14,7,9 +16,AdEMAMix (PyTorch),0.6004489337822676,6,7,9 +16,Muon (PyTorch),0.7177328843995511,1,7,9 +16,NAdamW (Baseline AlgoPerf v0.5) (JAX),0.5207631874298538,8,7,9 +16,Schedule-Free AdamW v2 (PyTorch),0.6127946127946122,5,8,9 +16,Single Worker DiLoCo v2 (JAX),0.29012345679012325,14,7,9 +17,AdEMAMix (PyTorch),0.6363636363636368,4,7,9 +17,Muon (PyTorch),0.7210998877665545,1,7,9 +17,NAdamW (Baseline AlgoPerf v0.5) (JAX),0.5336700336700334,8,7,9 +17,Schedule-Free AdamW v2 (PyTorch),0.6301907968574634,6,9,9 +17,Single Worker DiLoCo v2 (JAX),0.29629629629629606,14,7,9 +18,AdEMAMix (PyTorch),0.6475869809203146,4,7,9 +18,Muon (PyTorch),0.71324354657688,2,8,9 +18,NAdamW (Baseline AlgoPerf v0.5) (JAX),0.5392817059483729,8,7,9 +18,Schedule-Free AdamW v2 (PyTorch),0.6307519640852973,7,9,9 +18,Single Worker DiLoCo v2 (JAX),0.32210998877665503,14,7,9 +19,AdEMAMix (PyTorch),0.5600448933782264,5,7,9 +19,Muon (PyTorch),0.6470258136924808,1,8,9 +19,NAdamW (Baseline AlgoPerf v0.5) (JAX),0.5089786756453427,8,7,9 +19,Schedule-Free AdamW v2 (PyTorch),0.5729517396184067,4,9,9 +19,Single Worker DiLoCo v2 (JAX),0.2514029180695844,14,7,9 +20,AdEMAMix (PyTorch),0.562289562289562,5,7,9 +20,Muon (PyTorch),0.6459034792368129,1,8,9 +20,NAdamW (Baseline AlgoPerf v0.5) (JAX),0.5325476992143662,8,7,9 +20,Schedule-Free AdamW v2 (PyTorch),0.6212121212121214,2,9,9 +20,Single Worker DiLoCo v2 (JAX),0.25701459034792334,14,7,9 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/target_thresholds.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/target_thresholds.csv new file mode 100644 index 00000000..4e423e84 --- /dev/null +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/target_thresholds.csv @@ -0,0 +1,190 @@ +relaxation_percent,workload,metric,target +0,criteo1tb,validation/loss,0.123735 +0,fastmri,validation/ssim,0.723653 +0,imagenet_resnet,validation/accuracy,0.77431 +0,imagenet_vit,validation/accuracy,0.77309 +0,librispeech_conformer,validation/wer,0.085884 +0,librispeech_deepspeech,validation/wer,0.119936 +0,finewebedu_lm,validation/ppl,22.2995 +0,ogbg,validation/mean_average_precision,0.28098 +0,wmt,validation/bleu,30.8491 +1,criteo1tb,validation/loss,0.12497235 +1,fastmri,validation/ssim,0.71641647 +1,imagenet_resnet,validation/accuracy,0.7665669 +1,imagenet_vit,validation/accuracy,0.7653591000000001 +1,librispeech_conformer,validation/wer,0.08674284 +1,librispeech_deepspeech,validation/wer,0.12113536 +1,finewebedu_lm,validation/ppl,22.522495 +1,ogbg,validation/mean_average_precision,0.2781702 +1,wmt,validation/bleu,30.540609 +2,criteo1tb,validation/loss,0.1262097 +2,fastmri,validation/ssim,0.70917994 +2,imagenet_resnet,validation/accuracy,0.7588238 +2,imagenet_vit,validation/accuracy,0.7576282000000001 +2,librispeech_conformer,validation/wer,0.08760168 +2,librispeech_deepspeech,validation/wer,0.12233472000000001 +2,finewebedu_lm,validation/ppl,22.74549 +2,ogbg,validation/mean_average_precision,0.2753604 +2,wmt,validation/bleu,30.232118 +3,criteo1tb,validation/loss,0.12744705 +3,fastmri,validation/ssim,0.7019434099999999 +3,imagenet_resnet,validation/accuracy,0.7510807 +3,imagenet_vit,validation/accuracy,0.7498973 +3,librispeech_conformer,validation/wer,0.08846052 +3,librispeech_deepspeech,validation/wer,0.12353408 +3,finewebedu_lm,validation/ppl,22.968484999999998 +3,ogbg,validation/mean_average_precision,0.2725506 +3,wmt,validation/bleu,29.923627 +4,criteo1tb,validation/loss,0.1286844 +4,fastmri,validation/ssim,0.6947068799999999 +4,imagenet_resnet,validation/accuracy,0.7433376 +4,imagenet_vit,validation/accuracy,0.7421664 +4,librispeech_conformer,validation/wer,0.08931936 +4,librispeech_deepspeech,validation/wer,0.12473344 +4,finewebedu_lm,validation/ppl,23.19148 +4,ogbg,validation/mean_average_precision,0.2697408 +4,wmt,validation/bleu,29.615136 +5,criteo1tb,validation/loss,0.12992175 +5,fastmri,validation/ssim,0.68747035 +5,imagenet_resnet,validation/accuracy,0.7355945 +5,imagenet_vit,validation/accuracy,0.7344355 +5,librispeech_conformer,validation/wer,0.0901782 +5,librispeech_deepspeech,validation/wer,0.1259328 +5,finewebedu_lm,validation/ppl,23.414475 +5,ogbg,validation/mean_average_precision,0.266931 +5,wmt,validation/bleu,29.306645 +6,criteo1tb,validation/loss,0.1311591 +6,fastmri,validation/ssim,0.68023382 +6,imagenet_resnet,validation/accuracy,0.7278514 +6,imagenet_vit,validation/accuracy,0.7267046 +6,librispeech_conformer,validation/wer,0.09103704000000001 +6,librispeech_deepspeech,validation/wer,0.12713216 +6,finewebedu_lm,validation/ppl,23.63747 +6,ogbg,validation/mean_average_precision,0.2641212 +6,wmt,validation/bleu,28.998154 +7,criteo1tb,validation/loss,0.13239645 +7,fastmri,validation/ssim,0.67299729 +7,imagenet_resnet,validation/accuracy,0.7201083 +7,imagenet_vit,validation/accuracy,0.7189737 +7,librispeech_conformer,validation/wer,0.09189588000000001 +7,librispeech_deepspeech,validation/wer,0.12833152 +7,finewebedu_lm,validation/ppl,23.860465 +7,ogbg,validation/mean_average_precision,0.26131139999999997 +7,wmt,validation/bleu,28.689663 +8,criteo1tb,validation/loss,0.1336338 +8,fastmri,validation/ssim,0.6657607600000001 +8,imagenet_resnet,validation/accuracy,0.7123652 +8,imagenet_vit,validation/accuracy,0.7112428000000001 +8,librispeech_conformer,validation/wer,0.09275472000000001 +8,librispeech_deepspeech,validation/wer,0.12953088000000001 +8,finewebedu_lm,validation/ppl,24.08346 +8,ogbg,validation/mean_average_precision,0.2585016 +8,wmt,validation/bleu,28.381172000000003 +9,criteo1tb,validation/loss,0.13487115 +9,fastmri,validation/ssim,0.65852423 +9,imagenet_resnet,validation/accuracy,0.7046221 +9,imagenet_vit,validation/accuracy,0.7035119000000001 +9,librispeech_conformer,validation/wer,0.09361356000000001 +9,librispeech_deepspeech,validation/wer,0.13073024 +9,finewebedu_lm,validation/ppl,24.306455 +9,ogbg,validation/mean_average_precision,0.2556918 +9,wmt,validation/bleu,28.072681 +10,criteo1tb,validation/loss,0.13610850000000002 +10,fastmri,validation/ssim,0.6512877 +10,imagenet_resnet,validation/accuracy,0.696879 +10,imagenet_vit,validation/accuracy,0.6957810000000001 +10,librispeech_conformer,validation/wer,0.09447240000000001 +10,librispeech_deepspeech,validation/wer,0.1319296 +10,finewebedu_lm,validation/ppl,24.52945 +10,ogbg,validation/mean_average_precision,0.252882 +10,wmt,validation/bleu,27.76419 +11,criteo1tb,validation/loss,0.13734585000000002 +11,fastmri,validation/ssim,0.64405117 +11,imagenet_resnet,validation/accuracy,0.6891359 +11,imagenet_vit,validation/accuracy,0.6880501000000001 +11,librispeech_conformer,validation/wer,0.09533124000000001 +11,librispeech_deepspeech,validation/wer,0.13312896000000002 +11,finewebedu_lm,validation/ppl,24.752445 +11,ogbg,validation/mean_average_precision,0.2500722 +11,wmt,validation/bleu,27.455699 +12,criteo1tb,validation/loss,0.13858320000000002 +12,fastmri,validation/ssim,0.63681464 +12,imagenet_resnet,validation/accuracy,0.6813928 +12,imagenet_vit,validation/accuracy,0.6803192 +12,librispeech_conformer,validation/wer,0.09619008000000001 +12,librispeech_deepspeech,validation/wer,0.13432832 +12,finewebedu_lm,validation/ppl,24.97544 +12,ogbg,validation/mean_average_precision,0.24726240000000002 +12,wmt,validation/bleu,27.147208 +13,criteo1tb,validation/loss,0.13982055 +13,fastmri,validation/ssim,0.62957811 +13,imagenet_resnet,validation/accuracy,0.6736497 +13,imagenet_vit,validation/accuracy,0.6725883 +13,librispeech_conformer,validation/wer,0.09704892 +13,librispeech_deepspeech,validation/wer,0.13552767999999998 +13,finewebedu_lm,validation/ppl,25.198434999999996 +13,ogbg,validation/mean_average_precision,0.2444526 +13,wmt,validation/bleu,26.838717 +14,criteo1tb,validation/loss,0.1410579 +14,fastmri,validation/ssim,0.62234158 +14,imagenet_resnet,validation/accuracy,0.6659066 +14,imagenet_vit,validation/accuracy,0.6648574 +14,librispeech_conformer,validation/wer,0.09790776000000001 +14,librispeech_deepspeech,validation/wer,0.13672704000000002 +14,finewebedu_lm,validation/ppl,25.42143 +14,ogbg,validation/mean_average_precision,0.2416428 +14,wmt,validation/bleu,26.530226 +15,criteo1tb,validation/loss,0.14229524999999998 +15,fastmri,validation/ssim,0.6151050499999999 +15,imagenet_resnet,validation/accuracy,0.6581635 +15,imagenet_vit,validation/accuracy,0.6571265000000001 +15,librispeech_conformer,validation/wer,0.0987666 +15,librispeech_deepspeech,validation/wer,0.13792639999999998 +15,finewebedu_lm,validation/ppl,25.644424999999995 +15,ogbg,validation/mean_average_precision,0.238833 +15,wmt,validation/bleu,26.221735 +16,criteo1tb,validation/loss,0.14353259999999998 +16,fastmri,validation/ssim,0.60786852 +16,imagenet_resnet,validation/accuracy,0.6504204 +16,imagenet_vit,validation/accuracy,0.6493956000000001 +16,librispeech_conformer,validation/wer,0.09962544 +16,librispeech_deepspeech,validation/wer,0.13912576 +16,finewebedu_lm,validation/ppl,25.867419999999996 +16,ogbg,validation/mean_average_precision,0.2360232 +16,wmt,validation/bleu,25.913244 +17,criteo1tb,validation/loss,0.14476994999999998 +17,fastmri,validation/ssim,0.60063199 +17,imagenet_resnet,validation/accuracy,0.6426773 +17,imagenet_vit,validation/accuracy,0.6416647 +17,librispeech_conformer,validation/wer,0.10048428 +17,librispeech_deepspeech,validation/wer,0.14032512 +17,finewebedu_lm,validation/ppl,26.090414999999997 +17,ogbg,validation/mean_average_precision,0.2332134 +17,wmt,validation/bleu,25.604753 +18,criteo1tb,validation/loss,0.14600729999999998 +18,fastmri,validation/ssim,0.59339546 +18,imagenet_resnet,validation/accuracy,0.6349342000000001 +18,imagenet_vit,validation/accuracy,0.6339338000000001 +18,librispeech_conformer,validation/wer,0.10134312 +18,librispeech_deepspeech,validation/wer,0.14152447999999998 +18,finewebedu_lm,validation/ppl,26.313409999999998 +18,ogbg,validation/mean_average_precision,0.23040360000000001 +18,wmt,validation/bleu,25.296262000000002 +19,criteo1tb,validation/loss,0.14724464999999998 +19,fastmri,validation/ssim,0.5861589300000001 +19,imagenet_resnet,validation/accuracy,0.6271911000000001 +19,imagenet_vit,validation/accuracy,0.6262029000000001 +19,librispeech_conformer,validation/wer,0.10220196 +19,librispeech_deepspeech,validation/wer,0.14272384 +19,finewebedu_lm,validation/ppl,26.536405 +19,ogbg,validation/mean_average_precision,0.2275938 +19,wmt,validation/bleu,24.987771000000002 +20,criteo1tb,validation/loss,0.148482 +20,fastmri,validation/ssim,0.5789224000000001 +20,imagenet_resnet,validation/accuracy,0.6194480000000001 +20,imagenet_vit,validation/accuracy,0.6184720000000001 +20,librispeech_conformer,validation/wer,0.1030608 +20,librispeech_deepspeech,validation/wer,0.1439232 +20,finewebedu_lm,validation/ppl,26.759399999999996 +20,ogbg,validation/mean_average_precision,0.224784 +20,wmt,validation/bleu,24.679280000000002 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_00pct.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_00pct.csv new file mode 100644 index 00000000..164a3850 --- /dev/null +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_00pct.csv @@ -0,0 +1,15 @@ +submission,criteo1tb,fastmri,finewebedu_lm,imagenet_resnet,imagenet_vit,librispeech_conformer,librispeech_deepspeech,ogbg,wmt +AdEMAMix (PyTorch),7839.193164110184,1517.7321906089785,18025.89689064026,inf,inf,48894.85426735878,inf,6329.966245889664,17399.639942407608 +Cautious NAdamW (JAX),inf,1608.188658952713,25738.981688261032,inf,inf,inf,inf,4992.686820983887,14232.458706855774 +Lion (PyTorch),inf,1394.1750195026398,23172.039316177368,inf,inf,inf,inf,7223.987207174301,15475.552730083466 +Muon (JAX),inf,1869.765276670456,20594.037749767303,inf,77162.91657114029,inf,inf,inf,inf +Muon (PyTorch),7141.604691028595,inf,15471.922557115557,inf,inf,inf,inf,1833.473667144776,14214.779582500458 +NAdamW (JAX),7492.6946766376495,1800.7732002735138,25733.847669363025,inf,72015.5787293911,inf,inf,inf,inf +NAdamW (Baseline AlgoPerf v0.5) (JAX),8206.103132247925,1620.5153810977936,20589.912857055664,inf,inf,inf,inf,4089.775626659393,14865.7885992527 +NAdamW (Tuned for ResNet) (JAX),inf,1920.545307636261,23163.02198767662,inf,inf,inf,inf,6349.506216049194,inf +Schedule-Free AdamW (PyTorch),10337.671689033508,1188.9131379127502,inf,inf,inf,inf,40463.388149023056,3640.148542404175,19957.71787595749 +Schedule-Free AdamW (JAX),inf,2397.40203499794,12875.283079862596,inf,87468.86081624031,inf,inf,5446.973826885223,16161.202248096466 +Schedule-Free AdamW v2 (JAX),8204.54053902626,1850.625381946564,15451.99134683609,inf,84891.75501847267,inf,inf,5444.019295454025,inf +Schedule-Free AdamW v2 (PyTorch),7480.571330547333,1128.837876081467,inf,inf,inf,55846.44081497192,41911.17554831505,6325.430662155151,10325.45705485344 +Single Worker DiLoCo (JAX),inf,2379.3425666093826,28314.819189310077,inf,inf,inf,inf,inf,inf +Single Worker DiLoCo v2 (JAX),inf,2578.1419467926025,28313.97388148308,inf,inf,inf,inf,inf,inf diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_01pct.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_01pct.csv new file mode 100644 index 00000000..f8ae8d1f --- /dev/null +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_01pct.csv @@ -0,0 +1,15 @@ +submission,criteo1tb,fastmri,finewebedu_lm,imagenet_resnet,imagenet_vit,librispeech_conformer,librispeech_deepspeech,ogbg,wmt +AdEMAMix (PyTorch),3210.4460656642914,1093.675038814545,18025.89689064026,inf,inf,48894.85426735878,30400.241758823395,5891.7984273433685,15472.984793901443 +Cautious NAdamW (JAX),inf,1058.2792873382568,25738.981688261032,inf,inf,inf,inf,4542.640103340149,12300.529671430588 +Lion (PyTorch),4630.977348804474,1068.286497592926,20608.53852891922,inf,inf,inf,inf,6772.937709569931,14191.460042238235 +Muon (JAX),10365.37938952446,1319.8607549667358,20594.037749767303,inf,72022.60874962807,inf,inf,inf,inf +Muon (PyTorch),3239.148842573166,1188.9445600509644,15471.922557115557,inf,inf,inf,inf,1833.473667144776,10349.304359197617 +NAdamW (JAX),3216.274062395096,1140.9231734275818,25733.847669363025,inf,69445.24471068382,inf,inf,inf,inf +NAdamW (Baseline AlgoPerf v0.5) (JAX),2863.897424697876,1175.4078862667084,20589.321794748303,inf,inf,inf,inf,3634.618623733521,11645.799484968184 +NAdamW (Tuned for ResNet) (JAX),7150.244158029556,1150.6265110969543,23162.07039999962,inf,inf,inf,inf,5896.352125167847,14224.259515285492 +Schedule-Free AdamW (PyTorch),2145.928728580475,866.9446563720703,inf,inf,inf,inf,39019.65780520439,3624.553771257401,9684.711911439896 +Schedule-Free AdamW (JAX),3222.357746124268,1824.5686995983124,12875.283079862596,inf,66901.03146481514,inf,inf,4994.9825966358185,9074.26617383957 +Schedule-Free AdamW v2 (JAX),2146.8070859909058,1190.480677843094,15451.99134683609,inf,66895.15416312218,inf,inf,4543.061010599136,11005.5692486763 +Schedule-Free AdamW v2 (PyTorch),2142.8173594474792,802.9277532100677,inf,inf,inf,52358.23204731941,39023.37936592102,5879.733811378479,5829.617845058441 +Single Worker DiLoCo (JAX),4671.270045757294,1663.7264096736908,28314.819189310077,inf,inf,inf,inf,inf,inf +Single Worker DiLoCo v2 (JAX),8462.000496387482,2022.091157913208,28313.97388148308,inf,inf,inf,inf,inf,inf diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_02pct.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_02pct.csv new file mode 100644 index 00000000..48902bc6 --- /dev/null +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_02pct.csv @@ -0,0 +1,15 @@ +submission,criteo1tb,fastmri,finewebedu_lm,imagenet_resnet,imagenet_vit,librispeech_conformer,librispeech_deepspeech,ogbg,wmt +AdEMAMix (PyTorch),1428.7973811626434,864.8888063430786,18025.89689064026,inf,inf,47149.58257842064,28975.83899521828,5427.645111322403,14825.24995803833 +Cautious NAdamW (JAX),1437.8420550823212,722.511825799942,25738.981688261032,inf,inf,inf,inf,4542.640103340149,11012.622641801834 +Lion (PyTorch),1786.1049778461456,959.646072626114,20603.51038718224,inf,inf,inf,inf,6321.769423484802,12251.830946207048 +Muon (JAX),3230.224955558777,878.6190605163574,18022.910578489304,inf,69452.43044137955,inf,inf,1378.5888230800629,inf +Muon (PyTorch),1104.0907456874847,1080.1262052059174,12903.770976543428,inf,inf,inf,inf,1833.473667144776,7139.727415800095 +NAdamW (JAX),1434.4945619106293,920.957771062851,25733.847669363025,inf,66875.45236468315,inf,inf,inf,inf +NAdamW (Baseline AlgoPerf v0.5) (JAX),1081.428255319595,960.678999900818,18021.71687054634,inf,inf,inf,inf,3185.612011909485,10357.81909942627 +NAdamW (Tuned for ResNet) (JAX),2508.926483154297,1040.645043849945,20592.04149007797,inf,inf,inf,inf,5896.352125167847,12939.709772586824 +Schedule-Free AdamW (PyTorch),1076.497935295105,429.2442009449005,inf,inf,inf,inf,36145.44285082817,3189.1223855018616,7116.319007158279 +Schedule-Free AdamW (JAX),1438.9549899101255,1293.577653169632,12875.024502277374,inf,54047.82887840271,inf,inf,4543.0039122104645,7145.66076540947 +Schedule-Free AdamW v2 (JAX),721.9275319576263,753.354035615921,12880.940367937088,inf,56613.070303440094,inf,inf,4091.021724462509,7784.280825853348 +Schedule-Free AdamW v2 (PyTorch),1074.7545132637024,365.1715507507324,inf,inf,inf,52358.23204731941,37579.15203809738,5420.893838405609,4545.6430814266205 +Single Worker DiLoCo (JAX),2156.6775341033936,1110.4843575954437,25742.808414697647,57933.1054751873,inf,inf,inf,inf,inf +Single Worker DiLoCo v2 (JAX),3657.684541225433,1801.844279050827,28313.97388148308,inf,inf,inf,inf,inf,inf diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_03pct.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_03pct.csv new file mode 100644 index 00000000..bd3265a3 --- /dev/null +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_03pct.csv @@ -0,0 +1,15 @@ +submission,criteo1tb,fastmri,finewebedu_lm,imagenet_resnet,imagenet_vit,librispeech_conformer,librispeech_deepspeech,ogbg,wmt +AdEMAMix (PyTorch),360.9079949855805,436.60997319221497,18025.89689064026,inf,inf,47149.58257842064,28954.99601364136,4989.435345888138,13540.525059461594 +Cautious NAdamW (JAX),722.5356111526489,394.8429796695709,25738.981688261032,inf,84878.0066742897,inf,inf,4090.531037092209,10365.966279268265 +Lion (PyTorch),1073.0823872089386,740.2782506942749,20603.51038718224,inf,inf,inf,inf,6321.769423484802,10338.965475320816 +Muon (JAX),1437.720421791077,658.0825011730194,18022.910578489304,inf,66882.26614570618,inf,inf,1375.1697556972504,inf +Muon (PyTorch),748.0918927192688,531.0010507106781,12903.770976543428,inf,inf,inf,inf,1833.473667144776,6510.414376974106 +NAdamW (JAX),721.1048164367676,700.5108685493469,25733.847669363025,47962.852383852005,64304.89638185501,inf,inf,4088.2416999340057,inf +NAdamW (Baseline AlgoPerf v0.5) (JAX),721.0765557289124,518.9147706031799,18021.71687054634,inf,inf,inf,inf,3182.511142730713,9719.260936498642 +NAdamW (Tuned for ResNet) (JAX),1081.5050764083862,1040.645043849945,20592.04149007797,51942.21082019806,inf,inf,inf,5896.352125167847,12935.18206691742 +Schedule-Free AdamW (PyTorch),720.9437417984009,319.09749150276184,inf,inf,inf,61063.90926647186,34689.57567882538,3189.1223855018616,5189.421644210815 +Schedule-Free AdamW (JAX),724.0472061634064,604.3663773536682,10305.35549902916,inf,46335.302220106125,inf,inf,4090.9967923164368,5857.690088987351 +Schedule-Free AdamW v2 (JAX),365.3596320152282,417.3900821208954,12880.210941791534,37976.86044549942,46336.8071513176,inf,inf,3638.9604036808014,5852.250037670136 +Schedule-Free AdamW v2 (PyTorch),362.3438584804535,255.6350064277649,inf,inf,inf,50614.13014340401,34691.10995674133,5420.893838405609,3263.986152648926 +Single Worker DiLoCo (JAX),1083.4836993217468,555.2002403736115,25742.808414697647,45968.26041817665,inf,inf,inf,4991.95076751709,16168.221429347992 +Single Worker DiLoCo v2 (JAX),2176.593297958374,1696.829978466034,28313.97388148308,inf,inf,inf,inf,inf,inf diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_04pct.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_04pct.csv new file mode 100644 index 00000000..84ecd676 --- /dev/null +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_04pct.csv @@ -0,0 +1,15 @@ +submission,criteo1tb,fastmri,finewebedu_lm,imagenet_resnet,imagenet_vit,librispeech_conformer,librispeech_deepspeech,ogbg,wmt +AdEMAMix (PyTorch),360.9079949855805,326.4079144001007,18025.89689064026,inf,inf,45404.351519584656,27508.806652784348,4976.4658744335175,12904.218306303024 +Cautious NAdamW (JAX),366.27075147628784,283.9921712875366,23168.0211634636,45972.71987748146,77167.3076415062,inf,inf,3638.546424627304,9721.991999149324 +Lion (PyTorch),717.2312772274017,520.2512855529785,20603.51038718224,inf,inf,inf,31862.61851024628,6321.769423484802,9683.24600148201 +Muon (JAX),1079.9141855239868,547.1627485752106,18022.910578489304,inf,64313.66648411751,inf,inf,1375.1697556972504,inf +Muon (PyTorch),392.43705701828,421.49709916114807,12903.770976543428,inf,inf,inf,inf,1833.473667144776,5868.087528705597 +NAdamW (JAX),364.45390701293945,500.9207639694214,23164.42234921456,43973.654967308044,61734.6875371933,inf,inf,4088.2416999340057,12292.569732904434 +NAdamW (Baseline AlgoPerf v0.5) (JAX),367.5072982311249,402.4246642589569,18018.74986338616,43969.3411693573,69451.3844780922,inf,inf,2731.6373760700226,8431.825677156448 +NAdamW (Tuned for ResNet) (JAX),723.2133867740631,820.6856744289398,20592.04149007797,43968.77058148384,90015.6228647232,inf,inf,4992.225074529648,11651.874064207075 +Schedule-Free AdamW (PyTorch),364.76555728912354,319.09749150276184,inf,inf,inf,59318.61740803719,33257.97663426399,2738.123290538788,4547.46813249588 +Schedule-Free AdamW (JAX),368.587194442749,382.8766484260559,10304.23870229721,inf,41192.741263866425,inf,inf,4090.733491897583,4567.1483771801 +Schedule-Free AdamW v2 (JAX),365.3596320152282,307.3230459690094,12880.210941791534,22009.03094482422,41188.27910041809,inf,inf,3186.941942691803,4565.309421539307 +Schedule-Free AdamW v2 (PyTorch),362.3438584804535,255.6350064277649,46274.09501791,inf,inf,47123.02601647377,33246.56272029877,4977.280465126038,2621.975442647934 +Single Worker DiLoCo (JAX),725.3010702133179,334.13906598091125,25742.808414697647,43971.88516378403,inf,inf,inf,4539.960802555084,12946.529366016388 +Single Worker DiLoCo v2 (JAX),1441.4770905971527,1141.4151532649994,28313.97388148308,inf,inf,inf,inf,inf,inf diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_05pct.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_05pct.csv new file mode 100644 index 00000000..13b02442 --- /dev/null +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_05pct.csv @@ -0,0 +1,15 @@ +submission,criteo1tb,fastmri,finewebedu_lm,imagenet_resnet,imagenet_vit,librispeech_conformer,librispeech_deepspeech,ogbg,wmt +AdEMAMix (PyTorch),360.9079949855805,326.4079144001007,18025.89689064026,inf,inf,45404.351519584656,27508.806652784348,4976.4658744335175,12255.966635465622 +Cautious NAdamW (JAX),366.27075147628784,283.9921712875366,23168.0211634636,41981.1839838028,72027.07000041008,inf,inf,3636.773329257965,9080.651587486269 +Lion (PyTorch),717.2312772274017,410.3829169273377,20603.51038718224,inf,inf,inf,28972.046739816666,5419.439529418945,8410.401287317276 +Muon (JAX),1079.9141855239868,326.65109968185425,18022.910578489304,inf,59172.92804956436,inf,inf,1375.1697556972504,inf +Muon (PyTorch),392.43705701828,421.49709916114807,12903.770976543428,inf,inf,inf,inf,1830.406593322754,3941.83190703392 +NAdamW (JAX),364.45390701293945,369.9422628879547,23162.559694767,41969.839732170105,59165.54475545883,inf,inf,4087.9961693286896,11648.653273820875 +NAdamW (Baseline AlgoPerf v0.5) (JAX),367.5072982311249,292.1376211643219,18018.74986338616,41972.82826924324,66880.57304668427,inf,inf,2731.6373760700226,8431.286786317825 +NAdamW (Tuned for ResNet) (JAX),366.75317430496216,710.2628664970398,20592.04149007797,41972.83446621895,84875.12085962296,inf,inf,4992.225074529648,11004.365580558777 +Schedule-Free AdamW (PyTorch),364.76555728912354,319.09749150276184,inf,inf,inf,57574.19751262665,30358.114854812626,2738.123290538788,3905.406741142273 +Schedule-Free AdamW (JAX),368.587194442749,382.8766484260559,10304.23870229721,inf,36050.6091632843,inf,inf,3638.152243614197,3923.215074539185 +Schedule-Free AdamW v2 (JAX),365.3596320152282,307.3230459690094,12875.642571926115,16021.15643143654,36053.36723423004,inf,inf,3186.941942691803,3921.279017686844 +Schedule-Free AdamW v2 (PyTorch),362.3438584804535,255.6350064277649,38586.41467094421,inf,inf,45378.7729613781,30359.1022708416,4075.018378019333,2621.975442647934 +Single Worker DiLoCo (JAX),725.3010702133179,334.13906598091125,25742.808414697647,41975.59837651253,inf,inf,inf,4090.009508609772,12302.170767068865 +Single Worker DiLoCo v2 (JAX),1100.0680918693542,808.2217423915863,25742.234058380127,inf,inf,inf,inf,inf,12947.029633522034 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_06pct.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_06pct.csv new file mode 100644 index 00000000..20ff456b --- /dev/null +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_06pct.csv @@ -0,0 +1,15 @@ +submission,criteo1tb,fastmri,finewebedu_lm,imagenet_resnet,imagenet_vit,librispeech_conformer,librispeech_deepspeech,ogbg,wmt +AdEMAMix (PyTorch),360.9079949855805,326.4079144001007,18025.89689064026,inf,inf,45404.351519584656,27508.806652784348,4525.246675014496,10328.929268598557 +Cautious NAdamW (JAX),366.27075147628784,283.9921712875366,23168.0211634636,39984.72321939469,66889.68683934212,inf,inf,3186.577626466751,7148.685655832291 +Lion (PyTorch),361.4228310585022,410.3829169273377,20603.51038718224,inf,inf,inf,27526.838836431503,4978.338572740555,6472.549487352371 +Muon (JAX),723.6945340633392,326.65109968185425,18022.910578489304,71915.69072246552,56604.78502726555,inf,inf,924.1200001239775,inf +Muon (PyTorch),392.43705701828,312.07030296325684,12903.770976543428,inf,inf,inf,inf,1830.406593322754,3300.607357740402 +NAdamW (JAX),364.45390701293945,369.9422628879547,23162.559694767,39973.87573385239,54033.101101875305,inf,inf,2732.1139879226685,10360.19233417511 +NAdamW (Baseline AlgoPerf v0.5) (JAX),367.5072982311249,292.1376211643219,18018.74986338616,39974.50588822365,64310.03722715378,inf,inf,2730.5407695770264,6493.84299826622 +NAdamW (Tuned for ResNet) (JAX),366.3240540027618,489.8137288093567,20592.04149007797,39976.79217839241,82304.7795317173,inf,inf,4990.766042947769,10360.375561952593 +Schedule-Free AdamW (PyTorch),364.76555728912354,319.09749150276184,inf,inf,inf,52343.64110636711,28925.36391019821,2738.123290538788,3263.4201543331146 +Schedule-Free AdamW (JAX),368.587194442749,382.8766484260559,10304.113168478012,inf,33479.49386525154,inf,inf,3186.170065879822,3279.173264503479 +Schedule-Free AdamW v2 (JAX),365.3596320152282,307.3230459690094,12875.642571926115,12029.003738880156,33480.38418722153,inf,inf,3185.798768758774,3277.2183649539948 +Schedule-Free AdamW v2 (PyTorch),362.3438584804535,255.6350064277649,36017.3879005909,inf,inf,43633.814541339874,28915.144095897675,3623.7950456142426,1979.972177028656 +Single Worker DiLoCo (JAX),725.3010702133179,334.13906598091125,25742.808414697647,39981.79184317589,82309.48162007332,inf,inf,3635.7450466156006,10369.291561603546 +Single Worker DiLoCo v2 (JAX),1082.9081106185913,586.0452802181244,25742.234058380127,55957.8622610569,inf,inf,inf,5895.114526987076,11658.310941696169 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_07pct.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_07pct.csv new file mode 100644 index 00000000..ca456af6 --- /dev/null +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_07pct.csv @@ -0,0 +1,15 @@ +submission,criteo1tb,fastmri,finewebedu_lm,imagenet_resnet,imagenet_vit,librispeech_conformer,librispeech_deepspeech,ogbg,wmt +AdEMAMix (PyTorch),360.9079949855805,326.4079144001007,15457.322835206984,inf,inf,45404.351519584656,26063.039082288746,4525.246675014496,9063.03153014183 +Cautious NAdamW (JAX),366.27075147628784,283.9921712875366,23168.0211634636,37988.38201355934,64319.46340799332,inf,inf,3186.577626466751,5860.76810503006 +Lion (PyTorch),361.4228310585022,300.31669664382935,20603.51038718224,inf,inf,inf,27526.838836431503,4968.353792667389,5199.279918193817 +Muon (JAX),723.6945340633392,326.65109968185425,15451.75988817215,61949.802631378174,54036.537271499634,inf,inf,924.1200001239775,11653.207075357435 +Muon (PyTorch),392.43705701828,312.07030296325684,10336.016378164291,inf,inf,inf,inf,1397.140058517456,3287.6150810718536 +NAdamW (JAX),364.45390701293945,258.60642552375793,23162.559694767,37977.79692840576,54028.59884238243,inf,inf,2732.1139879226685,9072.71881723404 +NAdamW (Baseline AlgoPerf v0.5) (JAX),367.5072982311249,292.1376211643219,18018.31699323654,35985.533590078354,61741.13226246834,inf,inf,2279.5015227794647,5211.422335386276 +NAdamW (Tuned for ResNet) (JAX),366.3240540027618,379.6383473873138,20592.04149007797,37980.72120118141,79734.54767680168,inf,inf,4088.235252857208,10360.375561952593 +Schedule-Free AdamW (PyTorch),364.76555728912354,319.09749150276184,inf,inf,inf,52343.64110636711,27481.28768014908,2722.2943484783173,2621.505687713623 +Schedule-Free AdamW (JAX),368.587194442749,382.8766484260559,7733.283766508102,inf,30908.38264489174,inf,inf,2734.744701385498,2635.1603307724 +Schedule-Free AdamW v2 (JAX),365.3596320152282,307.3230459690094,10309.158726215364,10033.056078910828,30909.166823625565,inf,inf,2734.904228210449,2633.222596645355 +Schedule-Free AdamW v2 (PyTorch),362.3438584804535,255.6350064277649,33448.581278800964,inf,inf,41889.504074811935,28915.144095897675,3618.473046541214,1979.972177028656 +Single Worker DiLoCo (JAX),725.3010702133179,334.13906598091125,25742.808414697647,39981.79184317589,77171.15967273712,inf,inf,3635.7450466156006,9079.91085410118 +Single Worker DiLoCo v2 (JAX),1081.8668220043182,476.0441641807556,25742.234058380127,53960.84433245659,inf,inf,inf,5895.114526987076,9723.760488510132 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_08pct.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_08pct.csv new file mode 100644 index 00000000..59dff465 --- /dev/null +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_08pct.csv @@ -0,0 +1,15 @@ +submission,criteo1tb,fastmri,finewebedu_lm,imagenet_resnet,imagenet_vit,librispeech_conformer,librispeech_deepspeech,ogbg,wmt +AdEMAMix (PyTorch),360.9079949855805,326.4079144001007,15457.322835206984,inf,inf,43658.91495251656,26063.039082288746,4074.176634788513,9044.131472110748 +Cautious NAdamW (JAX),366.27075147628784,283.9921712875366,23168.0211634636,33997.07320523262,61749.41730427742,inf,inf,3186.577626466751,5216.774678945541 +Lion (PyTorch),361.4228310585022,300.31669664382935,20595.98904967308,inf,inf,inf,26081.413096904755,4968.353792667389,4557.130557060242 +Muon (JAX),723.6945340633392,326.65109968185425,15451.75988817215,39992.98837065697,51469.29406666756,inf,inf,924.1200001239775,11009.2447681427 +Muon (PyTorch),392.43705701828,312.07030296325684,10336.016378164291,inf,inf,52374.13884854317,inf,1382.2988984584808,2658.6289060115814 +NAdamW (JAX),364.45390701293945,258.60642552375793,23162.559694767,35981.77383327484,51460.40239882469,inf,inf,2732.1139879226685,8428.68996310234 +NAdamW (Baseline AlgoPerf v0.5) (JAX),367.5072982311249,292.1376211643219,15450.604312419891,33989.52869224548,56604.14564371109,inf,inf,2279.5015227794647,4567.41791677475 +NAdamW (Tuned for ResNet) (JAX),366.3240540027618,379.6383473873138,20590.78639769554,35984.64814186096,77164.51755309105,inf,inf,4088.235252857208,8427.335958003998 +Schedule-Free AdamW (PyTorch),364.76555728912354,319.09749150276184,inf,inf,inf,50599.53104233742,27469.76524972916,2713.5714564323425,2621.505687713623 +Schedule-Free AdamW (JAX),368.587194442749,382.8766484260559,7733.283766508102,inf,28337.487322092056,inf,inf,2734.744701385498,2635.1603307724 +Schedule-Free AdamW v2 (JAX),365.3596320152282,307.3230459690094,10309.158726215364,8037.608729124069,28338.156165361404,inf,inf,2734.904228210449,2633.222596645355 +Schedule-Free AdamW v2 (PyTorch),362.3438584804535,255.6350064277649,30862.526978731155,inf,inf,41889.504074811935,26041.40856337548,3167.314347505569,1979.972177028656 +Single Worker DiLoCo (JAX),725.3010702133179,334.13906598091125,25742.808414697647,39969.32945632935,77171.15967273712,inf,inf,2734.06391954422,7147.821045637131 +Single Worker DiLoCo v2 (JAX),724.1122615337372,364.0293734073639,25742.234058380127,53960.84433245659,inf,inf,inf,4993.784583806992,8434.868093013763 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_09pct.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_09pct.csv new file mode 100644 index 00000000..d76f1f11 --- /dev/null +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_09pct.csv @@ -0,0 +1,15 @@ +submission,criteo1tb,fastmri,finewebedu_lm,imagenet_resnet,imagenet_vit,librispeech_conformer,librispeech_deepspeech,ogbg,wmt +AdEMAMix (PyTorch),360.9079949855805,326.4079144001007,15457.322835206984,inf,inf,43658.91495251656,26063.039082288746,3625.771859884262,6474.833534240723 +Cautious NAdamW (JAX),366.27075147628784,283.9921712875366,23168.0211634636,32000.98227930069,59178.940668821335,inf,inf,3184.770050764084,4571.820614337921 +Lion (PyTorch),361.4228310585022,300.31669664382935,18035.00035214424,inf,inf,inf,26071.782301664352,4517.316638946533,3904.209080696106 +Muon (JAX),723.3577916622162,326.65109968185425,15451.75988817215,33987.061225652695,48901.21842837334,inf,inf,924.1200001239775,8435.542397499084 +Muon (PyTorch),392.43705701828,312.07030296325684,10336.016378164291,inf,inf,48887.10342168808,inf,1382.2988984584808,2657.6567182540894 +NAdamW (JAX),364.45390701293945,258.60642552375793,23162.559694767,33994.031225442886,48896.97841477394,inf,inf,2732.1139879226685,7784.669058084488 +NAdamW (Baseline AlgoPerf v0.5) (JAX),367.5072982311249,292.1376211643219,15447.401123523712,31992.592839717865,56604.14564371109,inf,inf,2279.5015227794647,3923.3995735645294 +NAdamW (Tuned for ResNet) (JAX),366.3240540027618,269.370676279068,18020.98589158058,33988.63400006294,77164.51755309105,inf,inf,4088.235252857208,7144.147229909897 +Schedule-Free AdamW (PyTorch),364.76555728912354,319.09749150276184,inf,inf,inf,48856.32834744453,24582.01651263237,2286.992827653885,1979.4675829410555 +Schedule-Free AdamW (JAX),368.587194442749,382.8766484260559,7733.283766508102,inf,25766.614211559296,inf,inf,2734.744701385498,1991.132454156876 +Schedule-Free AdamW v2 (JAX),365.3596320152282,307.3230459690094,10309.158726215364,8037.070692062378,25767.194996118546,inf,inf,2731.69059753418,1989.267727136612 +Schedule-Free AdamW v2 (PyTorch),362.3438584804535,255.6350064277649,30862.526978731155,inf,inf,40145.10081958771,24598.21104478836,3167.314347505569,1979.972177028656 +Single Worker DiLoCo (JAX),725.3010702133179,334.13906598091125,23170.751378536224,35987.07119560242,72030.41739201546,inf,inf,2734.06391954422,6501.953496456146 +Single Worker DiLoCo v2 (JAX),367.4553608894348,358.09745836257935,25742.234058380127,51961.5379896164,inf,inf,inf,4991.007339000702,7146.151785612106 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_10pct.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_10pct.csv new file mode 100644 index 00000000..5b2eb204 --- /dev/null +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_10pct.csv @@ -0,0 +1,15 @@ +submission,criteo1tb,fastmri,finewebedu_lm,imagenet_resnet,imagenet_vit,librispeech_conformer,librispeech_deepspeech,ogbg,wmt +AdEMAMix (PyTorch),360.9079949855805,326.4079144001007,15457.322835206984,inf,inf,43658.91495251656,26063.039082288746,3174.74405002594,5840.327011346817 +Cautious NAdamW (JAX),366.27075147628784,283.9921712875366,23168.0211634636,32000.296038150787,56606.98682546616,inf,inf,2732.8001494407654,3926.254322290421 +Lion (PyTorch),361.4228310585022,300.31669664382935,18035.00035214424,inf,inf,inf,24636.35734152794,4517.316638946533,3262.1127166748047 +Muon (JAX),723.3577916622162,326.65109968185425,15451.75988817215,29994.89134001732,46332.84938240051,inf,inf,924.1200001239775,6501.06218123436 +Muon (PyTorch),392.43705701828,312.07030296325684,10336.016378164291,inf,inf,47141.10578966141,inf,1382.2988984584808,2015.6150116920471 +NAdamW (JAX),364.45390701293945,258.60642552375793,23162.559694767,33985.66186928749,48891.31209659576,inf,inf,2732.1139879226685,6496.752861738205 +NAdamW (Baseline AlgoPerf v0.5) (JAX),367.5072982311249,292.1376211643219,15447.401123523712,31990.46945381165,54035.496212005615,inf,inf,2279.5015227794647,2635.5035140514374 +NAdamW (Tuned for ResNet) (JAX),366.3240540027618,269.370676279068,18020.98589158058,31992.620273828503,74594.47512865067,inf,inf,3636.301753282547,6500.179566860199 +Schedule-Free AdamW (PyTorch),364.76555728912354,319.09749150276184,inf,inf,inf,47112.69826483727,23138.350909233093,2271.1033079624176,1979.4675829410555 +Schedule-Free AdamW (JAX),368.587194442749,382.8766484260559,7733.283766508102,inf,25766.614211559296,inf,inf,2734.1813151836395,1991.132454156876 +Schedule-Free AdamW v2 (JAX),365.3596320152282,307.3230459690094,10309.158726215364,8037.070692062378,25761.258350372314,inf,inf,2282.922813653946,1989.267727136612 +Schedule-Free AdamW v2 (PyTorch),362.3438584804535,255.6350064277649,28293.974551200867,inf,inf,40145.10081958771,23153.38919401169,2716.290271043777,1337.9253540039062 +Single Worker DiLoCo (JAX),725.3010702133179,334.13906598091125,23170.751378536224,33990.85886669159,69462.02342700958,inf,inf,2731.772287845612,4566.361578464508 +Single Worker DiLoCo v2 (JAX),367.4553608894348,358.09745836257935,25742.234058380127,45974.51286125183,inf,inf,inf,4541.807559251785,6502.31082034111 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_11pct.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_11pct.csv new file mode 100644 index 00000000..4a14fa92 --- /dev/null +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_11pct.csv @@ -0,0 +1,15 @@ +submission,criteo1tb,fastmri,finewebedu_lm,imagenet_resnet,imagenet_vit,librispeech_conformer,librispeech_deepspeech,ogbg,wmt +AdEMAMix (PyTorch),360.9079949855805,326.4079144001007,15457.322835206984,inf,inf,43658.91495251656,24636.13781666756,3171.8695437908173,3913.587485551834 +Cautious NAdamW (JAX),366.27075147628784,283.9921712875366,20596.95786190033,30004.25766515732,54041.22191572189,inf,inf,2283.153999567032,2639.9161829948425 +Lion (PyTorch),361.4228310585022,300.31669664382935,18035.00035214424,inf,inf,inf,24626.56887698173,4066.246910810471,2630.479721069336 +Muon (JAX),367.3413143157959,326.65109968185425,12880.584438800812,26019.81590628624,43764.84170651436,inf,inf,924.1200001239775,5859.486621856689 +Muon (PyTorch),392.43705701828,312.07030296325684,10336.016378164291,inf,inf,45397.92845630646,inf,1382.2988984584808,2015.6150116920471 +NAdamW (JAX),364.45390701293945,258.60642552375793,23162.559694767,31989.620451927185,46322.53403759003,inf,inf,2280.0444753170013,6496.326718568802 +NAdamW (Baseline AlgoPerf v0.5) (JAX),367.5072982311249,292.1376211643219,15447.401123523712,28000.71396493912,48901.21438694,inf,inf,2278.5856997966766,2635.5035140514374 +NAdamW (Tuned for ResNet) (JAX),366.3240540027618,269.370676279068,18020.98589158058,29996.69506454468,74594.47512865067,inf,inf,3636.301753282547,6495.468696594238 +Schedule-Free AdamW (PyTorch),364.76555728912354,319.09749150276184,inf,inf,inf,47112.69826483727,23138.350909233093,2271.1033079624176,1979.4675829410555 +Schedule-Free AdamW (JAX),368.587194442749,382.8766484260559,7733.283766508102,inf,23195.29740691185,inf,inf,2282.664251804352,1991.132454156876 +Schedule-Free AdamW v2 (JAX),365.3596320152282,307.3230459690094,10304.696884393692,6041.208413362503,23196.1972835064,inf,inf,2282.922813653946,1989.267727136612 +Schedule-Free AdamW v2 (PyTorch),362.3438584804535,255.6350064277649,25728.584080696102,inf,inf,38401.83455562592,21708.947831869125,2716.290271043777,1337.9253540039062 +Single Worker DiLoCo (JAX),725.3010702133179,334.13906598091125,23170.751378536224,31994.68541121483,66891.84046077728,inf,inf,2731.772287845612,3281.007829427719 +Single Worker DiLoCo v2 (JAX),367.4553608894348,358.09745836257935,23170.14706325531,35993.03426885605,inf,inf,inf,4541.807559251785,5213.589239597321 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_12pct.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_12pct.csv new file mode 100644 index 00000000..cfe66fc8 --- /dev/null +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_12pct.csv @@ -0,0 +1,15 @@ +submission,criteo1tb,fastmri,finewebedu_lm,imagenet_resnet,imagenet_vit,librispeech_conformer,librispeech_deepspeech,ogbg,wmt +AdEMAMix (PyTorch),360.9079949855805,326.4079144001007,15457.322835206984,inf,inf,41913.79961395264,24617.78159236908,2723.497850179672,3284.1917521953583 +Cautious NAdamW (JAX),366.27075147628784,283.9921712875366,20596.95786190033,26012.923664093018,51472.95015621185,inf,inf,2282.559859275818,1995.941637992859 +Lion (PyTorch),361.4228310585022,300.31669664382935,18035.00035214424,inf,inf,inf,24609.060659885406,3625.192697763443,2630.479721069336 +Muon (JAX),367.3413143157959,326.65109968185425,12880.584438800812,22027.78568172455,41193.85737276077,inf,inf,924.1200001239775,4569.058828830719 +Muon (PyTorch),392.43705701828,312.07030296325684,10336.016378164291,inf,inf,43652.8343565464,28934.32774949073,1382.2988984584808,2015.6150116920471 +NAdamW (JAX),364.45390701293945,258.60642552375793,20593.26862835884,29993.64087820053,43754.44093418121,inf,inf,2280.0444753170013,5207.200619697571 +NAdamW (Baseline AlgoPerf v0.5) (JAX),367.5072982311249,292.1376211643219,15447.369599819183,26005.92664813996,48899.961000204086,inf,inf,1827.4183478355408,2635.5035140514374 +NAdamW (Tuned for ResNet) (JAX),366.3240540027618,269.370676279068,18020.98589158058,28000.618613243103,69453.8258318901,inf,inf,3185.389578104019,4563.616898536682 +Schedule-Free AdamW (PyTorch),364.76555728912354,319.09749150276184,inf,inf,inf,45367.673850774765,21693.94476556778,2271.1033079624176,1337.4144818782806 +Schedule-Free AdamW (JAX),368.587194442749,382.8766484260559,7733.283766508102,inf,23195.29740691185,inf,inf,2282.664251804352,1991.132454156876 +Schedule-Free AdamW v2 (JAX),365.3596320152282,307.3230459690094,7738.909580230713,6041.208413362503,23190.229952573776,inf,inf,2281.6761133670807,1989.267727136612 +Schedule-Free AdamW v2 (PyTorch),362.3438584804535,255.6350064277649,25725.401896953583,inf,inf,38401.83455562592,21708.947831869125,2716.290271043777,1337.9253540039062 +Single Worker DiLoCo (JAX),725.3010702133179,334.13906598091125,23170.751378536224,31984.57522726059,66891.84046077728,inf,inf,2281.920562505722,3281.007829427719 +Single Worker DiLoCo v2 (JAX),367.4553608894348,358.09745836257935,23170.14706325531,35993.03426885605,79733.21840977669,inf,inf,4538.6012127399445,3925.9537382125854 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_13pct.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_13pct.csv new file mode 100644 index 00000000..e1588924 --- /dev/null +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_13pct.csv @@ -0,0 +1,15 @@ +submission,criteo1tb,fastmri,finewebedu_lm,imagenet_resnet,imagenet_vit,librispeech_conformer,librispeech_deepspeech,ogbg,wmt +AdEMAMix (PyTorch),360.9079949855805,326.4079144001007,12888.66524362564,inf,inf,41913.79961395264,24617.78159236908,2723.497850179672,2629.1733162403107 +Cautious NAdamW (JAX),366.27075147628784,283.9921712875366,20596.95786190033,24016.828218460083,48900.70434856415,inf,inf,2282.559859275818,1995.941637992859 +Lion (PyTorch),361.4228310585022,300.31669664382935,18035.00035214424,inf,inf,inf,23191.02020430565,3625.192697763443,1988.2335124015808 +Muon (JAX),367.3413143157959,326.65109968185425,12880.584438800812,18036.51977968216,38624.79778957367,inf,inf,924.1200001239775,4568.167285680771 +Muon (PyTorch),392.43705701828,312.07030296325684,10336.016378164291,inf,inf,43652.8343565464,28934.32774949073,1382.2988984584808,1373.5365619659424 +NAdamW (JAX),364.45390701293945,258.60642552375793,20591.495814323425,28006.16886329651,41186.81677174568,inf,inf,2280.0444753170013,4564.282576084137 +NAdamW (Baseline AlgoPerf v0.5) (JAX),367.5072982311249,292.1376211643219,12879.35993862152,26005.92664813996,46330.224033117294,inf,inf,1827.4183478355408,1991.903594255448 +NAdamW (Tuned for ResNet) (JAX),366.3240540027618,269.370676279068,18020.98589158058,26004.743294000626,69453.8258318901,inf,inf,3184.334586381912,3924.379744529724 +Schedule-Free AdamW (PyTorch),364.76555728912354,319.09749150276184,inf,inf,inf,41880.15250754357,21693.94476556778,1835.857743024826,1337.4144818782806 +Schedule-Free AdamW (JAX),368.587194442749,382.8766484260559,7733.283766508102,inf,20624.349823713303,inf,55139.79888033867,2282.664251804352,1347.1221344470978 +Schedule-Free AdamW v2 (JAX),365.3596320152282,307.3230459690094,7738.909580230713,6041.208413362503,20624.90352892876,inf,inf,2281.6761133670807,1345.2206625938416 +Schedule-Free AdamW v2 (PyTorch),362.3438584804535,255.6350064277649,25725.401896953583,73961.89125466347,inf,36657.282760858536,20264.60364079476,2716.290271043777,1337.9253540039062 +Single Worker DiLoCo (JAX),725.3010702133179,334.13906598091125,23170.751378536224,31984.57522726059,61751.39870190621,inf,inf,2281.920562505722,1992.292850732804 +Single Worker DiLoCo v2 (JAX),367.4553608894348,358.09745836257935,23170.14706325531,25999.418875694275,77162.83694291115,inf,inf,4086.959207296372,3924.7618927955614 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_14pct.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_14pct.csv new file mode 100644 index 00000000..e263d471 --- /dev/null +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_14pct.csv @@ -0,0 +1,15 @@ +submission,criteo1tb,fastmri,finewebedu_lm,imagenet_resnet,imagenet_vit,librispeech_conformer,librispeech_deepspeech,ogbg,wmt +AdEMAMix (PyTorch),360.9079949855805,326.4079144001007,12888.66524362564,inf,inf,41913.79961395264,24617.78159236908,2723.497850179672,1986.9908213615413 +Cautious NAdamW (JAX),366.27075147628784,283.9921712875366,20596.95786190033,20025.016850471497,46335.11635041237,inf,inf,2282.559859275818,1995.941637992859 +Lion (PyTorch),361.4228310585022,300.31669664382935,18035.00035214424,inf,inf,inf,23191.02020430565,3625.192697763443,1988.2335124015808 +Muon (JAX),367.3413143157959,326.65109968185425,12880.584438800812,16039.856321811676,36053.81885433197,inf,inf,924.1200001239775,3283.366508960724 +Muon (PyTorch),392.43705701828,312.07030296325684,10335.853271007538,inf,inf,43652.8343565464,27516.69996881485,1379.332411289215,1373.5365619659424 +NAdamW (JAX),364.45390701293945,258.60642552375793,20591.495814323425,26010.214369297028,38617.99101042748,inf,inf,2280.0444753170013,3920.866428375244 +NAdamW (Baseline AlgoPerf v0.5) (JAX),367.5072982311249,292.1376211643219,12879.35993862152,22010.503659963608,43759.1655421257,inf,inf,1827.4183478355408,1347.6121354103088 +NAdamW (Tuned for ResNet) (JAX),366.3240540027618,269.370676279068,18020.98589158058,24008.740559101105,66885.15141749382,inf,inf,3184.334586381912,2636.43443441391 +Schedule-Free AdamW (PyTorch),364.76555728912354,319.09749150276184,inf,inf,inf,38390.65752458573,20250.36719083786,1835.857743024826,1337.4144818782806 +Schedule-Free AdamW (JAX),368.587194442749,382.8766484260559,7733.05108499527,inf,20624.349823713303,inf,53683.54289865494,2282.664251804352,1347.1221344470978 +Schedule-Free AdamW v2 (JAX),365.3596320152282,307.3230459690094,7738.909580230713,4045.282567501068,20624.90352892876,inf,inf,2281.6761133670807,1345.2206625938416 +Schedule-Free AdamW v2 (PyTorch),362.3438584804535,255.6350064277649,25725.401896953583,48042.95421028137,inf,36657.282760858536,18819.814143896103,2716.290271043777,1337.9253540039062 +Single Worker DiLoCo (JAX),725.3010702133179,334.13906598091125,23170.751378536224,29988.30949139595,59183.160745859146,inf,inf,2279.780133962631,1989.8410077095032 +Single Worker DiLoCo v2 (JAX),367.4553608894348,358.09745836257935,23170.14706325531,25999.418875694275,74592.16693401337,inf,inf,3637.722634553909,3280.4179005622864 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_15pct.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_15pct.csv new file mode 100644 index 00000000..7977563f --- /dev/null +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_15pct.csv @@ -0,0 +1,15 @@ +submission,criteo1tb,fastmri,finewebedu_lm,imagenet_resnet,imagenet_vit,librispeech_conformer,librispeech_deepspeech,ogbg,wmt +AdEMAMix (PyTorch),360.9079949855805,326.4079144001007,12888.66524362564,inf,inf,41913.79961395264,23171.81398487091,2720.843776226044,1986.9908213615413 +Cautious NAdamW (JAX),366.27075147628784,283.9921712875366,20596.95786190033,18027.98590278625,46335.11635041237,inf,inf,2282.559859275818,1995.941637992859 +Lion (PyTorch),361.4228310585022,300.31669664382935,15470.837062835692,inf,inf,inf,23161.96718645096,3174.0471365451813,1988.2335124015808 +Muon (JAX),367.3413143157959,326.65109968185425,12880.584438800812,14043.732003211975,33482.81542515755,inf,inf,924.1200001239775,3280.1217908859253 +Muon (PyTorch),392.43705701828,312.07030296325684,7768.531230926514,inf,inf,41909.51981949806,27489.25124168396,1379.332411289215,1373.5365619659424 +NAdamW (JAX),364.45390701293945,258.60642552375793,20591.495814323425,24005.868943452835,36047.024696826935,inf,inf,1828.09228849411,3919.267996788025 +NAdamW (Baseline AlgoPerf v0.5) (JAX),367.5072982311249,292.1376211643219,12879.35993862152,22010.503659963608,43759.1655421257,inf,inf,1827.4183478355408,1347.6121354103088 +NAdamW (Tuned for ResNet) (JAX),366.3240540027618,269.370676279068,18019.66106724739,20024.234433174133,64315.05606484413,inf,inf,3184.334586381912,2631.7060770988464 +Schedule-Free AdamW (PyTorch),364.76555728912354,319.09749150276184,inf,inf,84876.44285774231,38390.65752458573,20250.36719083786,1835.857743024826,1337.4144818782806 +Schedule-Free AdamW (JAX),368.587194442749,382.8766484260559,7733.05108499527,inf,18053.36387681961,inf,50797.676842451096,2282.664251804352,1347.1221344470978 +Schedule-Free AdamW v2 (JAX),365.3596320152282,307.3230459690094,7738.909580230713,4045.282567501068,18053.69940185547,inf,inf,2279.5567665100098,1345.2206625938416 +Schedule-Free AdamW v2 (PyTorch),362.3438584804535,255.6350064277649,20590.799481630325,38021.134011268616,inf,34913.0673058033,18819.814143896103,2265.093102455139,1337.9253540039062 +Single Worker DiLoCo (JAX),725.3010702133179,334.13906598091125,23170.751378536224,29988.30949139595,56614.21372938156,inf,inf,2279.780133962631,1989.8410077095032 +Single Worker DiLoCo v2 (JAX),367.4553608894348,358.09745836257935,23170.14706325531,25999.418875694275,72022.05905723572,inf,inf,3634.898852348328,2637.251784324646 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_16pct.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_16pct.csv new file mode 100644 index 00000000..0881c78b --- /dev/null +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_16pct.csv @@ -0,0 +1,15 @@ +submission,criteo1tb,fastmri,finewebedu_lm,imagenet_resnet,imagenet_vit,librispeech_conformer,librispeech_deepspeech,ogbg,wmt +AdEMAMix (PyTorch),360.9079949855805,326.4079144001007,12888.66524362564,inf,inf,40168.41002392769,23171.81398487091,2720.843776226044,1986.9908213615413 +Cautious NAdamW (JAX),366.27075147628784,283.9921712875366,20596.95786190033,16033.174123048782,43764.55931854248,inf,inf,2282.559859275818,1351.936791419983 +Lion (PyTorch),361.4228310585022,300.31669664382935,15466.451179265976,inf,inf,inf,23161.96718645096,3174.0471365451813,1977.860465765 +Muon (JAX),367.3413143157959,326.65109968185425,10309.576101779938,12047.624875545502,33480.60615682602,inf,inf,924.1200001239775,2636.9550335407257 +Muon (PyTorch),392.43705701828,312.07030296325684,7768.531230926514,inf,inf,40165.25501203537,27489.25124168396,946.1346333026886,1373.5365619659424 +NAdamW (JAX),364.45390701293945,258.60642552375793,20591.495814323425,24005.868943452835,33475.899322509766,inf,inf,1828.09228849411,3275.371021270752 +NAdamW (Baseline AlgoPerf v0.5) (JAX),367.5072982311249,292.1376211643219,12876.398039102554,18022.107523679733,41188.24620914459,inf,inf,1827.4183478355408,1347.6121354103088 +NAdamW (Tuned for ResNet) (JAX),366.3240540027618,269.370676279068,15449.837990522385,18028.343319892883,64315.05606484413,inf,inf,2732.2962193489075,1992.4730517864227 +Schedule-Free AdamW (PyTorch),364.76555728912354,319.09749150276184,inf,inf,66860.67862653732,36647.36221432686,18806.66574072838,1835.857743024826,1337.4144818782806 +Schedule-Free AdamW (JAX),368.587194442749,382.8766484260559,5162.400691509247,inf,18053.36387681961,inf,49337.30086874962,1830.682374238968,1347.1221344470978 +Schedule-Free AdamW v2 (JAX),365.3596320152282,307.3230459690094,7738.909580230713,4045.282567501068,18053.69940185547,inf,inf,1830.8140347003937,1345.2206625938416 +Schedule-Free AdamW v2 (PyTorch),362.3438584804535,255.6350064277649,20590.799481630325,30040.683351755142,inf,33168.45597934723,17375.062505483627,2265.093102455139,1337.9253540039062 +Single Worker DiLoCo (JAX),725.3010702133179,334.13906598091125,20598.386327266693,29988.30949139595,56614.21372938156,inf,inf,1829.8708913326263,1989.8410077095032 +Single Worker DiLoCo v2 (JAX),367.4553608894348,358.09745836257935,23170.14706325531,20023.342441082,69453.37592864037,inf,inf,3634.898852348328,2636.070397377014 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_17pct.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_17pct.csv new file mode 100644 index 00000000..28ab4099 --- /dev/null +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_17pct.csv @@ -0,0 +1,15 @@ +submission,criteo1tb,fastmri,finewebedu_lm,imagenet_resnet,imagenet_vit,librispeech_conformer,librispeech_deepspeech,ogbg,wmt +AdEMAMix (PyTorch),360.9079949855805,326.4079144001007,12888.66524362564,inf,inf,40168.41002392769,23171.81398487091,2282.886972427368,1357.9658625125885 +Cautious NAdamW (JAX),366.27075147628784,283.9921712875366,18025.62758755684,14037.37018609047,41195.954587221146,inf,inf,1831.0354115962984,1351.936791419983 +Lion (PyTorch),361.4228310585022,300.31669664382935,15466.451179265976,inf,inf,inf,21745.294525384903,3174.0471365451813,1346.0777959823608 +Muon (JAX),367.3413143157959,326.65109968185425,10309.576101779938,10051.523337125778,30911.94013428688,inf,inf,924.1200001239775,1995.248745918274 +Muon (PyTorch),392.43705701828,312.07030296325684,7768.531230926514,inf,inf,40165.25501203537,26045.082265377045,931.2312638759612,1373.5365619659424 +NAdamW (JAX),364.45390701293945,258.60642552375793,20591.495814323425,20009.806787729263,30904.97888159752,inf,inf,1828.09228849411,3275.371021270752 +NAdamW (Baseline AlgoPerf v0.5) (JAX),367.5072982311249,292.1376211643219,12876.15150499344,16026.05445599556,36047.438972473145,inf,inf,1827.4183478355408,1347.6121354103088 +NAdamW (Tuned for ResNet) (JAX),366.3240540027618,269.370676279068,15449.837990522385,14036.484773159027,61746.40814256668,inf,inf,2732.2962193489075,1988.5345993041992 +Schedule-Free AdamW (PyTorch),364.76555728912354,319.09749150276184,inf,inf,66860.67862653732,34903.03261232376,17363.167905330658,1820.0903890132904,1337.4144818782806 +Schedule-Free AdamW (JAX),368.587194442749,382.8766484260559,5162.400691509247,inf,18053.36387681961,inf,46453.551332235336,1830.5635395050049,1347.1221344470978 +Schedule-Free AdamW v2 (JAX),365.3596320152282,307.3230459690094,7738.909580230713,4045.282567501068,18051.52136707306,inf,inf,1830.8140347003937,1345.2206625938416 +Schedule-Free AdamW v2 (PyTorch),362.3438584804535,255.6350064277649,18019.889969348907,26113.26755142212,84840.85371398926,33168.45597934723,17375.062505483627,2265.093102455139,1337.9253540039062 +Single Worker DiLoCo (JAX),725.3010702133179,334.13906598091125,20598.386327266693,20017.44223642349,54045.15802001953,inf,inf,1829.797571182251,1348.012239933014 +Single Worker DiLoCo v2 (JAX),367.4553608894348,358.09745836257935,23170.14706325531,16030.840265512466,66882.88473367691,inf,inf,3634.898852348328,2636.070397377014 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_18pct.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_18pct.csv new file mode 100644 index 00000000..2d4967c2 --- /dev/null +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_18pct.csv @@ -0,0 +1,15 @@ +submission,criteo1tb,fastmri,finewebedu_lm,imagenet_resnet,imagenet_vit,librispeech_conformer,librispeech_deepspeech,ogbg,wmt +AdEMAMix (PyTorch),360.9079949855805,326.4079144001007,12888.66524362564,inf,inf,40168.41002392769,23171.81398487091,1831.8522815704343,1344.7416751384735 +Cautious NAdamW (JAX),366.27075147628784,283.9921712875366,18025.62758755684,12041.002434968948,38624.48606801033,inf,inf,1830.439449071884,1351.936791419983 +Lion (PyTorch),361.4228310585022,300.31669664382935,15466.451179265976,inf,inf,inf,21736.73503923416,3174.0471365451813,1346.0777959823608 +Muon (JAX),367.3413143157959,326.65109968185425,10309.576101779938,8055.504743814468,28340.700644254684,inf,inf,923.1322183609008,1993.004472732544 +Muon (PyTorch),392.43705701828,312.07030296325684,7768.531230926514,49956.20253562927,inf,40165.25501203537,26045.082265377045,931.2312638759612,1373.5365619659424 +NAdamW (JAX),364.45390701293945,258.60642552375793,20591.495814323425,20009.806787729263,30903.08280968666,inf,inf,1828.09228849411,3275.371021270752 +NAdamW (Baseline AlgoPerf v0.5) (JAX),367.5072982311249,292.1376211643219,12876.15150499344,14026.537544250488,36047.438972473145,inf,inf,1827.4183478355408,1347.6121354103088 +NAdamW (Tuned for ResNet) (JAX),366.3240540027618,269.370676279068,15449.837990522385,12040.370223760605,59177.81989598274,inf,inf,2732.2962193489075,1348.465673685074 +Schedule-Free AdamW (PyTorch),364.76555728912354,319.09749150276184,inf,inf,54054.83913040161,34903.03261232376,17363.167905330658,1820.0903890132904,1337.4144818782806 +Schedule-Free AdamW (JAX),368.587194442749,382.8766484260559,5162.400691509247,inf,15482.284232378006,inf,44996.80340027809,1830.5635395050049,1347.1221344470978 +Schedule-Free AdamW v2 (JAX),365.3596320152282,307.3230459690094,7738.909580230713,4045.282567501068,15482.528831005096,inf,inf,1830.8140347003937,1345.2206625938416 +Schedule-Free AdamW v2 (PyTorch),362.3438584804535,255.6350064277649,18019.889969348907,24062.551146507263,69442.15977168083,31423.90184879303,15930.63134908676,2265.093102455139,1337.9253540039062 +Single Worker DiLoCo (JAX),725.3010702133179,334.13906598091125,20598.386327266693,20017.44223642349,51476.37810730934,inf,inf,1829.797571182251,1345.5658564567566 +Single Worker DiLoCo v2 (JAX),367.4553608894348,358.09745836257935,20598.12127017975,16030.840265512466,64312.2251739502,inf,inf,3185.5750620365143,1992.8568646907809 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_19pct.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_19pct.csv new file mode 100644 index 00000000..303baad4 --- /dev/null +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_19pct.csv @@ -0,0 +1,15 @@ +submission,criteo1tb,fastmri,finewebedu_lm,imagenet_resnet,imagenet_vit,librispeech_conformer,librispeech_deepspeech,ogbg,wmt +AdEMAMix (PyTorch),360.9079949855805,326.4079144001007,10320.136803627014,inf,inf,40168.41002392769,23171.81398487091,1831.8522815704343,1344.7416751384735 +Cautious NAdamW (JAX),366.27075147628784,283.9921712875366,18025.62758755684,10044.896064281464,36053.56412434578,inf,inf,1830.439449071884,1351.936791419983 +Lion (PyTorch),361.4228310585022,300.31669664382935,15466.451179265976,inf,92620.83189415932,inf,21736.73503923416,2722.952040195465,1346.0777959823608 +Muon (JAX),367.3413143157959,326.65109968185425,10309.576101779938,6059.445655584335,28340.700644254684,inf,inf,474.36376953125,1993.004472732544 +Muon (PyTorch),392.43705701828,312.07030296325684,7768.531230926514,28103.74647927284,inf,36675.20055985451,24627.888468027115,931.2312638759612,1373.5365619659424 +NAdamW (JAX),364.45390701293945,258.60642552375793,20591.495814323425,14034.63393163681,25762.89148926735,inf,inf,1828.09228849411,1988.6505835056305 +NAdamW (Baseline AlgoPerf v0.5) (JAX),367.5072982311249,292.1376211643219,10308.267341852188,12030.560815811155,36045.9832136631,inf,inf,1375.3242769241333,1347.6121354103088 +NAdamW (Tuned for ResNet) (JAX),366.3240540027618,269.370676279068,15449.837990522385,10036.750513792038,59177.81989598274,inf,inf,2280.1949741840363,1344.564608335495 +Schedule-Free AdamW (PyTorch),364.76555728912354,319.09749150276184,inf,inf,48923.90048289299,33158.87598538399,15919.369007825851,1820.0903890132904,1337.4144818782806 +Schedule-Free AdamW (JAX),368.587194442749,382.8766484260559,5162.400691509247,inf,15482.284232378006,inf,42102.31699967384,1830.5635395050049,1347.1221344470978 +Schedule-Free AdamW v2 (JAX),365.3596320152282,307.3230459690094,7738.187179327011,4045.282567501068,15482.528831005096,inf,inf,1829.5636475086208,1345.2206625938416 +Schedule-Free AdamW v2 (PyTorch),362.3438584804535,255.6350064277649,18019.889969348907,20118.47114038468,65589.65318608284,29679.2389626503,15930.63134908676,2265.093102455139,695.9262759685516 +Single Worker DiLoCo (JAX),725.3010702133179,334.13906598091125,20598.386327266693,18011.292100429535,48906.19797182083,inf,inf,1829.797571182251,1345.5658564567566 +Single Worker DiLoCo v2 (JAX),367.4553608894348,358.09745836257935,20598.12127017975,16030.840265512466,61742.53918337822,inf,inf,3185.5750620365143,1991.6996412277224 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_20pct.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_20pct.csv new file mode 100644 index 00000000..18832ab8 --- /dev/null +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/relaxation_sweep/time_to_targets_20pct.csv @@ -0,0 +1,15 @@ +submission,criteo1tb,fastmri,finewebedu_lm,imagenet_resnet,imagenet_vit,librispeech_conformer,librispeech_deepspeech,ogbg,wmt +AdEMAMix (PyTorch),360.9079949855805,326.4079144001007,10320.136803627014,inf,inf,40168.41002392769,21726.365890026093,1831.8522815704343,1344.7416751384735 +Cautious NAdamW (JAX),366.27075147628784,283.9921712875366,18025.62758755684,8048.80659031868,33483.50565671921,inf,inf,1830.439449071884,1351.936791419983 +Lion (PyTorch),361.4228310585022,300.31669664382935,15466.451179265976,inf,87448.87829089165,inf,20299.85348320008,2722.952040195465,1346.0777959823608 +Muon (JAX),367.3413143157959,326.65109968185425,10309.576101779938,6059.445655584335,25769.7748336792,inf,inf,472.0722301006317,1993.004472732544 +Muon (PyTorch),392.43705701828,312.07030296325684,7768.531230926514,20146.280146837234,inf,36675.20055985451,24601.299715280533,931.2312638759612,1373.5365619659424 +NAdamW (JAX),364.45390701293945,258.60642552375793,18020.200389385223,14021.988013505936,25761.087451457977,inf,inf,1828.09228849411,1988.6505835056305 +NAdamW (Baseline AlgoPerf v0.5) (JAX),367.5072982311249,292.1376211643219,10308.267341852188,10037.083438634872,33474.88803553581,inf,inf,1375.3242769241333,1347.6121354103088 +NAdamW (Tuned for ResNet) (JAX),366.3240540027618,269.370676279068,15449.837990522385,8048.570125341415,54040.61817121506,inf,inf,2280.1949741840363,1344.564608335495 +Schedule-Free AdamW (PyTorch),364.76555728912354,319.09749150276184,inf,inf,43761.04453611374,33158.87598538399,15919.369007825851,1820.0903890132904,1337.4144818782806 +Schedule-Free AdamW (JAX),368.587194442749,382.8766484260559,5162.400691509247,inf,15482.284232378006,inf,40644.25076937676,1830.5635395050049,1347.1221344470978 +Schedule-Free AdamW v2 (JAX),365.3596320152282,307.3230459690094,7738.187179327011,4045.282567501068,15482.528831005096,inf,inf,1829.5636475086208,1345.2206625938416 +Schedule-Free AdamW v2 (PyTorch),362.3438584804535,255.6350064277649,15451.365812063215,16117.132305383682,52746.081909418106,29679.2389626503,15917.756404399872,1813.9982311725616,695.9262759685516 +Single Worker DiLoCo (JAX),725.3010702133179,334.13906598091125,20598.386327266693,18011.292100429535,48906.19797182083,inf,inf,1829.797571182251,1345.5658564567566 +Single Worker DiLoCo v2 (JAX),367.4553608894348,358.09745836257935,20598.12127017975,16018.221548080444,59173.72057580948,inf,inf,3185.5750620365143,1991.6996412277224 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/scores_relaxed.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/scores_relaxed.csv index 6586f686..df9c70b5 100644 --- a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/scores_relaxed.csv +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/scores_relaxed.csv @@ -1,15 +1,15 @@ submission,score AdEMAMix (PyTorch),0.5213243546576883 -Cautious NAdamW (JAX),0.5089786756453424 +Cautious NAdamW (JAX),0.40123456790123474 Lion (PyTorch),0.4438832772166114 -Muon (JAX),0.5521885521885517 +Muon (JAX),0.4506172839506177 Muon (PyTorch),0.5993265993265987 -NAdamW (JAX),0.4814814814814808 -NAdamW (Baseline AlgoPerf v0.5) (JAX),0.6010101010101013 -NAdamW (Tuned for ResNet) (JAX),0.4343434343434347 +NAdamW (JAX),0.37542087542087604 +NAdamW (Baseline AlgoPerf v0.5) (JAX),0.493265993265993 +NAdamW (Tuned for ResNet) (JAX),0.3265993265993262 Schedule-Free AdamW (PyTorch),0.5785634118967448 Schedule-Free AdamW (JAX),0.5561167227833891 -Schedule-Free AdamW v2 (JAX),0.5740740740740736 +Schedule-Free AdamW v2 (JAX),0.6851851851851855 Schedule-Free AdamW v2 (PyTorch),0.607182940516274 -Single Worker DiLoCo (JAX),0.42592592592592626 -Single Worker DiLoCo v2 (JAX),0.3232323232323228 +Single Worker DiLoCo (JAX),0.31986531986532013 +Single Worker DiLoCo v2 (JAX),0.23176206509539798 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/scores_standard_vs_relaxed.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/scores_standard_vs_relaxed.csv index 6c1c7000..f4e39ecc 100644 --- a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/scores_standard_vs_relaxed.csv +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/scores_standard_vs_relaxed.csv @@ -1,15 +1,15 @@ submission,standard_score,relaxed_score,standard_rank,relaxed_rank,rank_shift -Schedule-Free AdamW v2 (PyTorch),0.5679012345679016,0.607182940516274,1,1,0 -NAdamW (Baseline AlgoPerf v0.5) (JAX),0.4506172839506181,0.6010101010101013,4,2,2 +Schedule-Free AdamW v2 (JAX),0.4405162738496074,0.6851851851851855,5,1,4 +Schedule-Free AdamW v2 (PyTorch),0.5679012345679016,0.607182940516274,1,2,-1 Muon (PyTorch),0.4231200897867556,0.5993265993265987,6,3,3 Schedule-Free AdamW (PyTorch),0.466891133557801,0.5785634118967448,3,4,-1 -Schedule-Free AdamW v2 (JAX),0.4405162738496074,0.5740740740740736,5,5,0 -Schedule-Free AdamW (JAX),0.4107744107744111,0.5561167227833891,7,6,1 -Muon (JAX),0.2845117845117842,0.5521885521885517,10,7,3 -AdEMAMix (PyTorch),0.5190796857463527,0.5213243546576883,2,8,-6 -Cautious NAdamW (JAX),0.31425364758698043,0.5089786756453424,9,9,0 -NAdamW (JAX),0.384399551066217,0.4814814814814808,8,10,-2 -Lion (PyTorch),0.27833894500561146,0.4438832772166114,11,11,0 -NAdamW (Tuned for ResNet) (JAX),0.18574635241301896,0.4343434343434347,12,12,0 -Single Worker DiLoCo (JAX),0.1369248035914701,0.42592592592592626,13,13,0 -Single Worker DiLoCo v2 (JAX),0.1301907968574634,0.3232323232323228,14,14,0 +Schedule-Free AdamW (JAX),0.4107744107744111,0.5561167227833891,7,5,2 +AdEMAMix (PyTorch),0.5190796857463527,0.5213243546576883,2,6,-4 +NAdamW (Baseline AlgoPerf v0.5) (JAX),0.4506172839506181,0.493265993265993,4,7,-3 +Muon (JAX),0.2845117845117842,0.4506172839506177,10,8,2 +Lion (PyTorch),0.27833894500561146,0.4438832772166114,11,9,2 +Cautious NAdamW (JAX),0.31425364758698043,0.40123456790123474,9,10,-1 +NAdamW (JAX),0.384399551066217,0.37542087542087604,8,11,-3 +NAdamW (Tuned for ResNet) (JAX),0.18574635241301896,0.3265993265993262,12,12,0 +Single Worker DiLoCo (JAX),0.1369248035914701,0.31986531986532013,13,13,0 +Single Worker DiLoCo v2 (JAX),0.1301907968574634,0.23176206509539798,14,14,0 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/ademamix_summary.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/ademamix_summary.csv index 52bb446e..1c327422 100644 --- a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/ademamix_summary.csv +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/ademamix_summary.csv @@ -2,26 +2,26 @@ 7,criteo1tb_pytorch,trial_1,validation/loss,0.123735,True,0.1236847321358005,7839.193164110184,7839.193164110184,1.0010825763927422,10666 16,criteo1tb_pytorch,trial_1,validation/loss,0.123735,False,0.1242111736866617,13214.635874271393,inf,1.0010825763927422,10666 24,criteo1tb_pytorch,trial_1,validation/loss,0.123735,True,0.1236501955610997,7835.540827274322,7479.550709962845,1.0010825763927422,10666 -1,fastmri_pytorch,trial_1,validation/ssim,0.723653,True,0.7248104441078714,1311.1073644161224,1311.1073644161224,0.9420394021221715,18094 -10,fastmri_pytorch,trial_1,validation/ssim,0.723653,True,0.7249505124067952,1517.7321906089785,1517.7321906089785,0.9420394021221715,18094 -19,fastmri_pytorch,trial_1,validation/ssim,0.723653,True,0.724893770663337,1555.3687834739685,1555.3687834739685,0.9420394021221715,18094 -8,finewebedu_lm_pytorch,trial_1,validation/ppl,22.2995,True,22.14082852319187,18025.636202573776,18025.636202573776,0.40403201664468946,72000 -17,finewebedu_lm_pytorch,trial_1,validation/ppl,22.2995,True,22.23496029572029,18027.61917901039,18027.61917901039,0.40403201664468946,72000 -25,finewebedu_lm_pytorch,trial_1,validation/ppl,22.2995,True,22.247438140097906,18025.89689064026,18025.89689064026,0.40403201664468946,72000 -0,imagenet_resnet_pytorch,trial_1,validation/accuracy,0.77431,False,0.60218,59997.68517279625,inf,0.6740027356507963,195999 -9,imagenet_resnet_pytorch,trial_1,validation/accuracy,0.77431,False,0.61658,73926.78414797783,inf,0.6740027356507963,195999 -18,imagenet_resnet_pytorch,trial_1,validation/accuracy,0.77431,False,0.61518,73948.011013031,inf,0.6740027356507963,195999 -2,imagenet_vit_pytorch,trial_1,validation/accuracy,0.77309,False,0.61544,95268.04540586472,inf,0.802424341129202,167999 -11,imagenet_vit_pytorch,trial_1,validation/accuracy,0.77309,False,0.61512,92620.5374662876,inf,0.802424341129202,167999 -3,librispeech_conformer_pytorch,trial_1,validation/wer,0.085884,True,0.0848356104861681,54136.87689781189,54136.87689781189,0.7305170534584913,76000 -12,librispeech_conformer_pytorch,trial_1,validation/wer,0.085884,True,0.0838990006276251,48894.85426735878,48894.85426735878,0.7305170534584913,76000 +5,fastmri_pytorch,trial_1,validation/ssim,0.723653,True,0.7248104441078714,1311.1073644161224,1311.1073644161224,0.9420394021221715,18094 +14,fastmri_pytorch,trial_1,validation/ssim,0.723653,True,0.7249505124067952,1517.7321906089785,1517.7321906089785,0.9420394021221715,18094 +22,fastmri_pytorch,trial_1,validation/ssim,0.723653,True,0.724893770663337,1555.3687834739685,1555.3687834739685,0.9420394021221715,18094 +1,finewebedu_lm_pytorch,trial_1,validation/ppl,22.2995,True,22.14082852319187,18025.636202573776,18025.636202573776,0.40403201664468946,72000 +10,finewebedu_lm_pytorch,trial_1,validation/ppl,22.2995,True,22.23496029572029,18027.61917901039,18027.61917901039,0.40403201664468946,72000 +19,finewebedu_lm_pytorch,trial_1,validation/ppl,22.2995,True,22.247438140097906,18025.89689064026,18025.89689064026,0.40403201664468946,72000 +6,imagenet_resnet_pytorch,trial_1,validation/accuracy,0.77431,False,0.60218,59997.68517279625,inf,0.6740027356507963,195999 +15,imagenet_resnet_pytorch,trial_1,validation/accuracy,0.77431,False,0.61658,73926.78414797783,inf,0.6740027356507963,195999 +23,imagenet_resnet_pytorch,trial_1,validation/accuracy,0.77431,False,0.61518,73948.011013031,inf,0.6740027356507963,195999 +4,imagenet_vit_pytorch,trial_1,validation/accuracy,0.77309,False,0.61544,95268.04540586472,inf,0.802424341129202,167999 +13,imagenet_vit_pytorch,trial_1,validation/accuracy,0.77309,False,0.61512,92620.5374662876,inf,0.802424341129202,167999 +2,librispeech_conformer_pytorch,trial_1,validation/wer,0.085884,True,0.0848356104861681,54136.87689781189,54136.87689781189,0.7305170534584913,76000 +11,librispeech_conformer_pytorch,trial_1,validation/wer,0.085884,True,0.0838990006276251,48894.85426735878,48894.85426735878,0.7305170534584913,76000 20,librispeech_conformer_pytorch,trial_1,validation/wer,0.085884,True,0.0842659199536522,48888.971920251846,48888.971920251846,0.7305170534584913,76000 -5,librispeech_deepspeech_pytorch,trial_1,validation/wer,0.119936,False,0.1200695215565104,34737.411699295044,inf,0.7884586655586601,38400 -14,librispeech_deepspeech_pytorch,trial_1,validation/wer,0.119936,True,0.1185245980785014,28953.85911822319,28953.85911822319,0.7884586655586601,38400 -22,librispeech_deepspeech_pytorch,trial_1,validation/wer,0.119936,False,0.1215758219475691,33312.74022984505,inf,0.7884586655586601,38400 -4,ogbg_pytorch,trial_1,validation/mean_average_precision,0.28098,True,0.2872654622003903,7232.420216321945,6329.966245889664,0.2304398308491926,52000 -13,ogbg_pytorch,trial_1,validation/mean_average_precision,0.28098,True,0.2920392515125629,8137.10068655014,6332.58651471138,0.2304398308491926,52000 +8,librispeech_deepspeech_pytorch,trial_1,validation/wer,0.119936,False,0.1200695215565104,34737.411699295044,inf,0.7884586655586601,38400 +17,librispeech_deepspeech_pytorch,trial_1,validation/wer,0.119936,True,0.1185245980785014,28953.85911822319,28953.85911822319,0.7884586655586601,38400 +25,librispeech_deepspeech_pytorch,trial_1,validation/wer,0.119936,False,0.1215758219475691,33312.74022984505,inf,0.7884586655586601,38400 +3,ogbg_pytorch,trial_1,validation/mean_average_precision,0.28098,True,0.2872654622003903,7232.420216321945,6329.966245889664,0.2304398308491926,52000 +12,ogbg_pytorch,trial_1,validation/mean_average_precision,0.28098,True,0.2920392515125629,8137.10068655014,6332.58651471138,0.2304398308491926,52000 21,ogbg_pytorch,trial_1,validation/mean_average_precision,0.28098,True,0.283304967314845,5891.7984273433685,5891.7984273433685,0.2304398308491926,52000 -6,wmt_pytorch,trial_1,validation/bleu,30.8491,True,30.87605698677609,17399.639942407608,17399.639942407608,0.1538000967767499,120000 -15,wmt_pytorch,trial_1,validation/bleu,30.8491,False,30.80807424915632,19338.09857201576,inf,0.1538000967767499,120000 -23,wmt_pytorch,trial_1,validation/bleu,30.8491,True,30.867059390411267,16752.356283187866,16752.356283187866,0.1538000967767499,120000 +0,wmt_pytorch,trial_1,validation/bleu,30.8491,True,30.87605698677609,17399.639942407608,17399.639942407608,0.1538000967767499,120000 +9,wmt_pytorch,trial_1,validation/bleu,30.8491,False,30.80807424915632,19338.09857201576,inf,0.1538000967767499,120000 +18,wmt_pytorch,trial_1,validation/bleu,30.8491,True,30.867059390411267,16752.356283187866,16752.356283187866,0.1538000967767499,120000 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/cautious_nadamw_summary.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/cautious_nadamw_summary.csv index 76b9f3ad..2640ad99 100644 --- a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/cautious_nadamw_summary.csv +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/cautious_nadamw_summary.csv @@ -1,26 +1,26 @@ ,workload,trial,val target metric name,val target metric value,val target reached,best metric value on val,time to best eval on val (s),time to target on val (s),step_time (s),step_hint -7,criteo1tb_jax,trial_1,validation/loss,0.123735,False,0.1256997472383533,2863.6579899787903,inf,0.9266347767470695,10666 -15,criteo1tb_jax,trial_1,validation/loss,0.123735,False,0.1258371449566668,1792.0047852993011,inf,0.9266347767470695,10666 -24,criteo1tb_jax,trial_1,validation/loss,0.123735,False,0.1246944847459977,9989.461620092392,inf,0.9266347767470695,10666 -1,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7244385315181837,1608.188658952713,1608.188658952713,0.6559752236253,18094 -9,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7238933024409117,1383.1596400737762,1383.1596400737762,0.6559752236253,18094 -17,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7236819978369443,2571.815328359604,2571.815328359604,0.6559752236253,18094 -23,finewebedu_lm_jax,trial_1,validation/ppl,22.2995,True,21.63268571712524,25738.981688261032,25738.981688261032,0.44144648333990966,72000 -0,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.7466,69885.5102982521,inf,0.25149491638964216,195999 -8,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.74748,67896.18414497375,inf,0.25149491638964216,195999 -16,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.74964,61917.01934456825,inf,0.25149491638964216,195999 -6,imagenet_vit_jax,trial_1,validation/accuracy,0.77309,False,0.7506,87452.66640520096,inf,0.49596923795226744,167999 -14,imagenet_vit_jax,trial_1,validation/accuracy,0.77309,False,0.75158,82308.66560220718,inf,0.49596923795226744,167999 +1,criteo1tb_jax,trial_1,validation/loss,0.123735,False,0.1256997472383533,2863.6579899787903,inf,0.9266347767470695,10666 +9,criteo1tb_jax,trial_1,validation/loss,0.123735,False,0.1258371449566668,1792.0047852993011,inf,0.9266347767470695,10666 +18,criteo1tb_jax,trial_1,validation/loss,0.123735,False,0.1246944847459977,9989.461620092392,inf,0.9266347767470695,10666 +4,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7244385315181837,1608.188658952713,1608.188658952713,0.6559752236253,18094 +12,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7238933024409117,1383.1596400737762,1383.1596400737762,0.6559752236253,18094 +21,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7236819978369443,2571.815328359604,2571.815328359604,0.6559752236253,18094 +17,finewebedu_lm_jax,trial_1,validation/ppl,22.2995,True,21.63268571712524,25738.981688261032,25738.981688261032,0.44144648333990966,72000 +6,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.7466,69885.5102982521,inf,0.25149491638964216,195999 +14,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.74748,67896.18414497375,inf,0.25149491638964216,195999 +23,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.74964,61917.01934456825,inf,0.25149491638964216,195999 +5,imagenet_vit_jax,trial_1,validation/accuracy,0.77309,False,0.7506,87452.66640520096,inf,0.49596923795226744,167999 +13,imagenet_vit_jax,trial_1,validation/accuracy,0.77309,False,0.75158,82308.66560220718,inf,0.49596923795226744,167999 22,imagenet_vit_jax,trial_1,validation/accuracy,0.77309,False,0.75034,87448.36735343933,inf,0.49596923795226744,167999 -4,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.1421619272920388,64988.59479641914,inf,2.589838852085477,76000 -12,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.1426254043354415,65012.818663835526,inf,2.589838852085477,76000 -20,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.1444986240525274,64979.35094237328,inf,2.589838852085477,76000 -5,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.2943175783324482,10338.725378990172,inf,2.7988120351912658,38400 -13,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.2872881765075074,10334.769649744034,inf,2.7988120351912658,38400 -21,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.2853473663882586,14680.395282268524,inf,2.7988120351912658,38400 +0,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.1421619272920388,64988.59479641914,inf,2.589838852085477,76000 +8,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.1426254043354415,65012.818663835526,inf,2.589838852085477,76000 +16,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.1444986240525274,64979.35094237328,inf,2.589838852085477,76000 +2,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.2943175783324482,10338.725378990172,inf,2.7988120351912658,38400 +10,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.2872881765075074,10334.769649744034,inf,2.7988120351912658,38400 +19,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.2853473663882586,14680.395282268524,inf,2.7988120351912658,38400 3,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,True,0.2845644139519467,5444.764040708542,4992.686820983887,0.1979359465075458,52000 11,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,True,0.2874222775151546,5446.810508966446,4542.640103340149,0.1979359465075458,52000 -19,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,True,0.2809900831846614,4995.647005558014,4995.647005558014,0.1979359465075458,52000 -2,wmt_jax,trial_1,validation/bleu,30.8491,True,30.876108999624343,12943.72738480568,12943.72738480568,0.1255462995675322,120000 -10,wmt_jax,trial_1,validation/bleu,30.8491,True,31.02074381397432,14876.415894269943,14232.458706855774,0.1255462995675322,120000 -18,wmt_jax,trial_1,validation/bleu,30.8491,True,30.91251520933702,15517.656443834305,15517.656443834305,0.1255462995675322,120000 +20,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,True,0.2809900831846614,4995.647005558014,4995.647005558014,0.1979359465075458,52000 +7,wmt_jax,trial_1,validation/bleu,30.8491,True,30.876108999624343,12943.72738480568,12943.72738480568,0.1255462995675322,120000 +15,wmt_jax,trial_1,validation/bleu,30.8491,True,31.02074381397432,14876.415894269943,14232.458706855774,0.1255462995675322,120000 +24,wmt_jax,trial_1,validation/bleu,30.8491,True,30.91251520933702,15517.656443834305,15517.656443834305,0.1255462995675322,120000 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/lion_summary.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/lion_summary.csv index ffec1fef..2ccb772e 100644 --- a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/lion_summary.csv +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/lion_summary.csv @@ -2,27 +2,27 @@ 7,criteo1tb_pytorch,trial_1,validation/loss,0.123735,False,0.1241905161220999,9978.416061878204,inf,0.91592558011244,10666 16,criteo1tb_pytorch,trial_1,validation/loss,0.123735,False,0.1242616643239586,12466.455169200895,inf,0.91592558011244,10666 25,criteo1tb_pytorch,trial_1,validation/loss,0.123735,False,0.1242412303757036,12106.893656492231,inf,0.91592558011244,10666 -1,fastmri_pytorch,trial_1,validation/ssim,0.723653,True,0.7238031751195836,619.9493722915649,619.9493722915649,0.27376442936493867,18094 -10,fastmri_pytorch,trial_1,validation/ssim,0.723653,True,0.7243804158826322,1421.2225756645205,1421.2225756645205,0.27376442936493867,18094 -19,fastmri_pytorch,trial_1,validation/ssim,0.723653,True,0.7239882383845667,1394.1750195026398,1394.1750195026398,0.27376442936493867,18094 -8,finewebedu_lm_pytorch,trial_1,validation/ppl,22.2995,True,21.261897266260053,23164.569310188293,23164.569310188293,0.38839825067830164,72000 -17,finewebedu_lm_pytorch,trial_1,validation/ppl,22.2995,True,21.110008038411504,23177.09142231941,23177.09142231941,0.38839825067830164,72000 -26,finewebedu_lm_pytorch,trial_1,validation/ppl,22.2995,True,21.130699319951358,23172.039316177368,23172.039316177368,0.38839825067830164,72000 -0,imagenet_resnet_pytorch,trial_1,validation/accuracy,0.77431,False,0.61338,73980.61954474449,inf,0.6743097256486612,195999 -9,imagenet_resnet_pytorch,trial_1,validation/accuracy,0.77431,False,0.61892,67952.96683573723,inf,0.6743097256486612,195999 -18,imagenet_resnet_pytorch,trial_1,validation/accuracy,0.77431,False,0.62902,67951.73512744904,inf,0.6743097256486612,195999 -2,imagenet_vit_pytorch,trial_1,validation/accuracy,0.77309,False,0.6242,87448.87829089165,inf,0.8120775926593171,167999 -11,imagenet_vit_pytorch,trial_1,validation/accuracy,0.77309,False,0.63292,95191.34969496728,inf,0.8120775926593171,167999 -20,imagenet_vit_pytorch,trial_1,validation/accuracy,0.77309,False,0.6418,95165.0220131874,inf,0.8120775926593171,167999 -3,librispeech_conformer_pytorch,trial_1,validation/wer,0.085884,False,0.1153188818616327,57621.20974063873,inf,0.7231872968606753,76000 -12,librispeech_conformer_pytorch,trial_1,validation/wer,0.085884,False,0.1507845314536764,54127.30689024925,inf,0.7231872968606753,76000 -21,librispeech_conformer_pytorch,trial_1,validation/wer,0.085884,False,0.1264423309032974,57621.14528346062,inf,0.7231872968606753,76000 -5,librispeech_deepspeech_pytorch,trial_1,validation/wer,0.119936,False,0.1247042919905373,31862.61851024628,inf,0.7694697594617248,38400 -14,librispeech_deepspeech_pytorch,trial_1,validation/wer,0.119936,False,0.126799594457587,31838.147053956985,inf,0.7694697594617248,38400 -23,librispeech_deepspeech_pytorch,trial_1,validation/wer,0.119936,False,0.1238063052189446,31852.81674218177,inf,0.7694697594617248,38400 -4,ogbg_pytorch,trial_1,validation/mean_average_precision,0.28098,True,0.2857323411413317,7223.987207174301,7223.987207174301,0.21286914966307793,52000 -13,ogbg_pytorch,trial_1,validation/mean_average_precision,0.28098,True,0.2812007204404579,6782.790376663208,6782.790376663208,0.21286914966307793,52000 -22,ogbg_pytorch,trial_1,validation/mean_average_precision,0.28098,True,0.283014990979593,8582.123725652695,8582.123725652695,0.21286914966307793,52000 -6,wmt_pytorch,trial_1,validation/bleu,30.8491,True,30.948023339872734,15475.552730083466,15475.552730083466,0.1413890021270408,120000 -15,wmt_pytorch,trial_1,validation/bleu,30.8491,True,30.87531810470684,17401.493114233017,15474.955520391464,0.1413890021270408,120000 -24,wmt_pytorch,trial_1,validation/bleu,30.8491,False,30.76188896433939,17388.50763297081,inf,0.1413890021270408,120000 +5,fastmri_pytorch,trial_1,validation/ssim,0.723653,True,0.7238031751195836,619.9493722915649,619.9493722915649,0.27376442936493867,18094 +14,fastmri_pytorch,trial_1,validation/ssim,0.723653,True,0.7243804158826322,1421.2225756645205,1421.2225756645205,0.27376442936493867,18094 +23,fastmri_pytorch,trial_1,validation/ssim,0.723653,True,0.7239882383845667,1394.1750195026398,1394.1750195026398,0.27376442936493867,18094 +1,finewebedu_lm_pytorch,trial_1,validation/ppl,22.2995,True,21.261897266260053,23164.569310188293,23164.569310188293,0.38839825067830164,72000 +10,finewebedu_lm_pytorch,trial_1,validation/ppl,22.2995,True,21.110008038411504,23177.09142231941,23177.09142231941,0.38839825067830164,72000 +19,finewebedu_lm_pytorch,trial_1,validation/ppl,22.2995,True,21.130699319951358,23172.039316177368,23172.039316177368,0.38839825067830164,72000 +6,imagenet_resnet_pytorch,trial_1,validation/accuracy,0.77431,False,0.61338,73980.61954474449,inf,0.6743097256486612,195999 +15,imagenet_resnet_pytorch,trial_1,validation/accuracy,0.77431,False,0.61892,67952.96683573723,inf,0.6743097256486612,195999 +24,imagenet_resnet_pytorch,trial_1,validation/accuracy,0.77431,False,0.62902,67951.73512744904,inf,0.6743097256486612,195999 +4,imagenet_vit_pytorch,trial_1,validation/accuracy,0.77309,False,0.6242,87448.87829089165,inf,0.8120775926593171,167999 +13,imagenet_vit_pytorch,trial_1,validation/accuracy,0.77309,False,0.63292,95191.34969496728,inf,0.8120775926593171,167999 +22,imagenet_vit_pytorch,trial_1,validation/accuracy,0.77309,False,0.6418,95165.0220131874,inf,0.8120775926593171,167999 +2,librispeech_conformer_pytorch,trial_1,validation/wer,0.085884,False,0.1153188818616327,57621.20974063873,inf,0.7231872968606753,76000 +11,librispeech_conformer_pytorch,trial_1,validation/wer,0.085884,False,0.1507845314536764,54127.30689024925,inf,0.7231872968606753,76000 +20,librispeech_conformer_pytorch,trial_1,validation/wer,0.085884,False,0.1264423309032974,57621.14528346062,inf,0.7231872968606753,76000 +8,librispeech_deepspeech_pytorch,trial_1,validation/wer,0.119936,False,0.1247042919905373,31862.61851024628,inf,0.7694697594617248,38400 +17,librispeech_deepspeech_pytorch,trial_1,validation/wer,0.119936,False,0.126799594457587,31838.147053956985,inf,0.7694697594617248,38400 +26,librispeech_deepspeech_pytorch,trial_1,validation/wer,0.119936,False,0.1238063052189446,31852.81674218177,inf,0.7694697594617248,38400 +3,ogbg_pytorch,trial_1,validation/mean_average_precision,0.28098,True,0.2857323411413317,7223.987207174301,7223.987207174301,0.21286914966307793,52000 +12,ogbg_pytorch,trial_1,validation/mean_average_precision,0.28098,True,0.2812007204404579,6782.790376663208,6782.790376663208,0.21286914966307793,52000 +21,ogbg_pytorch,trial_1,validation/mean_average_precision,0.28098,True,0.283014990979593,8582.123725652695,8582.123725652695,0.21286914966307793,52000 +0,wmt_pytorch,trial_1,validation/bleu,30.8491,True,30.948023339872734,15475.552730083466,15475.552730083466,0.1413890021270408,120000 +9,wmt_pytorch,trial_1,validation/bleu,30.8491,True,30.87531810470684,17401.493114233017,15474.955520391464,0.1413890021270408,120000 +18,wmt_pytorch,trial_1,validation/bleu,30.8491,False,30.76188896433939,17388.50763297081,inf,0.1413890021270408,120000 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/muon_summary.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/muon_summary.csv index 63bd0a58..1ab06d0f 100644 --- a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/muon_summary.csv +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/muon_summary.csv @@ -1,28 +1,28 @@ ,workload,trial,val target metric name,val target metric value,val target reached,best metric value on val,time to best eval on val (s),time to target on val (s),step_time (s),step_hint -8,criteo1tb_jax,trial_1,validation/loss,0.123735,False,0.1245190224490917,13217.0788064003,inf,1.80744596371582,10666 -17,criteo1tb_jax,trial_1,validation/loss,0.123735,False,0.1246482386019362,12154.283058166504,inf,1.80744596371582,10666 -26,criteo1tb_jax,trial_1,validation/loss,0.123735,False,0.1245746128447548,13221.646473169329,inf,1.80744596371582,10666 -1,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7239323209763646,1145.923245429993,1145.923245429993,0.15300968625117742,18094 -10,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7238764035681626,2594.490219116211,2594.490219116211,0.15300968625117742,18094 -19,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7247154394696117,1869.765276670456,1869.765276670456,0.15300968625117742,18094 -7,finewebedu_lm_jax,trial_1,validation/ppl,22.2995,True,21.808373188667463,20594.037749767303,20594.037749767303,0.504613462023225,72000 -16,finewebedu_lm_jax,trial_1,validation/ppl,22.2995,True,21.85239511139204,20594.19531917572,20594.19531917572,0.504613462023225,72000 -25,finewebedu_lm_jax,trial_1,validation/ppl,22.2995,True,21.82093364841247,20593.710190296173,20593.710190296173,0.504613462023225,72000 -0,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.73021996,73908.46513557434,inf,0.34063982264727855,195999 -9,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.73056,53931.644364357,inf,0.34063982264727855,195999 -18,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.71808,65941.6421945095,inf,0.34063982264727855,195999 +2,criteo1tb_jax,trial_1,validation/loss,0.123735,False,0.1245190224490917,13217.0788064003,inf,1.80744596371582,10666 +11,criteo1tb_jax,trial_1,validation/loss,0.123735,False,0.1246482386019362,12154.283058166504,inf,1.80744596371582,10666 +20,criteo1tb_jax,trial_1,validation/loss,0.123735,False,0.1245746128447548,13221.646473169329,inf,1.80744596371582,10666 +5,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7239323209763646,1145.923245429993,1145.923245429993,0.15300968625117742,18094 +14,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7238764035681626,2594.490219116211,2594.490219116211,0.15300968625117742,18094 +23,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7247154394696117,1869.765276670456,1869.765276670456,0.15300968625117742,18094 +1,finewebedu_lm_jax,trial_1,validation/ppl,22.2995,True,21.808373188667463,20594.037749767303,20594.037749767303,0.504613462023225,72000 +10,finewebedu_lm_jax,trial_1,validation/ppl,22.2995,True,21.85239511139204,20594.19531917572,20594.19531917572,0.504613462023225,72000 +19,finewebedu_lm_jax,trial_1,validation/ppl,22.2995,True,21.82093364841247,20593.710190296173,20593.710190296173,0.504613462023225,72000 +7,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.73021996,73908.46513557434,inf,0.34063982264727855,195999 +16,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.73056,53931.644364357,inf,0.34063982264727855,195999 +25,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.71808,65941.6421945095,inf,0.34063982264727855,195999 6,imagenet_vit_jax,trial_1,validation/accuracy,0.77309,True,0.77518,77162.91657114029,77162.91657114029,0.5145936103030498,167999 15,imagenet_vit_jax,trial_1,validation/accuracy,0.77309,False,0.75193995,95183.25943279266,inf,0.5145936103030498,167999 24,imagenet_vit_jax,trial_1,validation/accuracy,0.77309,True,0.77476,74592.82279109955,74592.82279109955,0.5145936103030498,167999 -4,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.1673441799835852,64973.90770673752,inf,2.486110555855915,76000 -13,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.1665524067011055,64973.39529895783,inf,2.486110555855915,76000 -22,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.1644281369188432,64948.560970783234,inf,2.486110555855915,76000 -5,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.174721189591078,55211.92119574547,inf,2.709749883580429,38400 -14,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.1775792980253946,55245.24317121506,inf,2.709749883580429,38400 -23,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.1763819823299377,53775.95950937271,inf,2.709749883580429,38400 -3,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,False,0.279643299276242,1828.2280414104464,inf,0.19192375124386668,52000 -12,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,False,0.2754040150725418,1378.5888230800629,inf,0.19192375124386668,52000 -21,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,False,0.2761794983317486,1827.266467809677,inf,0.19192375124386668,52000 -2,wmt_jax,trial_1,validation/bleu,30.8491,False,28.997438769958425,12296.452765226364,inf,0.173934285073483,120000 -11,wmt_jax,trial_1,validation/bleu,30.8491,False,28.65403612242089,11011.619378566742,inf,0.173934285073483,120000 -20,wmt_jax,trial_1,validation/bleu,30.8491,False,28.777579127157672,12941.239448785782,inf,0.173934285073483,120000 +0,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.1673441799835852,64973.90770673752,inf,2.486110555855915,76000 +9,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.1665524067011055,64973.39529895783,inf,2.486110555855915,76000 +18,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.1644281369188432,64948.560970783234,inf,2.486110555855915,76000 +3,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.174721189591078,55211.92119574547,inf,2.709749883580429,38400 +12,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.1775792980253946,55245.24317121506,inf,2.709749883580429,38400 +21,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.1763819823299377,53775.95950937271,inf,2.709749883580429,38400 +4,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,False,0.279643299276242,1828.2280414104464,inf,0.19192375124386668,52000 +13,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,False,0.2754040150725418,1378.5888230800629,inf,0.19192375124386668,52000 +22,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,False,0.2761794983317486,1827.266467809677,inf,0.19192375124386668,52000 +8,wmt_jax,trial_1,validation/bleu,30.8491,False,28.997438769958425,12296.452765226364,inf,0.173934285073483,120000 +17,wmt_jax,trial_1,validation/bleu,30.8491,False,28.65403612242089,11011.619378566742,inf,0.173934285073483,120000 +26,wmt_jax,trial_1,validation/bleu,30.8491,False,28.777579127157672,12941.239448785782,inf,0.173934285073483,120000 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/muon_torch_summary.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/muon_torch_summary.csv index f17f86c1..8958a4f6 100644 --- a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/muon_torch_summary.csv +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/muon_torch_summary.csv @@ -2,27 +2,27 @@ 7,criteo1tb_pytorch,trial_1,validation/loss,0.123735,True,0.1236454748378366,6087.019835233688,6087.019835233688,1.18504582454593,10666 16,criteo1tb_pytorch,trial_1,validation/loss,0.123735,True,0.123726612990728,12517.356907844543,12517.356907844543,1.18504582454593,10666 25,criteo1tb_pytorch,trial_1,validation/loss,0.123735,True,0.1236812508354591,7497.393135547638,7141.604691028595,1.18504582454593,10666 -1,fastmri_pytorch,trial_1,validation/ssim,0.723653,False,0.7231757872951252,2142.100114107132,inf,0.3866886620807985,18094 -10,fastmri_pytorch,trial_1,validation/ssim,0.723653,False,0.7233615375061551,1624.206672668457,inf,0.3866886620807985,18094 -19,fastmri_pytorch,trial_1,validation/ssim,0.723653,False,0.7231143056239449,1617.665590763092,inf,0.3866886620807985,18094 -8,finewebedu_lm_pytorch,trial_1,validation/ppl,22.2995,True,21.744761208603,15471.447128295898,15471.447128295898,0.39309072483558477,72000 -17,finewebedu_lm_pytorch,trial_1,validation/ppl,22.2995,True,21.75125219421063,15471.922557115557,15471.922557115557,0.39309072483558477,72000 -26,finewebedu_lm_pytorch,trial_1,validation/ppl,22.2995,True,21.584650980529226,15476.685742616652,15476.685742616652,0.39309072483558477,72000 -0,imagenet_resnet_pytorch,trial_1,validation/accuracy,0.77431,False,0.64264,73922.64334130287,inf,0.6849873571941311,195999 -9,imagenet_resnet_pytorch,trial_1,validation/accuracy,0.77431,False,0.64258,65897.92681455612,inf,0.6849873571941311,195999 -18,imagenet_resnet_pytorch,trial_1,validation/accuracy,0.77431,False,0.63724,69833.61887001991,inf,0.6849873571941311,195999 -2,imagenet_vit_pytorch,trial_1,validation/accuracy,0.77309,False,0.60662,92532.04569506644,inf,0.8496337869111144,167999 -11,imagenet_vit_pytorch,trial_1,validation/accuracy,0.77309,False,0.59968,95203.29775571825,inf,0.8496337869111144,167999 -20,imagenet_vit_pytorch,trial_1,validation/accuracy,0.77309,False,0.59224,77203.51195073128,inf,0.8496337869111144,167999 -3,librispeech_conformer_pytorch,trial_1,validation/wer,0.085884,False,0.0921064066045478,52374.13884854317,inf,0.7507184025867658,76000 -12,librispeech_conformer_pytorch,trial_1,validation/wer,0.085884,False,0.093863757060783,52373.02536725998,inf,0.7507184025867658,76000 -21,librispeech_conformer_pytorch,trial_1,validation/wer,0.085884,False,0.0908318447351904,50630.20197486877,inf,0.7507184025867658,76000 -5,librispeech_deepspeech_pytorch,trial_1,validation/wer,0.119936,False,0.1670545068314585,30413.91596698761,inf,0.789905564129319,38400 -14,librispeech_deepspeech_pytorch,trial_1,validation/wer,0.119936,False,0.1314826437503017,30405.68972826004,inf,0.789905564129319,38400 -23,librispeech_deepspeech_pytorch,trial_1,validation/wer,0.119936,False,0.1342635060107179,28934.32774949073,inf,0.789905564129319,38400 -4,ogbg_pytorch,trial_1,validation/mean_average_precision,0.28098,True,0.282273613537902,1833.473667144776,1833.473667144776,0.2350472339184847,52000 -13,ogbg_pytorch,trial_1,validation/mean_average_precision,0.28098,True,0.2846925562359295,1848.3308384418488,1848.3308384418488,0.2350472339184847,52000 -22,ogbg_pytorch,trial_1,validation/mean_average_precision,0.28098,True,0.2937916287114694,2281.462235212326,1830.406593322754,0.2350472339184847,52000 -6,wmt_pytorch,trial_1,validation/bleu,30.8491,False,30.691327352494376,17533.78046321869,inf,0.14536654309265207,120000 -15,wmt_pytorch,trial_1,validation/bleu,30.8491,True,30.897467563003804,14200.647830486298,14200.647830486298,0.14536654309265207,120000 -24,wmt_pytorch,trial_1,validation/bleu,30.8491,True,30.89810474410816,14214.779582500458,14214.779582500458,0.14536654309265207,120000 +5,fastmri_pytorch,trial_1,validation/ssim,0.723653,False,0.7231757872951252,2142.100114107132,inf,0.3866886620807985,18094 +14,fastmri_pytorch,trial_1,validation/ssim,0.723653,False,0.7233615375061551,1624.206672668457,inf,0.3866886620807985,18094 +23,fastmri_pytorch,trial_1,validation/ssim,0.723653,False,0.7231143056239449,1617.665590763092,inf,0.3866886620807985,18094 +1,finewebedu_lm_pytorch,trial_1,validation/ppl,22.2995,True,21.744761208603,15471.447128295898,15471.447128295898,0.39309072483558477,72000 +10,finewebedu_lm_pytorch,trial_1,validation/ppl,22.2995,True,21.75125219421063,15471.922557115557,15471.922557115557,0.39309072483558477,72000 +19,finewebedu_lm_pytorch,trial_1,validation/ppl,22.2995,True,21.584650980529226,15476.685742616652,15476.685742616652,0.39309072483558477,72000 +6,imagenet_resnet_pytorch,trial_1,validation/accuracy,0.77431,False,0.64264,73922.64334130287,inf,0.6849873571941311,195999 +15,imagenet_resnet_pytorch,trial_1,validation/accuracy,0.77431,False,0.64258,65897.92681455612,inf,0.6849873571941311,195999 +24,imagenet_resnet_pytorch,trial_1,validation/accuracy,0.77431,False,0.63724,69833.61887001991,inf,0.6849873571941311,195999 +4,imagenet_vit_pytorch,trial_1,validation/accuracy,0.77309,False,0.60662,92532.04569506644,inf,0.8496337869111144,167999 +13,imagenet_vit_pytorch,trial_1,validation/accuracy,0.77309,False,0.59968,95203.29775571825,inf,0.8496337869111144,167999 +22,imagenet_vit_pytorch,trial_1,validation/accuracy,0.77309,False,0.59224,77203.51195073128,inf,0.8496337869111144,167999 +2,librispeech_conformer_pytorch,trial_1,validation/wer,0.085884,False,0.0921064066045478,52374.13884854317,inf,0.7507184025867658,76000 +11,librispeech_conformer_pytorch,trial_1,validation/wer,0.085884,False,0.093863757060783,52373.02536725998,inf,0.7507184025867658,76000 +20,librispeech_conformer_pytorch,trial_1,validation/wer,0.085884,False,0.0908318447351904,50630.20197486877,inf,0.7507184025867658,76000 +8,librispeech_deepspeech_pytorch,trial_1,validation/wer,0.119936,False,0.1670545068314585,30413.91596698761,inf,0.789905564129319,38400 +17,librispeech_deepspeech_pytorch,trial_1,validation/wer,0.119936,False,0.1314826437503017,30405.68972826004,inf,0.789905564129319,38400 +26,librispeech_deepspeech_pytorch,trial_1,validation/wer,0.119936,False,0.1342635060107179,28934.32774949073,inf,0.789905564129319,38400 +3,ogbg_pytorch,trial_1,validation/mean_average_precision,0.28098,True,0.282273613537902,1833.473667144776,1833.473667144776,0.2350472339184847,52000 +12,ogbg_pytorch,trial_1,validation/mean_average_precision,0.28098,True,0.2846925562359295,1848.3308384418488,1848.3308384418488,0.2350472339184847,52000 +21,ogbg_pytorch,trial_1,validation/mean_average_precision,0.28098,True,0.2937916287114694,2281.462235212326,1830.406593322754,0.2350472339184847,52000 +0,wmt_pytorch,trial_1,validation/bleu,30.8491,False,30.691327352494376,17533.78046321869,inf,0.14536654309265207,120000 +9,wmt_pytorch,trial_1,validation/bleu,30.8491,True,30.897467563003804,14200.647830486298,14200.647830486298,0.14536654309265207,120000 +18,wmt_pytorch,trial_1,validation/bleu,30.8491,True,30.89810474410816,14214.779582500458,14214.779582500458,0.14536654309265207,120000 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/nadamw_baselinev05_summary.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/nadamw_baselinev05_summary.csv index d786cf0b..a9c14875 100644 --- a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/nadamw_baselinev05_summary.csv +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/nadamw_baselinev05_summary.csv @@ -1,28 +1,28 @@ ,workload,trial,val target metric name,val target metric value,val target reached,best metric value on val,time to best eval on val (s),time to target on val (s),step_time (s),step_hint -8,criteo1tb_jax,trial_1,validation/loss,0.123735,True,0.1236356907515324,7854.423001766205,7854.423001766205,0.900927458493366,10666 -17,criteo1tb_jax,trial_1,validation/loss,0.123735,True,0.1236637634250791,8206.103132247925,8206.103132247925,0.900927458493366,10666 -26,criteo1tb_jax,trial_1,validation/loss,0.123735,True,0.1236501173016314,8568.097370386124,8568.097370386124,0.900927458493366,10666 -1,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7238203487707513,1615.2845153808594,1615.2845153808594,0.3907451132582269,18094 -10,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7247785698113042,2271.625893354416,2271.625893354416,0.3907451132582269,18094 -19,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7241842240916925,1620.5153810977936,1620.5153810977936,0.3907451132582269,18094 -7,finewebedu_lm_jax,trial_1,validation/ppl,22.2995,True,21.796921650781453,20589.321794748303,20589.321794748303,0.4369074667928172,72000 -16,finewebedu_lm_jax,trial_1,validation/ppl,22.2995,True,21.228251216355208,20593.007669210438,20593.007669210438,0.4369074667928172,72000 -25,finewebedu_lm_jax,trial_1,validation/ppl,22.2995,True,21.457129478766408,20589.912857055664,20589.912857055664,0.4369074667928172,72000 -0,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.74972,59916.65886712074,inf,0.25078913028372907,195999 -9,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.75031996,59922.17208194733,inf,0.25078913028372907,195999 -18,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.74909997,61908.166714668274,inf,0.25078913028372907,195999 +2,criteo1tb_jax,trial_1,validation/loss,0.123735,True,0.1236356907515324,7854.423001766205,7854.423001766205,0.900927458493366,10666 +11,criteo1tb_jax,trial_1,validation/loss,0.123735,True,0.1236637634250791,8206.103132247925,8206.103132247925,0.900927458493366,10666 +20,criteo1tb_jax,trial_1,validation/loss,0.123735,True,0.1236501173016314,8568.097370386124,8568.097370386124,0.900927458493366,10666 +5,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7238203487707513,1615.2845153808594,1615.2845153808594,0.3907451132582269,18094 +14,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7247785698113042,2271.625893354416,2271.625893354416,0.3907451132582269,18094 +23,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7241842240916925,1620.5153810977936,1620.5153810977936,0.3907451132582269,18094 +1,finewebedu_lm_jax,trial_1,validation/ppl,22.2995,True,21.796921650781453,20589.321794748303,20589.321794748303,0.4369074667928172,72000 +10,finewebedu_lm_jax,trial_1,validation/ppl,22.2995,True,21.228251216355208,20593.007669210438,20593.007669210438,0.4369074667928172,72000 +19,finewebedu_lm_jax,trial_1,validation/ppl,22.2995,True,21.457129478766408,20589.912857055664,20589.912857055664,0.4369074667928172,72000 +7,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.74972,59916.65886712074,inf,0.25078913028372907,195999 +16,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.75031996,59922.17208194733,inf,0.25078913028372907,195999 +25,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.74909997,61908.166714668274,inf,0.25078913028372907,195999 6,imagenet_vit_jax,trial_1,validation/accuracy,0.77309,False,0.74781996,77159.16147780418,inf,0.465805622122026,167999 15,imagenet_vit_jax,trial_1,validation/accuracy,0.77309,False,0.74799997,74587.84833478928,inf,0.465805622122026,167999 24,imagenet_vit_jax,trial_1,validation/accuracy,0.77309,False,0.74992,79731.53126645088,inf,0.465805622122026,167999 -4,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.1414184328682469,64979.31014919281,inf,2.5370693297275118,76000 -13,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.1456186935740839,64975.10295176506,inf,2.5370693297275118,76000 -22,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.1461787283348621,61490.05108809471,inf,2.5370693297275118,76000 -5,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.1594457587022642,53800.03012371063,inf,2.7372216326849665,38400 -14,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.1626514749191329,55243.57709980011,inf,2.7372216326849665,38400 -23,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.1540578380727079,55276.91480922699,inf,2.7372216326849665,38400 -3,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,True,0.2813744785227667,3634.618623733521,3634.618623733521,0.1910767921026944,52000 -12,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,True,0.2853125566948717,4089.775626659393,4089.775626659393,0.1910767921026944,52000 -21,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,True,0.2887430901808062,4991.965915679932,4991.965915679932,0.1910767921026944,52000 -2,wmt_jax,trial_1,validation/bleu,30.8491,False,30.658883813091023,14227.413651227953,inf,0.12590835478998,120000 -11,wmt_jax,trial_1,validation/bleu,30.8491,True,30.863299473481064,12939.180624485016,12939.180624485016,0.12590835478998,120000 -20,wmt_jax,trial_1,validation/bleu,30.8491,True,30.9476160953902,14865.7885992527,14865.7885992527,0.12590835478998,120000 +0,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.1414184328682469,64979.31014919281,inf,2.5370693297275118,76000 +9,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.1456186935740839,64975.10295176506,inf,2.5370693297275118,76000 +18,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.1461787283348621,61490.05108809471,inf,2.5370693297275118,76000 +3,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.1594457587022642,53800.03012371063,inf,2.7372216326849665,38400 +12,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.1626514749191329,55243.57709980011,inf,2.7372216326849665,38400 +21,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.1540578380727079,55276.91480922699,inf,2.7372216326849665,38400 +4,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,True,0.2813744785227667,3634.618623733521,3634.618623733521,0.1910767921026944,52000 +13,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,True,0.2853125566948717,4089.775626659393,4089.775626659393,0.1910767921026944,52000 +22,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,True,0.2887430901808062,4991.965915679932,4991.965915679932,0.1910767921026944,52000 +8,wmt_jax,trial_1,validation/bleu,30.8491,False,30.658883813091023,14227.413651227953,inf,0.12590835478998,120000 +17,wmt_jax,trial_1,validation/bleu,30.8491,True,30.863299473481064,12939.180624485016,12939.180624485016,0.12590835478998,120000 +26,wmt_jax,trial_1,validation/bleu,30.8491,True,30.9476160953902,14865.7885992527,14865.7885992527,0.12590835478998,120000 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/nadamw_resnet_summary.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/nadamw_resnet_summary.csv index da854a78..e75d1828 100644 --- a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/nadamw_resnet_summary.csv +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/nadamw_resnet_summary.csv @@ -1,28 +1,28 @@ ,workload,trial,val target metric name,val target metric value,val target reached,best metric value on val,time to best eval on val (s),time to target on val (s),step_time (s),step_hint -8,criteo1tb_jax,trial_1,validation/loss,0.123735,False,0.1242694401308509,12867.50927901268,inf,1.550644798382469,10666 -17,criteo1tb_jax,trial_1,validation/loss,0.123735,False,0.124093955634715,12860.401985406876,inf,1.550644798382469,10666 -26,criteo1tb_jax,trial_1,validation/loss,0.123735,False,0.1239534508040601,9635.864085197449,inf,1.550644798382469,10666 -1,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7239255202105023,1920.545307636261,1920.545307636261,0.10992968284881317,18094 -10,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7236956680632738,1035.743106365204,1035.743106365204,0.10992968284881317,18094 -19,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7242662454496693,2579.977390766144,2579.977390766144,0.10992968284881317,18094 -7,finewebedu_lm_jax,trial_1,validation/ppl,22.2995,True,20.93162548018871,23164.03602838516,23164.03602838516,0.43626168098213475,72000 -16,finewebedu_lm_jax,trial_1,validation/ppl,22.2995,True,21.17004626898918,23163.02198767662,23163.02198767662,0.43626168098213475,72000 -25,finewebedu_lm_jax,trial_1,validation/ppl,22.2995,True,21.151323902362865,23162.07039999962,23162.07039999962,0.43626168098213475,72000 -0,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.75211996,65897.27553248405,inf,0.3472091664416975,195999 -9,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.73622,73915.94854426384,inf,0.3472091664416975,195999 -18,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.7528,71884.30445122719,inf,0.3472091664416975,195999 +2,criteo1tb_jax,trial_1,validation/loss,0.123735,False,0.1242694401308509,12867.50927901268,inf,1.550644798382469,10666 +11,criteo1tb_jax,trial_1,validation/loss,0.123735,False,0.124093955634715,12860.401985406876,inf,1.550644798382469,10666 +20,criteo1tb_jax,trial_1,validation/loss,0.123735,False,0.1239534508040601,9635.864085197449,inf,1.550644798382469,10666 +5,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7239255202105023,1920.545307636261,1920.545307636261,0.10992968284881317,18094 +14,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7236956680632738,1035.743106365204,1035.743106365204,0.10992968284881317,18094 +23,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7242662454496693,2579.977390766144,2579.977390766144,0.10992968284881317,18094 +1,finewebedu_lm_jax,trial_1,validation/ppl,22.2995,True,20.93162548018871,23164.03602838516,23164.03602838516,0.43626168098213475,72000 +10,finewebedu_lm_jax,trial_1,validation/ppl,22.2995,True,21.17004626898918,23163.02198767662,23163.02198767662,0.43626168098213475,72000 +19,finewebedu_lm_jax,trial_1,validation/ppl,22.2995,True,21.151323902362865,23162.07039999962,23162.07039999962,0.43626168098213475,72000 +7,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.75211996,65897.27553248405,inf,0.3472091664416975,195999 +16,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.73622,73915.94854426384,inf,0.3472091664416975,195999 +25,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.7528,71884.30445122719,inf,0.3472091664416975,195999 6,imagenet_vit_jax,trial_1,validation/accuracy,0.77309,False,0.74579996,95155.82486248016,inf,0.5355774306471934,167999 15,imagenet_vit_jax,trial_1,validation/accuracy,0.77309,False,0.56424,95249.69734692574,inf,0.5355774306471934,167999 24,imagenet_vit_jax,trial_1,validation/accuracy,0.77309,False,0.74872,84874.52632522583,inf,0.5355774306471934,167999 -4,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.4221310288224786,64933.15110611916,inf,2.2596808752887014,76000 -13,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.4616327910008207,64948.66587519646,inf,2.2596808752887014,76000 -22,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.4679959445758702,64947.58217930794,inf,2.2596808752887014,76000 -5,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.1568869791918119,55250.44359540939,inf,2.301104343183848,38400 -14,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.1707430116352049,55216.43422389031,inf,2.301104343183848,38400 -23,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.1596099068218027,55259.41744112968,inf,2.301104343183848,38400 -3,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,True,0.2846638875587433,6349.506216049194,6349.506216049194,0.1920906659445254,52000 -12,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,True,0.2875478149042345,6800.483803510666,6800.483803510666,0.1920906659445254,52000 -21,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,True,0.2823420118969963,5894.730070829392,5894.730070829392,0.1920906659445254,52000 -2,wmt_jax,trial_1,validation/bleu,30.8491,False,30.751545467615685,15515.51091647148,inf,0.1251175539318001,120000 -11,wmt_jax,trial_1,validation/bleu,30.8491,False,30.456213206014148,14867.072550296783,inf,0.1251175539318001,120000 -20,wmt_jax,trial_1,validation/bleu,30.8491,False,30.6280545403418,14868.256608009338,inf,0.1251175539318001,120000 +0,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.4221310288224786,64933.15110611916,inf,2.2596808752887014,76000 +9,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.4616327910008207,64948.66587519646,inf,2.2596808752887014,76000 +18,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.4679959445758702,64947.58217930794,inf,2.2596808752887014,76000 +3,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.1568869791918119,55250.44359540939,inf,2.301104343183848,38400 +12,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.1707430116352049,55216.43422389031,inf,2.301104343183848,38400 +21,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.1596099068218027,55259.41744112968,inf,2.301104343183848,38400 +4,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,True,0.2846638875587433,6349.506216049194,6349.506216049194,0.1920906659445254,52000 +13,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,True,0.2875478149042345,6800.483803510666,6800.483803510666,0.1920906659445254,52000 +22,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,True,0.2823420118969963,5894.730070829392,5894.730070829392,0.1920906659445254,52000 +8,wmt_jax,trial_1,validation/bleu,30.8491,False,30.751545467615685,15515.51091647148,inf,0.1251175539318001,120000 +17,wmt_jax,trial_1,validation/bleu,30.8491,False,30.456213206014148,14867.072550296783,inf,0.1251175539318001,120000 +26,wmt_jax,trial_1,validation/bleu,30.8491,False,30.6280545403418,14868.256608009338,inf,0.1251175539318001,120000 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/nadamw_summary.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/nadamw_summary.csv index 1c88a522..81036870 100644 --- a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/nadamw_summary.csv +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/nadamw_summary.csv @@ -1,28 +1,28 @@ ,workload,trial,val target metric name,val target metric value,val target reached,best metric value on val,time to best eval on val (s),time to target on val (s),step_time (s),step_hint -8,criteo1tb_jax,trial_1,validation/loss,0.123735,True,0.1236922431841871,6425.629549503326,6425.629549503326,0.9130992993330321,10666 -17,criteo1tb_jax,trial_1,validation/loss,0.123735,True,0.1236408078557955,8208.519079446793,7851.880496025085,0.9130992993330321,10666 -26,criteo1tb_jax,trial_1,validation/loss,0.123735,True,0.1236922586345227,7492.6946766376495,7492.6946766376495,0.9130992993330321,10666 -1,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7244943802317811,924.8731529712676,924.8731529712676,0.10824602795398142,18094 -10,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7240358437456036,1800.7732002735138,1800.7732002735138,0.10824602795398142,18094 -19,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7236940193927617,2041.2998707294464,2041.2998707294464,0.10824602795398142,18094 -7,finewebedu_lm_jax,trial_1,validation/ppl,22.2995,True,21.52338881789557,23164.181562185287,23164.181562185287,0.4370215902234469,72000 -16,finewebedu_lm_jax,trial_1,validation/ppl,22.2995,True,21.9808280658622,25733.847669363025,25733.847669363025,0.4370215902234469,72000 -25,finewebedu_lm_jax,trial_1,validation/ppl,22.2995,True,21.64191985260924,25735.729759454727,25735.729759454727,0.4370215902234469,72000 -0,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.75258,61911.16003417969,inf,0.2521924206204958,195999 -9,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.75536,47948.21336722374,inf,0.2521924206204958,195999 -18,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.75413996,61916.83682227135,inf,0.2521924206204958,195999 +2,criteo1tb_jax,trial_1,validation/loss,0.123735,True,0.1236922431841871,6425.629549503326,6425.629549503326,0.9130992993330321,10666 +11,criteo1tb_jax,trial_1,validation/loss,0.123735,True,0.1236408078557955,8208.519079446793,7851.880496025085,0.9130992993330321,10666 +20,criteo1tb_jax,trial_1,validation/loss,0.123735,True,0.1236922586345227,7492.6946766376495,7492.6946766376495,0.9130992993330321,10666 +5,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7244943802317811,924.8731529712676,924.8731529712676,0.10824602795398142,18094 +14,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7240358437456036,1800.7732002735138,1800.7732002735138,0.10824602795398142,18094 +23,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7236940193927617,2041.2998707294464,2041.2998707294464,0.10824602795398142,18094 +1,finewebedu_lm_jax,trial_1,validation/ppl,22.2995,True,21.52338881789557,23164.181562185287,23164.181562185287,0.4370215902234469,72000 +10,finewebedu_lm_jax,trial_1,validation/ppl,22.2995,True,21.9808280658622,25733.847669363025,25733.847669363025,0.4370215902234469,72000 +19,finewebedu_lm_jax,trial_1,validation/ppl,22.2995,True,21.64191985260924,25735.729759454727,25735.729759454727,0.4370215902234469,72000 +7,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.75258,61911.16003417969,inf,0.2521924206204958,195999 +16,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.75536,47948.21336722374,inf,0.2521924206204958,195999 +25,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.75413996,61916.83682227135,inf,0.2521924206204958,195999 6,imagenet_vit_jax,trial_1,validation/accuracy,0.77309,True,0.77342,66879.37250804901,66879.37250804901,0.4629556156426727,167999 15,imagenet_vit_jax,trial_1,validation/accuracy,0.77309,True,0.77594,74585.6678788662,74585.6678788662,0.4629556156426727,167999 24,imagenet_vit_jax,trial_1,validation/accuracy,0.77309,True,0.77709997,72015.5787293911,72015.5787293911,0.4629556156426727,167999 -4,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.1473663882585815,64933.09971880913,inf,2.4926909356311806,76000 -13,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.1492878868343552,64943.34402728081,inf,2.4926909356311806,76000 -22,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.1461207937044368,64944.95679020882,inf,2.4926909356311806,76000 -5,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.1603727127890696,55220.70586013794,inf,2.5031315810127652,38400 -14,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.154337855453097,55216.42438077927,inf,2.5031315810127652,38400 -23,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.1529088012359387,55258.113032102585,inf,2.5031315810127652,38400 -3,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,False,0.2776481983560332,4085.9088344573975,inf,0.1904826010022041,52000 -12,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,False,0.2740576238043504,4088.2416999340057,inf,0.1904826010022041,52000 -21,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,False,0.2746764525264623,5444.092821359634,inf,0.1904826010022041,52000 -2,wmt_jax,trial_1,validation/bleu,30.8491,False,29.846879082437127,12936.535746574402,inf,0.12476112412788223,120000 -11,wmt_jax,trial_1,validation/bleu,30.8491,False,30.024632086852844,12292.1887114048,inf,0.12476112412788223,120000 -20,wmt_jax,trial_1,validation/bleu,30.8491,False,29.301186266855005,14222.570494651794,inf,0.12476112412788223,120000 +0,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.1473663882585815,64933.09971880913,inf,2.4926909356311806,76000 +9,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.1492878868343552,64943.34402728081,inf,2.4926909356311806,76000 +18,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.1461207937044368,64944.95679020882,inf,2.4926909356311806,76000 +3,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.1603727127890696,55220.70586013794,inf,2.5031315810127652,38400 +12,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.154337855453097,55216.42438077927,inf,2.5031315810127652,38400 +21,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.1529088012359387,55258.113032102585,inf,2.5031315810127652,38400 +4,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,False,0.2776481983560332,4085.9088344573975,inf,0.1904826010022041,52000 +13,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,False,0.2740576238043504,4088.2416999340057,inf,0.1904826010022041,52000 +22,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,False,0.2746764525264623,5444.092821359634,inf,0.1904826010022041,52000 +8,wmt_jax,trial_1,validation/bleu,30.8491,False,29.846879082437127,12936.535746574402,inf,0.12476112412788223,120000 +17,wmt_jax,trial_1,validation/bleu,30.8491,False,30.024632086852844,12292.1887114048,inf,0.12476112412788223,120000 +26,wmt_jax,trial_1,validation/bleu,30.8491,False,29.301186266855005,14222.570494651794,inf,0.12476112412788223,120000 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/schedule_free_adamw_jax_summary.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/schedule_free_adamw_jax_summary.csv index 27ae5f56..cc86b995 100644 --- a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/schedule_free_adamw_jax_summary.csv +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/schedule_free_adamw_jax_summary.csv @@ -1,28 +1,28 @@ ,workload,trial,val target metric name,val target metric value,val target reached,best metric value on val,time to best eval on val (s),time to target on val (s),step_time (s),step_hint -8,criteo1tb_jax,trial_1,validation/loss,0.123735,True,0.1236780861794127,7853.642936706543,7140.8094828128815,1.7633445439952435,10666 -17,criteo1tb_jax,trial_1,validation/loss,0.123735,False,0.1238261394401308,13222.375915288923,inf,1.7633445439952435,10666 -26,criteo1tb_jax,trial_1,validation/loss,0.123735,False,0.1237888046626876,13213.711726427078,inf,1.7633445439952435,10666 -1,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7237302214494232,1731.1340837478638,1731.1340837478638,1.1496743187308311,18094 -10,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7237188181450478,2594.667304039001,2594.667304039001,1.1496743187308311,18094 -19,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7238083272149338,2397.40203499794,2397.40203499794,1.1496743187308311,18094 -7,finewebedu_lm_jax,trial_1,validation/ppl,22.2995,True,21.63105596611465,12875.024502277374,12875.024502277374,0.22480757398142498,72000 -16,finewebedu_lm_jax,trial_1,validation/ppl,22.2995,True,21.74279164065674,12876.279433250427,12876.279433250427,0.22480757398142498,72000 -25,finewebedu_lm_jax,trial_1,validation/ppl,22.2995,True,21.683878980951235,12875.283079862596,12875.283079862596,0.22480757398142498,72000 -0,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.32668,2046.26813864708,inf,0.25022096920710724,195999 -9,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.37228,12025.559068441393,inf,0.25022096920710724,195999 -18,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.3381,43958.733882665634,inf,0.25022096920710724,195999 +2,criteo1tb_jax,trial_1,validation/loss,0.123735,True,0.1236780861794127,7853.642936706543,7140.8094828128815,1.7633445439952435,10666 +11,criteo1tb_jax,trial_1,validation/loss,0.123735,False,0.1238261394401308,13222.375915288923,inf,1.7633445439952435,10666 +20,criteo1tb_jax,trial_1,validation/loss,0.123735,False,0.1237888046626876,13213.711726427078,inf,1.7633445439952435,10666 +5,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7237302214494232,1731.1340837478638,1731.1340837478638,1.1496743187308311,18094 +14,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7237188181450478,2594.667304039001,2594.667304039001,1.1496743187308311,18094 +23,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7238083272149338,2397.40203499794,2397.40203499794,1.1496743187308311,18094 +1,finewebedu_lm_jax,trial_1,validation/ppl,22.2995,True,21.63105596611465,12875.024502277374,12875.024502277374,0.22480757398142498,72000 +10,finewebedu_lm_jax,trial_1,validation/ppl,22.2995,True,21.74279164065674,12876.279433250427,12876.279433250427,0.22480757398142498,72000 +19,finewebedu_lm_jax,trial_1,validation/ppl,22.2995,True,21.683878980951235,12875.283079862596,12875.283079862596,0.22480757398142498,72000 +7,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.32668,2046.26813864708,inf,0.25022096920710724,195999 +16,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.37228,12025.559068441393,inf,0.25022096920710724,195999 +25,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.3381,43958.733882665634,inf,0.25022096920710724,195999 6,imagenet_vit_jax,trial_1,validation/accuracy,0.77309,True,0.77448,82325.32389187813,82325.32389187813,0.522412035514241,167999 15,imagenet_vit_jax,trial_1,validation/accuracy,0.77309,False,0.75714,87510.92576980591,inf,0.522412035514241,167999 24,imagenet_vit_jax,trial_1,validation/accuracy,0.77309,True,0.77344,87468.86081624031,87468.86081624031,0.522412035514241,167999 -4,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.1549944479312509,65011.38493800163,inf,2.5689073843042243,76000 -13,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.5567904214744364,65011.67010974884,inf,2.5689073843042243,76000 -22,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.1187177135132525,64999.67829537392,inf,2.5689073843042243,76000 -5,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.1350263119779848,55134.126436948776,inf,1.2618603325971023,38400 -14,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.1357311833148264,55131.02417516709,inf,1.2618603325971023,38400 -23,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.1353352966735866,55139.79888033867,inf,1.2618603325971023,38400 -3,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,True,0.2882117430802368,5446.973826885223,5446.973826885223,0.2001300537781464,52000 -12,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,True,0.2861864452395915,5446.995653152466,5446.995653152466,0.2001300537781464,52000 -21,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,True,0.2842350234539836,5446.266435623169,5446.266435623169,0.2001300537781464,52000 -2,wmt_jax,trial_1,validation/bleu,30.8491,True,30.85016934441424,16161.202248096466,16161.202248096466,0.1313800575391753,120000 -11,wmt_jax,trial_1,validation/bleu,30.8491,True,30.857123789991796,21309.901624917984,21309.901624917984,0.1313800575391753,120000 -20,wmt_jax,trial_1,validation/bleu,30.8491,True,30.921054351078247,12938.92156648636,12938.92156648636,0.1313800575391753,120000 +0,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.1549944479312509,65011.38493800163,inf,2.5689073843042243,76000 +9,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.5567904214744364,65011.67010974884,inf,2.5689073843042243,76000 +18,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.1187177135132525,64999.67829537392,inf,2.5689073843042243,76000 +3,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.1350263119779848,55134.126436948776,inf,1.2618603325971023,38400 +12,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.1357311833148264,55131.02417516709,inf,1.2618603325971023,38400 +21,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.1353352966735866,55139.79888033867,inf,1.2618603325971023,38400 +4,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,True,0.2882117430802368,5446.973826885223,5446.973826885223,0.2001300537781464,52000 +13,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,True,0.2861864452395915,5446.995653152466,5446.995653152466,0.2001300537781464,52000 +22,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,True,0.2842350234539836,5446.266435623169,5446.266435623169,0.2001300537781464,52000 +8,wmt_jax,trial_1,validation/bleu,30.8491,True,30.85016934441424,16161.202248096466,16161.202248096466,0.1313800575391753,120000 +17,wmt_jax,trial_1,validation/bleu,30.8491,True,30.857123789991796,21309.901624917984,21309.901624917984,0.1313800575391753,120000 +26,wmt_jax,trial_1,validation/bleu,30.8491,True,30.921054351078247,12938.92156648636,12938.92156648636,0.1313800575391753,120000 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/schedule_free_adamw_jax_v2_summary.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/schedule_free_adamw_jax_v2_summary.csv index ea9f316d..fd47b5a4 100644 --- a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/schedule_free_adamw_jax_v2_summary.csv +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/schedule_free_adamw_jax_v2_summary.csv @@ -1,28 +1,28 @@ ,workload,trial,val target metric name,val target metric value,val target reached,best metric value on val,time to best eval on val (s),time to target on val (s),step_time (s),step_hint -8,criteo1tb_jax,trial_1,validation/loss,0.123735,True,0.1236824611515756,7494.73098731041,7494.73098731041,0.8966913763762121,10666 -17,criteo1tb_jax,trial_1,validation/loss,0.123735,True,0.1236955728693145,8204.54053902626,8204.54053902626,0.8966913763762121,10666 -26,criteo1tb_jax,trial_1,validation/loss,0.123735,True,0.1237031599809202,8561.992237091064,8205.83998131752,0.8966913763762121,10666 -1,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7237456777354742,1850.625381946564,1850.625381946564,0.3698403887300683,18094 -10,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7239381600177617,1854.5847795009613,1854.5847795009613,0.3698403887300683,18094 -19,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7237980917188379,1610.791705369949,1610.791705369949,0.3698403887300683,18094 -7,finewebedu_lm_jax,trial_1,validation/ppl,22.2995,True,22.063707391204822,15451.99134683609,15451.99134683609,0.22534573858673873,72000 -16,finewebedu_lm_jax,trial_1,validation/ppl,22.2995,True,22.084079790540933,15451.332998037338,15451.332998037338,0.22534573858673873,72000 -25,finewebedu_lm_jax,trial_1,validation/ppl,22.2995,True,21.41176473745201,18017.74631667137,18017.74631667137,0.22534573858673873,72000 -0,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.03464,2051.405519247055,inf,0.44776864374720626,195999 -9,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.04014,2058.181893348694,inf,0.44776864374720626,195999 -18,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.036059998,2058.049063682556,inf,0.44776864374720626,195999 +2,criteo1tb_jax,trial_1,validation/loss,0.123735,True,0.1236824611515756,7494.73098731041,7494.73098731041,0.8966913763762121,10666 +11,criteo1tb_jax,trial_1,validation/loss,0.123735,True,0.1236955728693145,8204.54053902626,8204.54053902626,0.8966913763762121,10666 +20,criteo1tb_jax,trial_1,validation/loss,0.123735,True,0.1237031599809202,8561.992237091064,8205.83998131752,0.8966913763762121,10666 +5,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7237456777354742,1850.625381946564,1850.625381946564,0.3698403887300683,18094 +14,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7239381600177617,1854.5847795009613,1854.5847795009613,0.3698403887300683,18094 +23,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7237980917188379,1610.791705369949,1610.791705369949,0.3698403887300683,18094 +1,finewebedu_lm_jax,trial_1,validation/ppl,22.2995,True,22.063707391204822,15451.99134683609,15451.99134683609,0.22534573858673873,72000 +10,finewebedu_lm_jax,trial_1,validation/ppl,22.2995,True,22.084079790540933,15451.332998037338,15451.332998037338,0.22534573858673873,72000 +19,finewebedu_lm_jax,trial_1,validation/ppl,22.2995,True,21.41176473745201,18017.74631667137,18017.74631667137,0.22534573858673873,72000 +7,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.75412,55937.934849500656,inf,0.2718141573124485,195999 +16,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.75696,73898.40845513344,inf,0.2718141573124485,195999 +25,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.75606,73900.43143868446,inf,0.2718141573124485,195999 6,imagenet_vit_jax,trial_1,validation/accuracy,0.77309,True,0.77356,84891.75501847267,84891.75501847267,0.49135053230701276,167999 15,imagenet_vit_jax,trial_1,validation/accuracy,0.77309,True,0.7732,90041.78416395187,90041.78416395187,0.49135053230701276,167999 24,imagenet_vit_jax,trial_1,validation/accuracy,0.77309,True,0.77349997,79757.28538060188,79757.28538060188,0.49135053230701276,167999 -4,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.123883551392845,65000.42595148087,inf,2.6878856915000933,76000 -13,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.5209675083281031,64987.36187624931,inf,2.6878856915000933,76000 -22,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.8858494665186115,65011.33872246742,inf,2.6878856915000933,76000 -5,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.1574759812678028,55212.78796505928,inf,2.8562571235897436,38400 -14,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.1543088881378844,55199.30320453644,inf,2.8562571235897436,38400 -23,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.1572828658330517,55205.010649204254,inf,2.8562571235897436,38400 -3,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,True,0.286413382088369,5445.974807500839,5445.974807500839,0.19452367417783623,52000 -12,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,True,0.2833401175109442,4543.061010599136,4543.061010599136,0.19452367417783623,52000 -21,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,True,0.2839604337758715,5444.019295454025,5444.019295454025,0.19452367417783623,52000 -2,wmt_jax,trial_1,validation/bleu,30.8491,False,30.80719747887025,18087.94602179528,inf,0.13178440840034025,120000 -11,wmt_jax,trial_1,validation/bleu,30.8491,False,30.82293691746224,18733.534309864044,inf,0.13178440840034025,120000 -20,wmt_jax,trial_1,validation/bleu,30.8491,True,30.89861759064164,12937.488843202593,12937.488843202593,0.13178440840034025,120000 +0,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.123883551392845,65000.42595148087,inf,2.6878856915000933,76000 +9,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.5209675083281031,64987.36187624931,inf,2.6878856915000933,76000 +18,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.8858494665186115,65011.33872246742,inf,2.6878856915000933,76000 +3,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.1574759812678028,55212.78796505928,inf,2.8562571235897436,38400 +12,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.1543088881378844,55199.30320453644,inf,2.8562571235897436,38400 +21,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.1572828658330517,55205.010649204254,inf,2.8562571235897436,38400 +4,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,True,0.286413382088369,5445.974807500839,5445.974807500839,0.19452367417783623,52000 +13,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,True,0.2833401175109442,4543.061010599136,4543.061010599136,0.19452367417783623,52000 +22,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,True,0.2839604337758715,5444.019295454025,5444.019295454025,0.19452367417783623,52000 +8,wmt_jax,trial_1,validation/bleu,30.8491,False,30.80719747887025,18087.94602179528,inf,0.13178440840034025,120000 +17,wmt_jax,trial_1,validation/bleu,30.8491,False,30.82293691746224,18733.534309864044,inf,0.13178440840034025,120000 +26,wmt_jax,trial_1,validation/bleu,30.8491,True,30.89861759064164,12937.488843202593,12937.488843202593,0.13178440840034025,120000 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/schedule_free_adamw_summary.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/schedule_free_adamw_summary.csv index 0d6aaa05..aa258ddf 100644 --- a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/schedule_free_adamw_summary.csv +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/schedule_free_adamw_summary.csv @@ -2,27 +2,27 @@ 7,criteo1tb_pytorch,trial_1,validation/loss,0.123735,True,0.123695969072577,10693.990020275116,10337.671689033508,1.0176147447313595,10666 16,criteo1tb_pytorch,trial_1,validation/loss,0.123735,True,0.1237318931772052,7484.81304359436,7484.81304359436,1.0176147447313595,10666 25,criteo1tb_pytorch,trial_1,validation/loss,0.123735,False,0.1238283343342011,13201.571621894836,inf,1.0176147447313595,10666 -1,fastmri_pytorch,trial_1,validation/ssim,0.723653,True,0.7243006614466094,1188.9131379127502,1188.9131379127502,0.37200399077668483,18094 -10,fastmri_pytorch,trial_1,validation/ssim,0.723653,True,0.7241639591833146,1084.00980591774,1084.00980591774,0.37200399077668483,18094 -19,fastmri_pytorch,trial_1,validation/ssim,0.723653,True,0.7237026749129502,1414.2303750514984,1414.2303750514984,0.37200399077668483,18094 -8,finewebedu_lm_pytorch,trial_1,validation/ppl,22.2995,False,26.85374456024656,18022.233601808548,inf,0.39088582110865655,72000 -17,finewebedu_lm_pytorch,trial_1,validation/ppl,22.2995,False,27.82547828346764,38578.81546521187,inf,0.39088582110865655,72000 -26,finewebedu_lm_pytorch,trial_1,validation/ppl,22.2995,False,26.96230657281026,28299.942929506306,inf,0.39088582110865655,72000 -0,imagenet_resnet_pytorch,trial_1,validation/accuracy,0.77431,False,0.47426,20031.86983823776,inf,0.7580861347745502,195999 -9,imagenet_resnet_pytorch,trial_1,validation/accuracy,0.77431,False,0.4676,4114.095727682114,inf,0.7580861347745502,195999 -18,imagenet_resnet_pytorch,trial_1,validation/accuracy,0.77431,False,0.4552,20045.60598516464,inf,0.7580861347745502,195999 -2,imagenet_vit_pytorch,trial_1,validation/accuracy,0.77309,False,0.66804,84876.44285774231,inf,0.798625143555511,167999 -11,imagenet_vit_pytorch,trial_1,validation/accuracy,0.77309,False,0.66444,87409.16011619568,inf,0.798625143555511,167999 -20,imagenet_vit_pytorch,trial_1,validation/accuracy,0.77309,False,0.6597,89980.17051744461,inf,0.798625143555511,167999 -3,librispeech_conformer_pytorch,trial_1,validation/wer,0.085884,False,0.0877323420074349,64552.02477765083,inf,0.636074872542087,76000 -12,librispeech_conformer_pytorch,trial_1,validation/wer,0.085884,False,0.1268092502293245,64541.00859761238,inf,0.636074872542087,76000 -21,librispeech_conformer_pytorch,trial_1,validation/wer,0.085884,True,0.0847969873992178,55843.257081747055,55843.257081747055,0.636074872542087,76000 -5,librispeech_deepspeech_pytorch,trial_1,validation/wer,0.119936,True,0.1198474388065466,36135.45188999176,36135.45188999176,0.4369991325858944,38400 -14,librispeech_deepspeech_pytorch,trial_1,validation/wer,0.119936,True,0.1197798484043837,40477.75217223168,40477.75217223168,0.4369991325858944,38400 -23,librispeech_deepspeech_pytorch,trial_1,validation/wer,0.119936,True,0.1190170424371167,40463.388149023056,40463.388149023056,0.4369991325858944,38400 -4,ogbg_pytorch,trial_1,validation/mean_average_precision,0.28098,True,0.28535290526426,3640.148542404175,3640.148542404175,0.23042852374871498,52000 -13,ogbg_pytorch,trial_1,validation/mean_average_precision,0.28098,True,0.283665861188384,4969.322802782059,4969.322802782059,0.23042852374871498,52000 -22,ogbg_pytorch,trial_1,validation/mean_average_precision,0.28098,True,0.2823012178053458,3624.553771257401,3624.553771257401,0.23042852374871498,52000 -6,wmt_pytorch,trial_1,validation/bleu,30.8491,True,30.88398743654469,21238.623005867004,21238.623005867004,0.1480193403642912,120000 -15,wmt_pytorch,trial_1,validation/bleu,30.8491,True,30.914680764174825,16745.45179581642,15461.67885351181,0.1480193403642912,120000 -24,wmt_pytorch,trial_1,validation/bleu,30.8491,True,30.954489013105448,19957.71787595749,19957.71787595749,0.1480193403642912,120000 +5,fastmri_pytorch,trial_1,validation/ssim,0.723653,True,0.7243006614466094,1188.9131379127502,1188.9131379127502,0.37200399077668483,18094 +14,fastmri_pytorch,trial_1,validation/ssim,0.723653,True,0.7241639591833146,1084.00980591774,1084.00980591774,0.37200399077668483,18094 +23,fastmri_pytorch,trial_1,validation/ssim,0.723653,True,0.7237026749129502,1414.2303750514984,1414.2303750514984,0.37200399077668483,18094 +1,finewebedu_lm_pytorch,trial_1,validation/ppl,22.2995,False,26.85374456024656,18022.233601808548,inf,0.39088582110865655,72000 +10,finewebedu_lm_pytorch,trial_1,validation/ppl,22.2995,False,27.82547828346764,38578.81546521187,inf,0.39088582110865655,72000 +19,finewebedu_lm_pytorch,trial_1,validation/ppl,22.2995,False,26.96230657281026,28299.942929506306,inf,0.39088582110865655,72000 +6,imagenet_resnet_pytorch,trial_1,validation/accuracy,0.77431,False,0.47426,20031.86983823776,inf,0.7580861347745502,195999 +15,imagenet_resnet_pytorch,trial_1,validation/accuracy,0.77431,False,0.4676,4114.095727682114,inf,0.7580861347745502,195999 +24,imagenet_resnet_pytorch,trial_1,validation/accuracy,0.77431,False,0.4552,20045.60598516464,inf,0.7580861347745502,195999 +4,imagenet_vit_pytorch,trial_1,validation/accuracy,0.77309,False,0.66804,84876.44285774231,inf,0.798625143555511,167999 +13,imagenet_vit_pytorch,trial_1,validation/accuracy,0.77309,False,0.66444,87409.16011619568,inf,0.798625143555511,167999 +22,imagenet_vit_pytorch,trial_1,validation/accuracy,0.77309,False,0.6597,89980.17051744461,inf,0.798625143555511,167999 +2,librispeech_conformer_pytorch,trial_1,validation/wer,0.085884,False,0.0877323420074349,64552.02477765083,inf,0.636074872542087,76000 +11,librispeech_conformer_pytorch,trial_1,validation/wer,0.085884,False,0.1268092502293245,64541.00859761238,inf,0.636074872542087,76000 +20,librispeech_conformer_pytorch,trial_1,validation/wer,0.085884,True,0.0847969873992178,55843.257081747055,55843.257081747055,0.636074872542087,76000 +8,librispeech_deepspeech_pytorch,trial_1,validation/wer,0.119936,True,0.1198474388065466,36135.45188999176,36135.45188999176,0.4369991325858944,38400 +17,librispeech_deepspeech_pytorch,trial_1,validation/wer,0.119936,True,0.1197798484043837,40477.75217223168,40477.75217223168,0.4369991325858944,38400 +26,librispeech_deepspeech_pytorch,trial_1,validation/wer,0.119936,True,0.1190170424371167,40463.388149023056,40463.388149023056,0.4369991325858944,38400 +3,ogbg_pytorch,trial_1,validation/mean_average_precision,0.28098,True,0.28535290526426,3640.148542404175,3640.148542404175,0.23042852374871498,52000 +12,ogbg_pytorch,trial_1,validation/mean_average_precision,0.28098,True,0.283665861188384,4969.322802782059,4969.322802782059,0.23042852374871498,52000 +21,ogbg_pytorch,trial_1,validation/mean_average_precision,0.28098,True,0.2823012178053458,3624.553771257401,3624.553771257401,0.23042852374871498,52000 +0,wmt_pytorch,trial_1,validation/bleu,30.8491,True,30.88398743654469,21238.623005867004,21238.623005867004,0.1480193403642912,120000 +9,wmt_pytorch,trial_1,validation/bleu,30.8491,True,30.914680764174825,16745.45179581642,15461.67885351181,0.1480193403642912,120000 +18,wmt_pytorch,trial_1,validation/bleu,30.8491,True,30.954489013105448,19957.71787595749,19957.71787595749,0.1480193403642912,120000 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/schedule_free_adamw_v2_summary.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/schedule_free_adamw_v2_summary.csv index cc995ab9..ce4b86fb 100644 --- a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/schedule_free_adamw_v2_summary.csv +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/schedule_free_adamw_v2_summary.csv @@ -2,26 +2,26 @@ 7,criteo1tb_pytorch,trial_1,validation/loss,0.123735,True,0.1236836366985733,7836.119033813477,7480.571330547333,0.909490487405232,10666 16,criteo1tb_pytorch,trial_1,validation/loss,0.123735,True,0.1236888022091851,8195.66323542595,7483.040989398956,0.909490487405232,10666 24,criteo1tb_pytorch,trial_1,validation/loss,0.123735,True,0.1236981323330379,6768.513046264648,6768.513046264648,0.909490487405232,10666 -1,fastmri_pytorch,trial_1,validation/ssim,0.723653,True,0.7243824080261677,1018.5896019935608,1018.5896019935608,0.2531965345361251,18094 -10,fastmri_pytorch,trial_1,validation/ssim,0.723653,True,0.7242272269142164,1279.6873631477356,1279.6873631477356,0.2531965345361251,18094 -19,fastmri_pytorch,trial_1,validation/ssim,0.723653,True,0.7240946463272018,1128.837876081467,1128.837876081467,0.2531965345361251,18094 -8,finewebedu_lm_pytorch,trial_1,validation/ppl,22.2995,False,22.907429657990484,46293.00692868233,inf,0.39557035112902283,72000 -17,finewebedu_lm_pytorch,trial_1,validation/ppl,22.2995,False,23.1486231732884,46274.09501791,inf,0.39557035112902283,72000 -25,finewebedu_lm_pytorch,trial_1,validation/ppl,22.2995,False,23.129587841090785,43710.66011118889,inf,0.39557035112902283,72000 -0,imagenet_resnet_pytorch,trial_1,validation/accuracy,0.77431,False,0.67248,55976.22831273079,inf,0.8173056068837263,195999 -9,imagenet_resnet_pytorch,trial_1,validation/accuracy,0.77431,False,0.67436,73961.89125466347,inf,0.8173056068837263,195999 -18,imagenet_resnet_pytorch,trial_1,validation/accuracy,0.77431,False,0.68412,69928.90233135223,inf,0.8173056068837263,195999 -2,imagenet_vit_pytorch,trial_1,validation/accuracy,0.77309,False,0.65356,95099.52543473244,inf,0.8838809331652617,167999 -11,imagenet_vit_pytorch,trial_1,validation/accuracy,0.77309,False,0.64404,92544.23992848396,inf,0.8838809331652617,167999 -3,librispeech_conformer_pytorch,trial_1,validation/wer,0.085884,False,0.0894317578332448,64575.97684216499,inf,0.6624823705895609,76000 -12,librispeech_conformer_pytorch,trial_1,validation/wer,0.085884,True,0.0854922029643219,55846.44081497192,55846.44081497192,0.6624823705895609,76000 +5,fastmri_pytorch,trial_1,validation/ssim,0.723653,True,0.7243824080261677,1018.5896019935608,1018.5896019935608,0.2531965345361251,18094 +14,fastmri_pytorch,trial_1,validation/ssim,0.723653,True,0.7242272269142164,1279.6873631477356,1279.6873631477356,0.2531965345361251,18094 +22,fastmri_pytorch,trial_1,validation/ssim,0.723653,True,0.7240946463272018,1128.837876081467,1128.837876081467,0.2531965345361251,18094 +1,finewebedu_lm_pytorch,trial_1,validation/ppl,22.2995,False,22.907429657990484,46293.00692868233,inf,0.39557035112902283,72000 +10,finewebedu_lm_pytorch,trial_1,validation/ppl,22.2995,False,23.1486231732884,46274.09501791,inf,0.39557035112902283,72000 +19,finewebedu_lm_pytorch,trial_1,validation/ppl,22.2995,False,23.129587841090785,43710.66011118889,inf,0.39557035112902283,72000 +6,imagenet_resnet_pytorch,trial_1,validation/accuracy,0.77431,False,0.67248,55976.22831273079,inf,0.8173056068837263,195999 +15,imagenet_resnet_pytorch,trial_1,validation/accuracy,0.77431,False,0.67436,73961.89125466347,inf,0.8173056068837263,195999 +23,imagenet_resnet_pytorch,trial_1,validation/accuracy,0.77431,False,0.68412,69928.90233135223,inf,0.8173056068837263,195999 +4,imagenet_vit_pytorch,trial_1,validation/accuracy,0.77309,False,0.65356,95099.52543473244,inf,0.8838809331652617,167999 +13,imagenet_vit_pytorch,trial_1,validation/accuracy,0.77309,False,0.64404,92544.23992848396,inf,0.8838809331652617,167999 +2,librispeech_conformer_pytorch,trial_1,validation/wer,0.085884,False,0.0894317578332448,64575.97684216499,inf,0.6624823705895609,76000 +11,librispeech_conformer_pytorch,trial_1,validation/wer,0.085884,True,0.0854922029643219,55846.44081497192,55846.44081497192,0.6624823705895609,76000 20,librispeech_conformer_pytorch,trial_1,validation/wer,0.085884,True,0.0855018587360594,54098.90682005882,54098.90682005882,0.6624823705895609,76000 -5,librispeech_deepspeech_pytorch,trial_1,validation/wer,0.119936,True,0.119316371360981,36138.43036651611,36138.43036651611,0.5242204456710123,38400 -14,librispeech_deepspeech_pytorch,trial_1,validation/wer,0.119936,True,0.1196350118283203,43377.43124747276,43377.43124747276,0.5242204456710123,38400 -22,librispeech_deepspeech_pytorch,trial_1,validation/wer,0.119936,True,0.119750881089171,41911.17554831505,41911.17554831505,0.5242204456710123,38400 -4,ogbg_pytorch,trial_1,validation/mean_average_precision,0.28098,True,0.2844002947409835,6330.916296482086,6330.916296482086,0.21809077900113122,52000 -13,ogbg_pytorch,trial_1,validation/mean_average_precision,0.28098,True,0.2829456743930914,5872.041952133179,5872.041952133179,0.21809077900113122,52000 +8,librispeech_deepspeech_pytorch,trial_1,validation/wer,0.119936,True,0.119316371360981,36138.43036651611,36138.43036651611,0.5242204456710123,38400 +17,librispeech_deepspeech_pytorch,trial_1,validation/wer,0.119936,True,0.1196350118283203,43377.43124747276,43377.43124747276,0.5242204456710123,38400 +25,librispeech_deepspeech_pytorch,trial_1,validation/wer,0.119936,True,0.119750881089171,41911.17554831505,41911.17554831505,0.5242204456710123,38400 +3,ogbg_pytorch,trial_1,validation/mean_average_precision,0.28098,True,0.2844002947409835,6330.916296482086,6330.916296482086,0.21809077900113122,52000 +12,ogbg_pytorch,trial_1,validation/mean_average_precision,0.28098,True,0.2829456743930914,5872.041952133179,5872.041952133179,0.21809077900113122,52000 21,ogbg_pytorch,trial_1,validation/mean_average_precision,0.28098,True,0.2842687873347874,6325.430662155151,6325.430662155151,0.21809077900113122,52000 -6,wmt_pytorch,trial_1,validation/bleu,30.8491,True,30.968261630078437,10325.45705485344,10325.45705485344,0.14011229786067375,120000 -15,wmt_pytorch,trial_1,validation/bleu,30.8491,True,30.90527060487547,11614.250758886335,11614.250758886335,0.14011229786067375,120000 -23,wmt_pytorch,trial_1,validation/bleu,30.8491,True,30.96477125743624,8397.619731426239,7755.601474523544,0.14011229786067375,120000 +0,wmt_pytorch,trial_1,validation/bleu,30.8491,True,30.968261630078437,10325.45705485344,10325.45705485344,0.14011229786067375,120000 +9,wmt_pytorch,trial_1,validation/bleu,30.8491,True,30.90527060487547,11614.250758886335,11614.250758886335,0.14011229786067375,120000 +18,wmt_pytorch,trial_1,validation/bleu,30.8491,True,30.96477125743624,8397.619731426239,7755.601474523544,0.14011229786067375,120000 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/single_worker_diloco_summary.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/single_worker_diloco_summary.csv index 9af70b69..1f413b49 100644 --- a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/single_worker_diloco_summary.csv +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/single_worker_diloco_summary.csv @@ -1,27 +1,27 @@ ,workload,trial,val target metric name,val target metric value,val target reached,best metric value on val,time to best eval on val (s),time to target on val (s),step_time (s),step_hint -8,criteo1tb_jax,trial_1,validation/loss,0.123735,False,0.1240051719548662,12536.648544311523,inf,2.029253848574378,10666 -17,criteo1tb_jax,trial_1,validation/loss,0.123735,False,0.1241770580473042,13238.60691356659,inf,2.029253848574378,10666 -25,criteo1tb_jax,trial_1,validation/loss,0.123735,True,0.1236790314233259,8951.699251413345,8951.699251413345,2.029253848574378,10666 -1,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7243454503288548,1824.361733198166,1824.361733198166,1.0101386800818486,18094 -10,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7240330959614167,2934.3234000206,2934.3234000206,1.0101386800818486,18094 -7,finewebedu_lm_jax,trial_1,validation/ppl,22.2995,True,21.299927329840155,28315.804240703583,28315.804240703583,0.46192917255577687,72000 -16,finewebedu_lm_jax,trial_1,validation/ppl,22.2995,True,21.323351155823907,28314.819189310077,28314.819189310077,0.46192917255577687,72000 -24,finewebedu_lm_jax,trial_1,validation/ppl,22.2995,True,21.30258852443628,28313.505344867703,28313.505344867703,0.46192917255577687,72000 -0,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.75864,59924.7624270916,inf,0.2547951958011423,195999 -9,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.76084,73905.25310635567,inf,0.2547951958011423,195999 -18,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.76207995,57916.22069811821,inf,0.2547951958011423,195999 +2,criteo1tb_jax,trial_1,validation/loss,0.123735,False,0.1240051719548662,12536.648544311523,inf,2.029253848574378,10666 +11,criteo1tb_jax,trial_1,validation/loss,0.123735,False,0.1241770580473042,13238.60691356659,inf,2.029253848574378,10666 +20,criteo1tb_jax,trial_1,validation/loss,0.123735,True,0.1236790314233259,8951.699251413345,8951.699251413345,2.029253848574378,10666 +5,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7243454503288548,1824.361733198166,1824.361733198166,1.0101386800818486,18094 +14,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7240330959614167,2934.3234000206,2934.3234000206,1.0101386800818486,18094 +1,finewebedu_lm_jax,trial_1,validation/ppl,22.2995,True,21.299927329840155,28315.804240703583,28315.804240703583,0.46192917255577687,72000 +10,finewebedu_lm_jax,trial_1,validation/ppl,22.2995,True,21.323351155823907,28314.819189310077,28314.819189310077,0.46192917255577687,72000 +19,finewebedu_lm_jax,trial_1,validation/ppl,22.2995,True,21.30258852443628,28313.505344867703,28313.505344867703,0.46192917255577687,72000 +7,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.75864,59924.7624270916,inf,0.2547951958011423,195999 +16,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.76084,73905.25310635567,inf,0.2547951958011423,195999 +24,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.76207995,57916.22069811821,inf,0.2547951958011423,195999 6,imagenet_vit_jax,trial_1,validation/accuracy,0.77309,False,0.732,87449.53238081932,inf,0.49808267468873035,167999 15,imagenet_vit_jax,trial_1,validation/accuracy,0.77309,False,0.69314,92609.95464468002,inf,0.49808267468873035,167999 23,imagenet_vit_jax,trial_1,validation/accuracy,0.77309,False,0.73982,82302.74896216393,inf,0.49808267468873035,167999 -4,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.896190798049534,15938.47878575325,inf,2.739086131503963,76000 -13,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.1782552020470236,63227.4588804245,inf,2.739086131503963,76000 -21,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.1883068604258195,64987.82690048218,inf,2.739086131503963,76000 -5,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.1556993192680925,53798.12966442108,inf,2.648808918364061,38400 -14,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.1608168782889972,55242.17136979103,inf,2.648808918364061,38400 -22,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.160256843528219,55258.4434466362,inf,2.648808918364061,38400 -3,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,False,0.2752502023880646,4991.95076751709,inf,0.19546009999048936,52000 -12,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,False,0.2770207933431546,5446.170157909393,inf,0.19546009999048936,52000 -20,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,False,0.2721272001835208,4542.065598726273,inf,0.19546009999048936,52000 -2,wmt_jax,trial_1,validation/bleu,30.8491,False,30.060962305551648,15523.899386644363,inf,0.1408422923478924,120000 -11,wmt_jax,trial_1,validation/bleu,30.8491,False,29.21444071534188,17454.147111177444,inf,0.1408422923478924,120000 -19,wmt_jax,trial_1,validation/bleu,30.8491,False,30.1649320836006,16168.221429347992,inf,0.1408422923478924,120000 +0,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.896190798049534,15938.47878575325,inf,2.739086131503963,76000 +9,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.1782552020470236,63227.4588804245,inf,2.739086131503963,76000 +18,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.1883068604258195,64987.82690048218,inf,2.739086131503963,76000 +3,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.1556993192680925,53798.12966442108,inf,2.648808918364061,38400 +12,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.1608168782889972,55242.17136979103,inf,2.648808918364061,38400 +21,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.160256843528219,55258.4434466362,inf,2.648808918364061,38400 +4,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,False,0.2752502023880646,4991.95076751709,inf,0.19546009999048936,52000 +13,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,False,0.2770207933431546,5446.170157909393,inf,0.19546009999048936,52000 +22,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,False,0.2721272001835208,4542.065598726273,inf,0.19546009999048936,52000 +8,wmt_jax,trial_1,validation/bleu,30.8491,False,30.060962305551648,15523.899386644363,inf,0.1408422923478924,120000 +17,wmt_jax,trial_1,validation/bleu,30.8491,False,29.21444071534188,17454.147111177444,inf,0.1408422923478924,120000 +25,wmt_jax,trial_1,validation/bleu,30.8491,False,30.1649320836006,16168.221429347992,inf,0.1408422923478924,120000 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/single_worker_dilocov2_summary.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/single_worker_dilocov2_summary.csv index 5b15bc7c..5df19345 100644 --- a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/single_worker_dilocov2_summary.csv +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/summaries/single_worker_dilocov2_summary.csv @@ -1,27 +1,27 @@ ,workload,trial,val target metric name,val target metric value,val target reached,best metric value on val,time to best eval on val (s),time to target on val (s),step_time (s),step_hint -8,criteo1tb_jax,trial_1,validation/loss,0.123735,False,0.1242709456268029,13033.471937417984,inf,1.9572563744633575,10666 -17,criteo1tb_jax,trial_1,validation/loss,0.123735,False,0.1243268175997028,12450.281544446943,inf,1.9572563744633575,10666 -25,criteo1tb_jax,trial_1,validation/loss,0.123735,False,0.1243662101918146,12143.230377197266,inf,1.9572563744633575,10666 -1,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7246792374129502,3013.444573879242,3013.444573879242,1.2131462696771385,18094 -10,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7237136660496976,2578.1419467926025,2578.1419467926025,1.2131462696771385,18094 -19,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7237209476777926,2561.646829843521,2561.646829843521,1.2131462696771385,18094 -7,finewebedu_lm_jax,trial_1,validation/ppl,22.2995,True,21.83711947316281,28313.97388148308,28313.97388148308,0.47487529266350237,72000 -16,finewebedu_lm_jax,trial_1,validation/ppl,22.2995,True,21.66829751540793,28312.441186904907,28312.441186904907,0.47487529266350237,72000 -24,finewebedu_lm_jax,trial_1,validation/ppl,22.2995,True,22.06385468283391,28316.03405380249,28316.03405380249,0.47487529266350237,72000 -0,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.73524,71938.87695384026,inf,0.49430486468060464,195999 -9,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.76023996,63908.86873793602,inf,0.49430486468060464,195999 -18,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.67983997,73927.91577363014,inf,0.49430486468060464,195999 +2,criteo1tb_jax,trial_1,validation/loss,0.123735,False,0.1242709456268029,13033.471937417984,inf,1.9572563744633575,10666 +11,criteo1tb_jax,trial_1,validation/loss,0.123735,False,0.1243268175997028,12450.281544446943,inf,1.9572563744633575,10666 +19,criteo1tb_jax,trial_1,validation/loss,0.123735,False,0.1243662101918146,12143.230377197266,inf,1.9572563744633575,10666 +5,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7246792374129502,3013.444573879242,3013.444573879242,1.2131462696771385,18094 +14,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7237136660496976,2578.1419467926025,2578.1419467926025,1.2131462696771385,18094 +22,fastmri_jax,trial_1,validation/ssim,0.723653,True,0.7237209476777926,2561.646829843521,2561.646829843521,1.2131462696771385,18094 +1,finewebedu_lm_jax,trial_1,validation/ppl,22.2995,True,21.83711947316281,28313.97388148308,28313.97388148308,0.47487529266350237,72000 +10,finewebedu_lm_jax,trial_1,validation/ppl,22.2995,True,21.66829751540793,28312.441186904907,28312.441186904907,0.47487529266350237,72000 +18,finewebedu_lm_jax,trial_1,validation/ppl,22.2995,True,22.06385468283391,28316.03405380249,28316.03405380249,0.47487529266350237,72000 +7,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.73524,71938.87695384026,inf,0.49430486468060464,195999 +16,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.76023996,63908.86873793602,inf,0.49430486468060464,195999 +24,imagenet_resnet_jax,trial_1,validation/accuracy,0.77431,False,0.67983997,73927.91577363014,inf,0.49430486468060464,195999 6,imagenet_vit_jax,trial_1,validation/accuracy,0.77309,False,0.6832,82303.60297131538,inf,0.5116912722504399,167999 15,imagenet_vit_jax,trial_1,validation/accuracy,0.77309,False,0.68395996,84880.63724040985,inf,0.5116912722504399,167999 23,imagenet_vit_jax,trial_1,validation/accuracy,0.77309,False,0.69978,82310.41092848778,inf,0.5116912722504399,167999 -4,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.2844686911601409,64958.12221217156,inf,2.5898517384196813,76000 -13,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.2280886399845507,65014.05562067032,inf,2.5898517384196813,76000 -5,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.1654419929512866,55277.98472857475,inf,2.603047242070443,38400 -14,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.1633370347124993,55251.850288152695,inf,2.603047242070443,38400 -22,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.1682904456138657,55264.86380052567,inf,2.603047242070443,38400 -3,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,False,0.2719100741047621,5445.762615919113,inf,0.19557801595903612,52000 -12,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,False,0.2654756685490676,5895.114526987076,inf,0.19557801595903612,52000 +0,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.2844686911601409,64958.12221217156,inf,2.5898517384196813,76000 +9,librispeech_conformer_jax,trial_1,validation/wer,0.085884,False,0.2280886399845507,65014.05562067032,inf,2.5898517384196813,76000 +3,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.1654419929512866,55277.98472857475,inf,2.603047242070443,38400 +12,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.1633370347124993,55251.850288152695,inf,2.603047242070443,38400 +20,librispeech_deepspeech_jax,trial_1,validation/wer,0.119936,False,0.1682904456138657,55264.86380052567,inf,2.603047242070443,38400 +4,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,False,0.2719100741047621,5445.762615919113,inf,0.19557801595903612,52000 +13,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,False,0.2654756685490676,5895.114526987076,inf,0.19557801595903612,52000 21,ogbg_jax,trial_1,validation/mean_average_precision,0.28098,False,0.257423756373387,7250.969809532165,inf,0.19557801595903612,52000 -2,wmt_jax,trial_1,validation/bleu,30.8491,False,29.73364555536789,15524.697182416916,inf,0.13540160135260415,120000 -11,wmt_jax,trial_1,validation/bleu,30.8491,False,29.61076013509891,17455.57430243492,inf,0.13540160135260415,120000 -20,wmt_jax,trial_1,validation/bleu,30.8491,False,29.5711685494686,14879.0592045784,inf,0.13540160135260415,120000 +8,wmt_jax,trial_1,validation/bleu,30.8491,False,29.73364555536789,15524.697182416916,inf,0.13540160135260415,120000 +17,wmt_jax,trial_1,validation/bleu,30.8491,False,29.61076013509891,17455.57430243492,inf,0.13540160135260415,120000 +25,wmt_jax,trial_1,validation/bleu,30.8491,False,29.5711685494686,14879.0592045784,inf,0.13540160135260415,120000 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/time_to_targets_relaxed.csv b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/time_to_targets_relaxed.csv index ee2fa073..5b2eb204 100644 --- a/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/time_to_targets_relaxed.csv +++ b/artifacts/tech_report_v1/section_4_leaderboards/out/byproducts/time_to_targets_relaxed.csv @@ -9,7 +9,7 @@ NAdamW (Baseline AlgoPerf v0.5) (JAX),367.5072982311249,292.1376211643219,15447. NAdamW (Tuned for ResNet) (JAX),366.3240540027618,269.370676279068,18020.98589158058,31992.620273828503,74594.47512865067,inf,inf,3636.301753282547,6500.179566860199 Schedule-Free AdamW (PyTorch),364.76555728912354,319.09749150276184,inf,inf,inf,47112.69826483727,23138.350909233093,2271.1033079624176,1979.4675829410555 Schedule-Free AdamW (JAX),368.587194442749,382.8766484260559,7733.283766508102,inf,25766.614211559296,inf,inf,2734.1813151836395,1991.132454156876 -Schedule-Free AdamW v2 (JAX),365.3596320152282,307.3230459690094,10309.158726215364,inf,25761.258350372314,inf,inf,2282.922813653946,1989.267727136612 +Schedule-Free AdamW v2 (JAX),365.3596320152282,307.3230459690094,10309.158726215364,8037.070692062378,25761.258350372314,inf,inf,2282.922813653946,1989.267727136612 Schedule-Free AdamW v2 (PyTorch),362.3438584804535,255.6350064277649,28293.974551200867,inf,inf,40145.10081958771,23153.38919401169,2716.290271043777,1337.9253540039062 Single Worker DiLoCo (JAX),725.3010702133179,334.13906598091125,23170.751378536224,33990.85886669159,69462.02342700958,inf,inf,2731.772287845612,4566.361578464508 Single Worker DiLoCo v2 (JAX),367.4553608894348,358.09745836257935,25742.234058380127,45974.51286125183,inf,inf,inf,4541.807559251785,6502.31082034111 diff --git a/artifacts/tech_report_v1/section_4_leaderboards/out/results/leaderboard_profile.pdf b/artifacts/tech_report_v1/section_4_leaderboards/out/results/leaderboard_profile.pdf new file mode 100644 index 0000000000000000000000000000000000000000..a812b47cbea8d25615cff5d31103f2c92a89a770 GIT binary patch literal 31818 zcma&M19YTovo<_&Cbn(coY=N)Cmq|iCU!Ct+nCt4ZB6Xt&+NV5bKdoR@A=QSx>xsI zbywYWRrT}q>aMy-<%LCQ8R=M{NXyp<%37fq2^a|M3@xE}cnIi~-R(^X=!Fab2G(|F z1oZL-W+qMqOrHjd1blo@Cbq_Z3_1SILDbF`K*0Q$0lm7Mp{0otfPnpPQN#@(rUWnm zm=Li1t&leW08AWh30VJ#Q1nXX2F4b)W&~{i>^j;RDVYEWv_8WMi+(~eaRU(0OW1ru z5d7y|=%0590-b+@!}xzE@CWxF^o}N<=>CRJuV~_A=j>?ona>~mpYdf(j4ccV?c6>i zGJHPR*_i2=2$&f->DWGxrx*H6?9KCopM&1p4*C}^~=~A z@%415obTJk@a!bNkMHAFARb?_@8$*S+wB`4I5*bw z1*Wf=3LeN?;lbs5&8BbNhlPDX>@o~r^l)>xF)I}=_-+_EJC85dtMj9Qyiw!1Z&Fe5 z*%$BjLF#)?*@YzrQFO&QWwOL@Q~2AoT+vurO0j-7wvSF@<(-EIUrf~$jnw9-7L;V7 zz?xmq^4cVi1QDyFWuFf)6)KpnaS;h00+s>(r`TF`MpuX zD1TjiC9L<1lRMS{o#@I}=+`a|uMM@eBk_2(w3#pmWmTnN$tP*NirH^JO>l}Xq$$7m zHKdq1dh2=)r8b21E=N90{;Uf-TQ^stPAW3zF#A~d(UNkCTR>at8+YTy2 zdw`p)9FrQ{;}+i>g-#Vk(_`NXIe8jYxrp8xle@r&f|{Ylc(~CvWfm|qf?LU8mgyUPt5DWM-WB1%{&yn?aNjfQn;$^n)wkHlO zR2DW$n8kSc@nwxc2BsW$LsqGIG&86m_>zRhUlk5o+QL^P8v6|Lr2350rL0Z98cPjb zPmGh5HP-)*->~0IBOh|Gx-UaFr-G6>R<^}}gAU#%xZ=TKI1Ci=NHd$zR!2J`eVF+e z(=J|MxQ%A6kalWHzV&eCrsXLso_6w|cTo;+4G;ZAhXPD}Wz1(~=AfKQZF=4E4UlKk zj}qvz?dW%UZ8P+hoJ6OyVL9DaaAsetR1GOHmaTrF6{iTAwjmW6X7e+nvwVTt&18L?lM~s-kKR=% zrX$6-7>X!tYf5Vk(K5#5bcTvqng2+*)jpkz5d6mY4FfbMFau6hKo zrR>0;JW(rz(zFxCQe%$o)uf1Ix0T-fYrMETsFE>!9(ph;EUD$ZX1(3R%LKea_F3lH zg1?Kaszp|=89fSDQ{PQJ!F7C{e;<>{2mNGY zwCShS@?kN3P5?Tb8k(zCul9tIbaP1vYVd5W8gmSV`xcniV1A)&aUEsVY6l(xUa+M5 zS3*~d%sm$5G4}|j>^-Ke77&~gc|i@|?#r$g9S^FA?UopUvef(G1l^&S8u=p(q+UAq z5jJ*mu7Nb@t2LQfcGbaC4$oO$d{K1IAQGHYKWS%N432zOiahC4c zV!X$S;zb`lKxZCmMIGg1P~@awULGkQV~62{S+QC(0^6YGGUIZKG!OE=a8?28Pnl$- z4M!`l%A4$P(`#Z*C*`dl&`C8(fE74B40_tAQQ5~n`mI3f7%8|uE zPAv0)#aOYv-wsdiAG5l%i>{~wNK4{Qz50rH9r<5F&@LSv@890v24BSRlikg3dw1=M zGZJIFHhekTJ6;SQMlUYgE?qazb*Fqc&wbY3e#5DpUXj1>^KN{I6zksKhTOx<)~us) zdP)9#ulDqyQn?hf@`hX_eeS>bihB1nY;N^nEgz%7F{bkwI+;4uxV~{;xtP(DZ+`NJBFpxM^`lOrYeoF> za%8WZ7}i|9qKp9-bD}Qi^8))EE7*_unOjz!Qq?J=sRik>@nB_m@MYBCE}{%Yw>GJw z5*@1c8>3v*zG<>t9FZKUI}oZz`nH^s{x|e=tPoF?!-yy=XBL$~-BP%(iuOtOb52zl zENUpP5j2wB<8yH6Vr`8^zc*6vV#Xes@rPNlSIW8K?Lf>NWmAA{77wgr7E?_tr@zA2T z0KiL};7B4zP8&E^cb(z(2a?b`tia72V@#DjoG)t!Pon}&FnLODidcOLyW83H78liB zFw(~?wD5}y0y$<3UHK~byO`y#5@44h>;M`VqcAFJ$(I)WPyT4b`AL(>4Gs?tt`PU%WWzU){r_^r?kFe%3GPGlh27q)^2-T+I%9-7W`NmrJG|P<-TG zrQrvfcgMr?l!uMIzBs9;fKChqDKC0@=2bn0p3@E-#NQ|HXOH0^bgK@4Dq0wH8&8OY zG!hp$Gir+HjAq8lc`a=iI${+#(qSOx1Xo1IN}I&MlQ?1IT(23zn3Pi5txn0Nk`G$9 zPWg@ube#(DpG$dMrX<<47^xzY1`m&vU7s(5@~1C+CvP7~8efgAhl8!-PhU=x+*`h1J2y)xN6|*wz}O@5x;xm zLxU6^85)g}5yzzp{k8negllK;m<^(u2Wxdd?)-;#su0|M3?5#9{$AWLp^^-?|IHOLhI%teLli|;Liwkrui~yT+MJ%1g z1)Es^@*m!z*WX(k$@VGWE1j)dPyM0>YR^|zlwMp(?~UL0hZRl=yUDq2ka#O@_KQht z8Ni?6zN-{uWb6Mnp;BX%or(^nncg4-#A#EB%nIq@MO_-S&@Yr6(+-PIn&Vr(cm-gM zdTwwX{aAc>3SyD@25FRL&xImd@M8Ug`$r(~G);zfjtmt!w|BZmECjmg3j6^d{t2?C z>l3KSkCzg>lqPnUC(w$4PSOAulfbFoR#IVcUZJ0S_`4Q;yZ4_1{A2&f7sZKIKlE34tHIG`#*6`V9DJ!%su z#4WgN6CjDU_ht_hjV--P~etJmYM7p{z&Nu{!@$8hStU{_(^zLd%o4F9I<8Sg0h zB*ZrDDEcJTa)w<=fEuq;{m-r90J}!0fRY+0q6}pO1r>ogSeI@%Rm?LIySnaiaCYo9 z>)**u-JU!&UXOf!6X4vT>OnF&s#Vl_T!w*7QeOK~t{lT!*)8P3+>d7|(35L+1NQ^i z8Gv|G>!H#b!m*yUoV z>>{W{3#qcgVOZhRmO2cPMT7KVg_c|5Ff4E=!`(N-$r6P|$y5fa>?72UI#-WqLy%_( z4R9@XpE%(f=OqUEqHzV)fXEyn)J_o^=YcE*!5N@(8PfoeCImy{g5mU$xq?)V;%cUV ztpB4-2#xyy`ZPlP!qe>(&pFFN?b?fLP)tJcJ1);7o93=0(zNc1XUA|g(O%) zYV01FWj2%5BpanhnPpuo6Ct-Jn2Q+vFRlj$tv=ysBL@q(^|)=)Z?g33uXxAy??(7~ ziM`4{ds_Ei3rr^LvfHF06iMmP1SP2(@Jr9Bo*F|0V-j zSBAvtz#2HS>W}}~{~zS-JxjmzGD2fDp`l9f>K3e?6U$%!C6mj2x~i%P4g9tB=k)(W z=8b*i!OAwP zFX@Ze^nc@^)Cw)FbFP-e7Hn*UQ?==xZ)fuvENynKPRABhZGuyEJ>4R)%lg4v-Ql0b z;@Nvs$3G^Kk!h6PL1^R|XwtU)>BsIjzJZ|XDKu~oUi}~CAZxoX%Nubu9YEIiA#vxh zgsa%UEbYRUHl~J`HV|y@8<$s2?W%%0DxRQ8cO)8p`r&3nFXU8_7bs_W>6GYiie5IK zXz)J**kj~!3M%HAjNzTzZr}-xk90HQ-fWxr*a=sI&Nc*9`G%;DuL)HJhY)Jx2+IY* z%fDg@qA~f&{6{%62u2>6DTu}xQe)@~8=;VTFpT=YWRlEa7z0!$V;bWx8F7Thgr7Id zf0Bo}2-~jZh$LBi@3hypqE2PUV|0pTy8yx~x;{|sZhSW5o8UTpi4KgRB6F>EwV}M< z5~YsLtg311stAqrgoZl7tDmq0?^!uw4fH@3ykH4muznp_K`t*MsQyp#r?ubsBEkS1 z%OC%cIB(d={zj1c@kL#By;ZoWpeh>(^DV2Yd7zc`_v@zLjXn+NVwM(J&Hr4`&rWXr zH(u)**1cs{?JG4-jcQYC2&zsX3uCZ^8Q8x}Z6TM}5H|J-ZJ3+J*Vvq1c*kI6Z5k6B z&kN6GI4!hFP`$1jz0@-vPp=PspwHlF1u{qWogH1zYKbAt2I-VsJ&xhRH@7qz2?{K9 zvzmz8F)y*a8Ol~Cc6Hgy5}Eg`oxfzv6PBxnMpeM+*Kq||J3}s?e5su$G%5pGDu*M~ z!WC@f@|!hpu|kll>49$|k4=tf-QwQJb8r-iMG9IohGhElys=Ou&4?$278)l5N0@;FwPNa+F>FKjAjZIHq?}gU;M%i?P&@2w&%|kL?TA}W zw%Bd?$LCYg5~GqRH1wAOa(R!7BTaj-bePaM@l>Dn&%wBv(s1f_j#hTfbcar^&C4s8 zAv^)x_lHn1xbqdSrx0RQO7zv* zU{+RkhJUro|7sckQECzB{7c9D?>+0k+s2Fp?2HT?1oZzjky#m7**{yy|4R#bUft76 zdA?!8b748reKIX=Oqz+|l1Dfo8=gfiE29l5gK2FOX`nf8FYg!2brTy_{EN>E znx2=;K}dqqk2{e3HkJ-wYY?yr0VE46#pBs3#XP?kDTfXT`8g`iHYnxP*$vu=zCP8| zjnsmaF=4+$KRpdiYPFYAl`j=}0zDzmeDAkfbi;c-TXGTH+KlJd#?@^+nGNmYkc0FD zeX-M0oyQ<^_#VatyS*nc?Cpx#dBStrcwdz)Yg1A1U=-bs#c+S@_zRyF{GBy z!``gVYBuHWnAi1ZA12IfKC7FrCQ50_eNm}F- zZsbsCK!6S&wI3XHve;M~l``3h-= zus|Y_NjIv*bC+$Fdh-NCh($3aDo&?X6lpTv`8zjcEGt$fVd!4sRbf(6e7`ZJhQNt9 zu|>ju(n^4kP2^sqN}+&dzw6H$d=sZhdeC(uvC z;ea_7Vb%JI0Nc2Y?^MI7N#v{~M5|tSjbkN|ajOxR=YYHS- zuCr{?gC?+g-RWwEq~-iEbqGwUbBSy-lvNJ?8Ivkb*v*!$VYUUU)dzBl*r~ykxG#-_ zHow>;+Ss_hDslZJQp7V6;6lv6NR<`kE-Z ze3zNvbH-#jFHFR7QJcvp=JPeYdUV9CKlR5Vz*@;Mc@H_WBYRE>c05?SUyZ|sY@uFC zb6Pjw4~s>Mv{;!_Mg)5MPXDZE$@HG%8<*1H~3xO~Eaq=dpZNjEt zoNB=<5?lBgP8zx^`W+Q43wI@04Ur_dg_1HdyL9pys+=qpCIplu6R%ee(bEK}cTZ;A zVYH*2>Vc~|JpSP^aox);;^a?rfJ+#5_sGlA5TCf}ox|{Z?1#qgphggkA}dJ;$Z!1K;e4dHv3K1^bfh;rg-YAF5+VP70q!7610+>eX#8|LRICqZ(S zrC4g3J!t6B!8qipT)5LmD>WmVr~o#)g_Oh`b~bkXx&i99&LraPw7Q;c4d&i;=3Yky z%?c)u;AnwJi}0*RP-cr6%8W5=z&2>L*1SsrD^Q8|!wE(Yyms3N`~eBXK>8y}mz>3p zjSD>ERUdU1s$C^Dy&ieIn}%01+B6JT1X_4i$VLhMG%|iCy)62rS68@g3B10CHcaIC z_Y;LdqiO23)FS~~CK+*u>n-`~E4Vek^e8UUbwMm=gV@=^sphctN;V7aaM7aBE;c`+ ztV0NyU6U5u>_a{LJ&30pvKzPAM;y!R^a%6HQ1#vL#nc4L5$EZ(UrYMgBrchoeKws> zS4kHy<~*o zhp(#g`)>7`-YHeh z+g&^6Y@ECn5dlWmCs3U(*ToNYeIk8`wiQF0f7jxZA`ARJjgoBATQJ09o)NG-}EWqNKMJSzn zJn=y0rsxTp1#AUa$G`KJ{1)AB6gOxuu=hB!LfB)$=QzSWICsH~IQqS+`8i7~=Z0rZ zp^CNzrPGSL`Dahojul;mD$$W=h=|ii`neijoHrGcL`3+ zI%YW2TN8WKLZXjTgz@463kLdO?5z+ZVBBsQojI&YcW;Rot;{a|8{>zQU3~A~JTgV; z;{ai^$eY*5wtJe7eX*_!^i2f%a}@q`S#(_P+Q#ipQp~4ay3FU_muYD`!yT)sDr(C6 z`-g8=YdQST;&>U+E))s_yNFx;9puASCdHtO1}Z%UAm<^fGd7TA_Zea+7SOa2x$}Kj z#+mTv_>eH5g?Wr_%Ib!~;Fo)A(A>=HQKAw-=eU6^NQ|*YTZleC`)Rqcbwr zbQdWZSH^%iKYj9hm#K^u=aV-CJcFTmPI0ezCI-QkYG2gVT02S47&pE{_g!(67()_o z*TL{$4ZbGM{ko<;pexvPv2kZ#Tc{gsY!}w5%O5t(Q!|P5Qz)fHROxJ%Nsplw8JmwU z=;&IDgaHXG^aU&qZXnuJk4bJ1yAn+i{JD0qYPkL`gYS>kiR|%2^KK1}3A|fLzY_}+ zO?s!$Asz+R>KJ#x^oq**oqst`_h%8BC7JC^{FwMLX-=0AITGoBu7W;~&e{s4EC4<& zk>)D?TbuL{pD%=f!>RkN4h4Tr(x8K*=k4DIerB>$Hb{0HJ)@ zUhgv=+0k5tNmA6uPHIQdz36!atJ&TlgMgH)W^)n4KXTd%YaF78KX-*@G{v$UlA*eF z@T;vB1k_gdZFe3=;Iz?fmHK@3+}lNznr4&3-lB3IdlkV4FPpin(sm(}VSUZL%yts* z8J^8mRtHzLvU3_G{2K$22D*v7j2Ms8P+$*9Y;XQy5+>+l^V|i1+}E7tOzxhn&q_nv z^;w}yMh1yC{g~@zOc+(Nq<%trkGAu;fX7Qyk-_8|Lt{!XN%{HeJAw&HYqh=o6dnS! z!)Xt0FCShLq<|doG7zCWCL}~7L=t4}UKd*#C7Jh_jc-^y8&?bUL$}T#ww_1L&B8)T zxCwMh(;C;3B4AQ*3_pd1maExAiCx&TluozRnG-2bPglKjH&4s=#q{glrVgXs6#{rU zHluw)Sln?~?CdHffcb@R{2kF0WXjehiM+UthPZ?}S^&C=ep?)&3MOKhZn&v%Dk(Xc zB^kA&gYh7f#FpJb>D!y>t;IozEHXNxy#Ts{$Yc!jek?VA+WE%Cg;Vdj&TFUxMSKzx z9DCPq#ls3(oBoFdx@8jTYWoYj%@h=6(56ba6U=G+a1qE|dF*4CWKwnUHrZv{4f^%U zh;rmPkpVwIN5ndO;W)`5Ne%^xDp`J96TRlq(PpbTF8rpip7-19)7?(V4rlu>azzN; z`iXH~DTOrVL*c7=k9IFg3mh5rP2>;%rnFI{O61>g@(~Fnah}1(hRi?b&_<%x$y|mS z^{Ot|aOW+rl_Ru!HVss-T5}B?^8tJi;I=s~OewGK?FPeFrLNqyxQRG*IMBGXaKjcM z>`9lLVip~aF30Ji6YEsVvlUy{+3r(16Z;We%}r-&^bt2Et2vcrDpE`#_WZ+wn6p16 zntOBAFr1y*@ft+)W+txOczelr>&EWO0~-=|f5y0+I^6g?0d7kHvcbHI5m-M=H4-!H z!Wa>_aVOz(Vv6&2ugJ1feKC`Sb|B!z1*%l6ST$+!20SVRB&dQGQldaG&6o&uvMMDO zO;4EajzenR4Sic$wUsJq7n4s%VfQZ_{6>nHw!MNZ_Pacyw7+-u_c46 zyQf#^s#BLa@iS~ULT1L2CLIQ@t0M#4YG<#*m6KKU&1Uo_kI*CmIPU%H#z)dzYG`2 zA|iG?4PUf+z%RiUHvCYd7-@U|J#W`Y!-Dn>?@+b}e;|bo>x(z>!T553+6(O5`f4}z zJ8*Z0EmHP%Y%}KEpf}+1?M8ohW8hN8!sB&Cxt($ru`y7Y2v^8b=tQ*C2%_c!czJ|N zg6+Z1n656dC6|!26hi!KTM$d^*#7k}Xk~Oz+~oTJ7SPPMjh>7%o@b&r=_{Nc25gx@ zRn2#6gEYYvO0tR>h z)Iui5Qa7$bpRBCwZTYkp(X@C_E*@109v1(#&%Z_(T|?MIP_zQX z{004a`_9MhoGWt^wkpD2HmJ_5xTbF0-W01n0i+~j`%v=;ecJ@_T_s3Kl;fvAdWAg^ znC{dsXyAv}Nt`n?xFgSr?q}`anIJwM-zI(1;U^96%h6*Fdzm$l&KYYqzTAG#ElK8P z!-~0Zt|=hGc?wU%b?A{Bvwu8>acRcS*4;IhGyBGFy8dQ=lpBbPw4DnAcVzIP^k&@! zDR*9`FL&3gRI%1cp19lzwM1?&w_`0w*1JK6ym}hYQIc;KOtEMZAd3rtTEinhTj=RJ z3(@g#BSLh!Q15Yxs0K-0ssY8@tTc%o>~*2FMsFU(o39((*;e4?sg>!)`}&Iw7Qm7B zwr#pV*VD_fvu)}o4y~pA+sN1l$8S7?#<~tN<0RTT5lmC-wp=9$jkg|hP4uirA?N^N zy<8&*V!hhHn}3y{=UE&~YZLxdt7WLw811KD*slty5Qu97+8A{$XqoSH#TMK|$8C;8tMsb-Lm!YPrc_C|fTiH3x7Uh99W4EJC-fl-a#zHKCal1obRK z8T1bFuK)tAcKv~x15<`P$zqxJqX2+eLvAu&iGe(Yf7~=|1w@ z0;pyNr9NSGen=%M10b_skU8MSqUt~vM}SzF7(gI1fu*1j-E%8&x?gT6Ta8BxSav@S zh2E>c9-kc&KEUAJDtG?x4kGg(e(C?gCuL>*-y4BO`niPqK!&OuvC;ln{vhH`NJXj8 z!GqCiwD2JGaeIN+k9qZ90to^UzLSm-0F#ISkyd>9PvQSidH;{_%uI~`dwiV)8LM6f zn2^hNR4$j$1U4OHC_?#GDYzH?Wm$vJIn@XQhp1h=>q|2!TWDqydJmE(85*;agCfQi zq5EyJ<@`_q?0x&}N?D@JtNiGtgWURC%KRoAPwLvKHM+XN8pd9dQmER=xXcbMeP`ua z%pA}!#+R~rvj@OsmrA2QIy7G*iLv0Z6&7>tAy+%@?TnJjhLsrDN57V^#&t{T*X zGIwZw6EaaI8dHxvoCFkXdP?)KdP>2t?&$G-LRThwJNO3WCueHjh1*vVVrFWXHkj#< zWepq(v;kYc<09aqa!9u+aH+T7V(gP*lI`P>>5zPaGEH_rbw)092~P2u(EV=W9Kmh{ z%F4AuX)ySNX3N#mAto#^ho0O+ZgW?_uUQEcb+jedsSlMd3 z{_hKc>EBt_f77!6;#$)yIU550W@$?Z|Iz%}Vc(R?yDc7>ZsHnD8A0@;8Q%)kbpS0>fc{hl@v9?C_sCg3uyhX5sj(%jb(00ox}u9RgP7f0lp5e^l)M zwafm;hn<1>(~yJtbEd)0^!clrfb(y6P69Rt&QFn%f$@*SXCi;rteD z9;)RL5%4SiIdNh@~lw86&L-VVKeJ}ie`oex5F})~M+}nY zY>}Tza*63=EiF1dqZ%U!d}P zp)lnGpLZr>LRuF=>&tUPAlMtZ<+aJgq5qKf0e+4;q#B3bwr@&w_MvoB7owzdH;!-gVM=FH7lRi)SzE zMPGvSdLl!m?u)zs;P2Bjmgk+31PFA3_=TvR9t;3IQOH};{a)sp;+`Pylup-#p0n-A zE9$e}$5ttNTLWL~DNa3?-r1VbYmr$(RIdd879GDIlSc`@$2xo~l=H>3oU3f}sd&Ye z>+Jb`v7H_=AKz){dd(`N(q-pO*AZ%p++i&~AXetNd;-xGciHK%N&$ohkp1?60_cQq zi~2y!+HKu)Wv_gnmFvpu^39kHq2V@DfZN=zoi2r0v@s#_srRFm5`s=iu|BUPH6yF{Zgll5zdI*RMF)$=j z2uU(TM#Q3e`CH_@s7q4xGaG$|Yr!If z89~$LMsm47rd&zp5)`NwE3uqIG}$V`j~6}pkLptbj9AS+?{Q0 zI9&V5yw$t50(s}(L@yKa)CN=OVepQkfzkrF*AXZ3<2WLp$6D;hid*P?0+JV+X>5B2 zvwOgHY}?#gee*+Eh-6nVcGOstH5U!N-vg#HIs1k?i5zo?5fbw#{_yiKHGmyOm~Uo; z+nIcWbZjsc5sH`ua4Dac4Jq_44Hu$Z5_m$ET7UGtyCC362JfmMvZ$LLG?{?-19>!zPl@k(zvV^Jvxbm%_Fw-fKCF$~? z!GMak5QvP;<7&2d{2k$wzJ^%)hi?OSQjI}&k0C~cFo8)DCaF`*l_m>?hYH$gqN1Fb z1@cFp!#%S-E zZ$3;TW&*$c$QjYM9K-|w4-5x5z2pXPd?TQMDb1h($gzpXjqXbr;`^85{9j;R@ohWRC?hfIAQwR-%3 zkD;+@IyQ=X)(CYCq8<4{8R&)wuHf=3?jWTb5hYPkGlJ>RmbWnrj*dUo64BD@09(&@ zJ##pi*)I?9ljt3zuVE4fZ*KT&p&Pq87{2&eptmW&MFn{bNj{EXtjG~)@UB?Vr~}t% zW6-1DJYXydG~CefgCnMxm@q}Ze;HgT`1%OE1~&I(kZtreP$6B;#sFy$r3v(s`u5Gk z(%NICDV142P zNBjy}Ghg*QN1^U0s3K_c3pB0Lu02i_r;dhy=dyP~>*5cQUbZbI$Lt+VmAn^+T@ zPn*50ME9H1K^%zE0SY?GShmv#vsf(ey4S7xTFku#H&G6!Px;T|lBx{^kokJpq6{+#>i8lzM?TyCH6r`sIg!-~|Hj^|LR!B`*Am2J*9mO8xO#v;4{ zs@)NfmT6*S*apUT9-dZT$fn+omqOpB98yxrP-fq3T5GT9) zA9r4tQ9TOYk-cL#)CKOgO)=cl7#)qLi2Q=fQpVYUYHB??S?wFF^u=8C+GI>#m+4wp z+pXqHbr$W`rsO6of5mR$Z(}~jM=akscXev{YCiP-nEefAid6?mQqnm_fCemZ_sY$% z^yJEfTcdf#0)8B(QIGABebFAZDZ2Qr@(oUd(7fTt;i}eP1IGn5k1_C59SB4z2!!l; zG+exfVmw$OI@h3qA)4SJlhgC<_zBXlV^2pXGU=h=j*{}tps#O^WKks)n)B{y>r25| zxgg2vk4T;^MHB&k;-tEaV!xUfkBwI=LExB>K>#UN4&dm!aWWzrK+mZfZBBzRS@o|v zAJmO+Z(OQ(RX6s0*+JyHUL7L70=^1%X@Ra=V9ijMQ=_-z&xszGW7lNn9jD*?ztY0q z>qmB*#v5j1%ekRBd9{S06G~M3w=jY%YOQK{7DSc#pH?(#YgGb?qx~LI#lf42W0JXm-!fu*bIAoi=jKk6vvDsBn2?(;8?xfWYP@;# zTz(x>t@d?0uPI|cg{3J6yI}9QXyq6Th<>fy)+(KE79-b zl;nYnhNL6exTdWxin-X?Qmm)sf3!B1%Q=~3Hc_|7dBXxXg=mKzRR>&t04fq>ROcUJ z&4bY^7!kY6*j0UPxQt43+7(`XRQA1eZ>+Ly^m!87Fv+%Iq6Ai~3|hT7xJmtx zvMfgYe*Cy3O5G<{^Yjn`SQ#9+%m2aV9Apx{9SgEo#H9E6R6iu>Dyo-n*z9hY1T@-# zHf4BrutEJ8-{czbEn@v!1a2dOVgRD)S^wK_jIryeNC~z(ljk&1#sZlh7#5J#Lb|Vt z6#Xl;->@^^)PZ>lG%zHM~i^yeBj){Mcl5Ub9h@!fUqKk;4a7Cd@s(73yOgW7PM#%x* z@8=uu@6KiRoh%r1CiBRa0RyAD#%pko&kFh-K4yylQrO8?Plxu+c$E3YXM@E?#s%o1 z8_(NOFu><+wCm_2cV@Htykl`96B^E}QenLw+^u$eN+#S~mSG~`5eY2Wobe|AbVrJ4 zv>~4)hjK;4t<7|sl&&Wel%~Z)OsgSO8k43)c$i4TrhMdQJJphKXupAqiHd?s25o$Ohl}^>01o$DZB0J)kqlnfp)=;L{p>RtOVDrgxT>&>Gds?DOGys0arH6(xk9NNia{6 z)y|3ZytZMg`G?WFp=%rg49p}`PBohCv?<=@yF*IS9)m%ej{aq>EorCTpdXOd$op^4 z)jC7p0s|esA{GiKO6DggWbaRlq3jkUGM^*q($6smez!r?)} zgATuCF3JGp?oHaqIH`L`rx4a846O2fk7XGVe^R5KV&h_mGGRrZ?whYUUiHY2=K}SJ zsBT7Sm~aE5=I=+}zhmf0TT8FW56U0Pk8^>H`XMB(lUt)42Mn>H1$DGV3d_RyTD;@m z$)0u2_@llBy(1Es<=ss`naLiJvsrI;8uZ@dj?L~47>=f<*2w4;@t4rglZ%RNQly0< zFLQiZ^fUv~-ulo9{dRz)9|i<=XZV{>xPn|Mitv8-j7=1byA&hz7aw%KpNc|U-gnw4 z6;u%ep59Rv@rJOViXF3zFc}r&G7Xe1;HYxAaE@P;UxDoOS5;iMUR7RfZd*Wrzs2Rt zv&2zgg!aHrRSvsMRSJAgh$G4=teH~B$h8vpS+q*mr?6{~FrZ;Fz^M}Z5@=vA4UulG za0~E_GWm__X>oJTbrx!Dm+{CV+;>%#!PMMuenvp?X!0ux6tr4?cdx1Ou%-ZthIuXs zrjk%9TdTwUA?dMHnGTABnDvXW3}<+xhR!n}$a-Q)SRT>8@k@g}17k0n9+>NnrQb?p z-%=cK*!TsL*|&UJKJLc0?p}6>le`XoZ;g*{n|0nVcshEHJD@kqIed02?mNzJQg4F& z7vB6I4*k7li!^O56#+uYRX7?~QM@}1yuPov<-HS(r)^C@v7n$IHGO94baKP};d?)cmN|b3pI&BQDM`||u27qfa z`|fkUlE`jGn;DzaXLM3i_mk@?vCjAHAft=#<3+mtz6m|TjJ8i9^cUlsi2aZEx?PBF z+LvS>Vc(i#%x{SMC(eOoSXd~x>OoZQjb9%r^<{v%7HyM};>K}KfuAXmd+7v2y1U16 zla4zVJJ#0sOs}H)XmVX?U`1tw;rGAXdD%B#@ix<27YJ$3 zqMuHljC;WTE?*h4_xj>tZdhG%Adgo=+r(#xR=8gnkr7>nGdd0r5`wCs>{ha4s1UGj zY-C7$0r~to??-5=Z|+&PQrz^jA}y4O_rb$2Lxb=n3JJS%*846T`K&u6Cj3!SDDc8m zmIXr?_qoEBv$$-Ki|t*NKd7gE|BDUQ2=w!1@tA*EPY|a}KGBU%P)kpcfHIh7u%gSk z=9e|0z}m6P0&=N>x%TNPMvT*Mus4fs7Vh7lOR^I0fDeG>cZ6>O8czo z-;1$|3Z#H8niUp%2#y>WX;eWYA}}vhtyX$aC|@RnPW{LcYQ)kH!x#a znLQGy?FG+CfCBFiW6^bsLqVf+-;yeR?!(59Udg|FuHvj~eDfczC~tSa#>ek>cAx`4 zYRDhUU8MP%WHRHZ9sCG7U8wG-MZ_Ql2O?v`{CGRw@MVZ@jM%b6Fu_nXOaC4dskGgs z?PpcdZYt3yP5z3wnwVom0cK@V7luks$=%%Oe~b%c zA1&2aHrD{tIt}DPQ09y;TXOn_ymJ)wS$0++j&qILQ}`}Ith!D@abC1v&bf=z-lW*& zl&%zYnl+Jx+YBEd5$`cPYk7OKcf=j;>)>k+xg4{Mf~N01&y8@6vVsNkyoQuYzDVhM2sWSj|^-oZ4CtMTV!$f6O%IPMcK!NWUm zF~bvvdFnJSV-5?D4TjN1@lGvG!)=?MGZ|l2*vABie*?k5S_e8?5S-JzlNuS&xD95I zbH`*(O?%*G<(79i$KR=K2%@5%6*Rq%tk?pbeKE>Ped_pS0-=c^tww1FW?zG*DNs%R;{a5kCO}^$INUh|Y*kd_tF#x$!k6C+pQE5vnG%C_fgI5^awp)4 zxr=!;%h3k1=r(3BoR9zk@2lmy=6II(^qR~HD}09qg0`gbFH7?^dg~soMCIE&At5)p z+uiEQMZBiwoK2L4`%7Vu)%i{eGKc4i#3wmzNw_){KyR7{-D&aPFfVE`b&3Ou@L+Z7 z^(p#FTrPbiy9~@*ng74`&H}2c^;`6aB1(5icgHUF-jslJhtgfrAPq{R(%qo~(j5{~ z5>k?qTR;>EX-O3X?tW_XY zR8)f!;L^+e6v!sp$6Y0wx){=Z{~mbAYvEG3$^l|Ln3gR4II8WU^kYGb>Sc);#dx7j zeZ4D90mH8A4X$gOdgzbZnj^X#Fwuhd+6xg83A{m`)B17vJMwXSv=iy&I7W!0_|HNI zFI-QL@cq0hb7+t19N*L!wD#QFOc7P1(+S`cxntCwg(bNAS$R`1rsmGH0F$oI1>u^Z zHr_mAKPL+9>R|10JCIB_znbW{DJUAQcdxPp8?K(apJ`4;2A*-uU7F^Y(azHkKeA7_@;@qG#twMHanonEV z)@Ih+fka$M=RB>r(^;&%YId#O5ce=8o^*YmtNx0==POfld&MiEV;)ZP_H8RqDfp$D z&BRD@h`KoSDmhkUM_3oXy4|wD*_m;m&#$c!io}hsS4e7$I1|aY%PA7cnGl!AISY(F+=G3tT+r@*0`g>rL@ZP?4die$ zmEoCHsT>5RiZ7l@M+4uxn9CkJGtw` zYeJ!q^WX}p3?u)pEQZ5#XmoPuO#@yYX4`?7XP1Qta)){7Uz=a3oXXM;(YAmL96U!j zVKd4;m4Qew$vp`mwDqVK8QZ0M_TWZN@z}}f?LxmJ3OAf=u^mja>`w+O`Kro!4=)7M zR@@I5=3p=+tGTieXP}EEPe!!JTw0z{8kw+LgZ|aG6g?5!Wx=!*ZycNV!c}ckX2vTe zsn5_zNZMGuCCjlJD!SJz>q}^*G+^m^E{*!M$;s&Le9Yp(N!iRrp|zJ(0^v+We0^<5 ziKu6fg02c zW@^+FmKDab6ioTcf{f5<5x1l8UNs&_h@Vv zS0b~1tZ7XBwtWoU<$5T(abT3RUQlyeWxr1T`12(1ByU?Lx=UB&vIx{yCDh1MK8jnG zw=C8;U@m<84268-WjlgV*1w9 z-L3}jyx^UJ05QFuOKKuhc}7P|L!5}p+8Dw?9M%GnVsBn0(ee0F718@DpnO@b>Aq(> zrMkt%<36183CjtSf)|HleS|FL`6Kw1Aj6oPI+X^YwRTK=3gD9}%f;0+skLap&TwqX zgg?D~7M_BtGHuIQ?axle7Ck{%`C@m+XFP}M({|L{E$(aS9!+2KA9jzGvOn@+U|A%} z+(%2E)D2eReJ>9(iV0u#~T4+Y^DL@!5b zLCR_=Ej4p31>n2JX2SHs-NR!EVvS4YR(n_)FAPuwg3pREoxJ9jsdOD@tn58o%3ElX z9d+t_cbE3pYHvEVg++aR3E8i6csn*U$o*C?z*Z&mcvObY?{Gq{V+hkbM@-%@fo3l| zb2GB@`Rq=DeNIgjiB#VT8K1NF*GI9?C%)ZR?!I}$5kO!=Q?e?)@4#+$gU-wq{ur8M zne)xh?yLGKc210a2h&-IBcnGORqBqvK zr9>pw*^tD9_*Gb#MI#?4#W;o3V3x}lY8Pc8@?N!tt_P{9<2(>n z3VpJvzyrQVck?#8L3*Pn&WB+qNcZCv#}wp{qv7nAr+xI>?YUhRM|%Dv8}-q??_Z2) zsWeHjh>|g=;|gyE6a~ozVxyGy8CTmJ_HGs@dFR*bC6yp(bOr+H_TAY1NBY_K4`0-x zRUk6BF_VLzH_^3R*sjaWb~SVDLAM=4m!S-UW7WpYAKxP6Z10b;Qmocw@Ru}UYNR`O zP%Yu5055!WpKVsi1FSs4r@!Hum7BYmXoP2kjM$AxS8euEvN%#8B{er)3=4Y5B>cd4 z#0B;0#Xd#C1Nk5wYuPruXAh&FJ~=E%D8<{RY^#cmoLjvB{B14GGa&}m~*qttc3lZMM^A3`{8w9T3W*C#}qckr;2mQ#jZST-*r+3Ok##c`H4W| zvUN48hWQdi zX5|5$*{Zkr2i8bRrkdL&R~uGk8x@_Jtuw>yf~ZAad$J6?uRFLs+SEjs3rZbv4ZPqq z)0o{EFiAh*&`Rbjkm!YA$^+%GJeY|!s9|Wdnv$qmlg|&P)xFO`mc|Ta-Lh}9(7B#E zS>+KuC@@fB)KY~~g=6fJHSL>pQyEhX+fqf-jx|3J@z>#(nz1myJZGmkti*h`*#$19 zEFD~zrvtErdU@Egc)>*6lv)=zDwNR-HXS}XQ<4Od;%R*Rc;G*AN2tZy#Z$WceFqr) z;B-=f#^@PZqP|->A(OWS4wX9>N-TDJkifJRt<2lWtYUbUIkb#*fF)Euz9=M)9WEF5 z(FyEsUs1%_XRLE!>vod@VcS;X>VTby5zYHcZ1r!Orla^}m~oqEi5*?8x>HG5JG2eu z#wuR%GeHga5N6--_?U_2_3y8P`+=J2wHeYcS%j1Ir*b|sNu^s zc_NJj5^@A-nf_<1T(OMoe$r)57Xyn;mU){=fyD}nHu*p~eiyRAzE`qKq$4KoSiFr3 z{K)>juaO3t7D}P6(*CD$+$`yF19I;go)(MPi)<7QLU~>$5~3zwPrlI_yj4xp@Fu25 z*!mKphG`)-s!%29{O7D8e-MBLwv7&i;8|hqV+CWYo!%iE;03rdZH@7)$-a)8?teT zG3PgQxes6^2G9F#7{g$Xprl^^q^q?AHAIdbSGT+hKlELAl9L_y7G5HCA5-keJo_=` z!^0*#u2=btjFN?1A+4eo9;SA|qy1O+n|q#nCI<`SjnXUVr>R`Z*u60mB<#yG0Afa# z<_|rNNlHKoHK|U&X(Y3y;J7G0`uyVF$kmr&>7vK9L@AU7Saw)7m+FO{eio43!quBX zxtXVc`zbdgLR|7(mRvSn2=mcj<9s`Q^+gDm6C;N!J>_^5V`vLi3>lERg&PfBGxZ#z z;5tp6e|Qkr{)T1Q*OvRB^RciA_W>4bsr9V_Y1ZUc-O7qAg@+efvxnP_`Px?Zs+db& zx}Q4nTvk~1E9ZA!+bcA*84eK8{SrC$LWZDR zKmvW&ciA5Q`3ngCSK(VwrMJhu1&yyFY?V6`>}Oki)+RQDYE`fIx-4QHd^B3{8J}=p zl-HZqa(UsthIn!+J-P4Ek#yu!fA^9%Ck2~49$w(GH`ToUnivbp{f6YgQzqB|?;(%1 za~@k~-LBU7gle3=-$k6-!w1_-G8K=pVl%Psl*-es*%T?b6%$gvrN^45CuSBG=!qN- zEPEnEku@SyTvLsIMB&>-BYhV~`mQndb;!ofX-g#2jxPq>WM*}M&b3LQVb;UQ=a5=J z>U8Pt)o#7##_G2?a)ya%oe7pw0(mb#yp~$h_Fi(rcsEmWqPie;`lE+PG3;)@sRxnH zitd=P)Sj)^RmJCl(!PF-#mAgJ6^8?L#5x9E+>c|sIrqB1_?&3_WnA}7vrh9$vq*E( z?T60QOj+N#zs+T)d8pY{7NJMk%43=CsJC8QZ@+!l?BMXAYcq11ijGv#UU7D7rhLO= z!(%IYY74m{T$t&a>H0VVu@Y;&$sx41ITQc>#A>cjL@m6wAkg5n^G5XGOoORX$HQ`E zQNjE`0|UKk^EX9ob>&~?HyTPWI&kX;I%T2K;z%c%Nq&KYK(QS93aK=mH4@Q{>Ra7qxhPz+$$TMvQZmktk?257DiF?srXLs6%NZvmO1f-Tgiu@8MG5~qD}LjQsXFW zMF)#+joSh=rz|ZIPRmNeUXlFRlr&eD(wL>~s`@muLdngiaLF(Z35mNu1+C~|qgRDc z-wHB^$Cbvhf8v&oGqp^Z9*UWcWbSS4k41BpBEG+AW$1L(w~bAaXz5BghB%27M_l9r zR1U(D{m4$GEPrftOk?vQcznbv!7V`;gS5{@Eww4dpr7Y`a@d2F+Jh%wa~rGBDdxu3 zRzD^BAV~8C-bX6z3C0*%$S}GTR#o|2O4R3;_;xj=nz-(AetJ5!^20(oFwz7*WtZ)! zK8&ggHc9(dzhvg1f`A!s^r`mfN;iEPBet>dwiH2Na`{HzR>#hOn@=;TK*3I79Tvqh z$o3SLr%{$G?c75c_bpR6=VCmz_OUm)uX*L$=Nherr!L_qheY2{*pn4Bn(dTJK4BO{ zsFQ|(NLMfgr6zj7;@%B{8KMk@>JTMp_!LPWBVJ3U6g9UxA*4Rkl0IF6vZt*M5))L2 z@3252#q>;@PTZZUx63=dkgHo(BZ5qb3pEQ&E=yzP}U2W=u?i5RZb{rYWG6$(XG5R>{77e9I+iI ziSGU|&KR$TrEKIMJdlI=^Pac{bTHcKhM%M^vz#)gY5|Uwuj}SE_ zc%=yUPdLHuW!8*Ujp?#Yaz0x%oi^Q??|CT_7w}SlaMpW*U)aF<@;#`Ek!$kA{-xDo z@X{sPcP^MqIDQ*wUzL*aT3}zZR*H5GLM{YFe6HO?cNhMm4i3AJ7yHcBc6Wh${!ixyM$o^w^2e=md3~N&O3O>w`$LM z2O(u;wW6)5sPTva65N8^oXiDml|Z9N|BFQ(n>`Z2mG7m>VRW<8C3Pyc>sF^>cHMra zV9?5!#+IrNx<^J5lkcV4uN@|aUHmqXG-*gYaj&|ELd~N+#5RHuCTJ{t@uKAisYt!I z4!({W)fG#{2ai`ZT=NYBW#(-aiLTz;x0kPCXzA8*e>j^5TBFKe*%-JREubMm9YNz- zSmNQ@lrK}4?028P`fa@f?y>ac8Dl-xUbrl%MQ~MFA?b2ZoTngr^~tj(r7c)%b8alr zu0uD=Y#Ck0^)9XLp}gwL%2E+Yu#9l_y7{X zg_@kce*rHzB6(6ts{BnkPPs9&?PxHdEP)m|mi2JQLk1654_OkDnqnlFYVsWBRCRLq zO%Qd*Y_+!|WoS$H*3HNaBgC7fZ!ba-HQZBr9|IW2ya``cQkfMQ5D2HOHqSfc-?!w! zNvOER4Li3%ve1lag-7_TsYM4aY|mDz_RL*QVwApFCwXXTHe-WvlRD%<#N1 z*WE#OfPHKbj|*99)KL`pa6x^p!sX&F>j0(ew*gtPXZQBMCUj^ZX~}0=O>Toc!}*s# z^@kgtK7&`;M$t08(xO_o2ql@7Z@yI`GoBV%got*l3rdXX$0aIQwpEG06;3CE7;WOc z#t^i=f<0}&$HM+$V@GiXYwL`tarL8b#z()j{M6!z_|OmEAJZ56 zMd^E8Dy7Lw#1a&PEmR%NRfl-S^#oyemz||s7LJ_mAPm#$zc?b-htDmxx537+6tNwS2KBK&#s!AaX#fJIsFm#5*0t8U#YlQV>HiUVG<% ztq$tnv+6=-@-x8(X&k`9>$21AZJa?RD0QRQ2t)^9SWmhtogZCI05m3sFp$1^%M z-xl1Y`jTImAV$A?y=v)bTb$SZ-Y0{yrziV|9-nrasgcv(@WA%D*UGbBhv~+rh)ntSP!|j^jO#dcNF{KAS&F*Vr2Nj%l6|%(NN$ zrSx|F?Z+MkpC=h~vW2B33auV)8`Olkzb;qQft(1{=zK^Ywcab%P4ad0ZvUd3IAQHP zFIlhL`ss*YpKUg(dUln1?3AKxx95I~c!wIPZpi9zPyw~LY=lh=K1&Xg9pm6a!c{%8 zG0PkHbk{EX*bFnW<7X2=u?J)TI08o(?f9;^J$o8vI=)hq$OL1~E%YOzdP~qZo(GRu zq3AZG{1O+6?$f$F+2W?KC>t5YbQ5gBm)1e^BbRuL;&(vq?Y8aTa+=fWYH*B(^wujN zjeRNhiX;-9GH7+o@0m5dNKxZUQ8_S}oNd5z^Fhsht=Jwo@bL3`P(ty6%j1ye`myin z^xUS5L`{M}ks8s?MK%pp!9MAY) z5>$D7a#Ae0+fJaOZ{<+?al71sPS4QAh1)L|zFJkWiTUp6gFX{y3Tr7onq_qvVvSqM zWi3O-LL-@m3Kmujfo%?~9O{&Pn-ms(sioWt&6n{~r&DF!#ad~=C_?kPj{DP@=10!% z>58=&sC=T{iEc?4udG#Ye6&Y|-zGRZZcJ;5+H1=DUOufo4-mtW_%{ zjg>Z(b=wrEPa&z(#!OU!>)r*WTPhQ!B3-4Uy>Hkooou6HpS?n{O)xvF^wX)Vaj^>Lq*v|C3q!ee);}c8Fo)aTbqe=+T8mj25N?y*%a|!#5Wjj~ zvrLx_yVTqyrc_s&te>u*r+|4EGu|ta%;Ayz63=Zeo~Pg*%@;ge4sknGX8H}veM^Jy z`l4d17T0H9OFC@gfZ;t!tZ_siZ#u`5kjEphrIyC)2y&#M!nt1e_8Tr-$m}2PjqZwF zdDR2WRHPBdasx}TVRZK#3#Q&wWEJf7xe(`9-oD7k^qJGVefS-}b98D153AX{q(i>| zSWrxwFp+AJ-pd^v2fD)~V&3V53D1thq04jbpfR6Pg}@bAZUhm*#}osJuBwYFn?AH- z3PQO$eDVZaJ&C7+M&VE!&tDeoeL*kuLh^9=O~VO9*5Nu;vMt-O9doz*;VN@ubo{Fc zxyRg?lihMv=&Zc2#L=5sc#RnYV(xh>FhiIEUr~#Ly{+}7FZCi`9)tK4T-P|2v95EUxNT{FLnz9JGXC-2Of3{GIaXwsY7i7(Wu9CsKmX?rOd5yad% z-4HCtOv@Wy7ypHxiY-pt=n}b5&=*s?48FiG%9S9eY6_}Qok8hzS=X4zFg6hqqExY_ zM~Z_&p`OM!RairZL#Z5ACqfli(nfo&6FXO&oRrz_T-JFQG?n%En4N&Jm`BeO1mUr^e=iUBYrt zI2pTow&HzG*ecYjOQ6PTG)p1c_a+RE0&ip$%qK z2Et|J>SKQ{_-3%MC#w&NAE$%=EI`5 zI^uFw#BaO9-OC#+CdY@|6CZsffge?a_dr@8%%x{eYobKIfI-L7{kA4o%~yxhCXZS6 z9gn&6i;>wI8T+mqj&EZSBMmM(m1MOLrkpR1yaO?d;`i!}WS*}ZOy5qA?71$nBY4=T zEsQ#m#7`w)^xI9kw>)UN{Y=PTaOT1LhrA2Ym3_5(CWW}}d;_1}=*upsHO)-NY;_%h zdrmk-w=Radbz(%Bdn-(4fflGd^6aXy<}~fze6oi)9~iX^$7H@~@D&+nq9$x*Di!0( zBOQf(l*zjtQi8!eILL3Q;L53!4$S|h*$J7^@ziXBv9go}Ms7*)!SsoPGtYi*7LxQ` zt}wCasJSq3gV~ChDx3tb{L2K%T$+R)ORA+dE16Wvjd6WwN6I*b*e(yt6*gS9NH6Hp zNIfksodKK3y0SmdG^kVc+6`-Yn3{T))=M^7f>N%Uvf<|vYgnblf>+rdzwXTGc9Oir zBd(B_uXmLXCephyqD&>=7~J4Rm&8zJG84FR>=Cu3M004OuGDG-Cj1=rYehrOqRjkm zvVX9AXE5X6@RJhSGE$m~Kk}3RgXkpWdu$v4o%|kX=1=J4Z(!vggdzac{Y|cZK_~wz zJO7lLJTJtbsL68=`Vr?m&%&=I{nymwuc`TWz$6^b4*-);I6WA|e+Enf+b9C`=I_8H zz>t2YJpUVj$@73fe*z`}T=a)R|D9I_C`RxZ$_P3GCV@6lj~)p-OBGNgfD~Xm&%VIv zIqwKTd{=}b0J`xEh5RR91A2k8yU(CXI8gd<;0(ckcFYfum{0(RghPSLPynwq04@TD z0s>HgrvyXk5pWnF11L*C20y1W&(aD9U`_!9>^o_RfCEVZv=P8wljqdtSsq|#lqZk{ zm;msOv;UC*LkblB*|7i=3gr1Wa`Wt70iY_*&XE8vdUj0!NZUEU2|Nc1N6^DS5Fl~j z^J}oPw8I2|=R$$+S>liaXH+N*KsF7qkbo3829oz9@Ta>6j zD&@>?em6RC&^gWgo0tC)c8c$YIH1I5WpCwv<5hpzqCw5||!z9!?9eUI;zVkDZa$ zz}hH48Gk>7(F4{BNP&1)fERslW0U}|`i;uwQ$hd^_FWfA518F=PXN3P{IAymHF5qv z;2D6~fPa4>kRI^Q)pDN3-|OYK3i&-O*dHygw4<{`r<-)w;jQSF%rtA3h)4O1P4y@sguETYHKXLRI-8(TWvLEgE5R-=cx^=todUV{HC z68eL^e2>reUnx=8KQ2*pQzjAO`}({F1Q@K&^)V@w`ufWHXf@$~S(-oC?|+&|tRJc! zi~z$R0P+n$+dKliNMINS<%c7HmIBWE!=*E;_`@PV`~VLBcP3#U1;Xyky?6o0rLxiOJFG1aS)g zB3nOV_y1Y8{*gZm!2iDTe)ngrU5EUEpJOdE%)UA7+#4I0*3~nqv^EM`wi@XM4=fCnn*Z8a3nH zK@Pc*ebXm(se7cW?C$KP>>eabyKGuxc_1S0+jkrPI$r3N+s>urD_YnvmE|%e6 zv>N|(1oHp9djTW(KiAi9QGEFntj*7MLOKtZdp@VX;phhJJ#;=d`X0Xk`eRsv8$g)a zv)!H8l}ucn>>OR~tWD|NA-qUlFgLxGtE-cXARnLozb^4QI^X8N;!|~YG^ zmy@|Ay{Uoa3A7Gvg3?At%>Hj4=oBf=9=pDYxAp8OdU{v-e85j-*hMPajAZKeBKj{H` zxcw?SE1;kC1b{iypJc!ZFo^wG_Uk+N1pu92^uRz6h@b9-A>qIX=IryYyn*5Hzeo%6 zEY`%I^$`5O-irVOQ}>_sV8FEfXBqr#8u`=nkY_WeKg*DR@eU;9*LNUcuwU|l1QPSh z^N@(2^&tGfF!?7v2tV|!Q~gs~K;W~@u6~k%1Q0*l1_*=%wx#-65Az84HEoBUY@7J&2roMx~91p2EU3|J=l>0V&P%%ujj($g@?Fv(F#4 z0Yd=GDu0$i_~F1(+P`G3&L+TKVb13ryV>$w|3_z_4177L4%iZs@L0DW3`!T5it=9C{3DlV*!z-bg2Rg(tB^lBp^sp5b2=OyEH+n1_kNT zJBUb^-us=~?@Pk@&KdXD9pnBvjA5dn@B2P`uf5h>bI!Fru1SmS*-5*Tf`Vd?_?1ht z6cm&$6cpQfzyA*3p;X^ijQ{ajT~@Y|Gu5@S)v~xvA*E$yW@Kt*q_2I{=C*~UzNrZ( zD`Rxeoqzwz!jz1P%GK>LUxc>Zl6mx#oEs_PH01j*>y>}(w|2!oQDtwO`wMDDB}1airE1g;may-} z+x+*hqwnmat^UWKP%Kh;NB;MJfbS%1{ofz_$HM&YlKjVl{J)KoOCgV0|9OME&aW)` zWtEkK7@3Y9JwI3*Dbwru&rd1Dy-Q{O{^QYrox65DFkIdG_jf1+>HU(Y8nn|H6%79U z&GXDRsYR~_{_|JxJ3(_n*}VVqoxlIEda~SRwKG#sMmC0Ihp%7kWA7gwb6DuI&DL*- z%}wVqZogCUn5kUxqNJqP{CHQ=x7#U)DgsV>dU?s8KYw?+zcS9Ezk`KPlrQP!qeV#1rt4%Icks}-Y4O(d^k`OxaLd(32r1y>=A;x`^j~#eUm9$GWf|91 zY5Dp6Gn1~o1To(u)ARE-l_BbRR&~!WKltS1y1t~B^Lg7}pNE3tDANtE#dRfyzrOR4 zBinVuCEK(|1FMtaXfHdlNJCGbl2){Qwa0a%@cHxSlC_nAY>_TY{fC;;G<#C!zO-eE z8F##F!U{>%rYoNzJ2KbjD^k(Z)6<`=qoXs|>&{@Xx;Pd4N#e9X@dI;0f`a-+%vMtRqJ*_vgPp9R~ zfBjLAW4xz0&9rDqw8wct{obBH@wP>pg9l@kH0&=YDW$!nWs{G8*#6QuY3Bjv_gJz+ ztZE;ygItyal3j(4ysR}PB^OKF_Q)-acXi3ucD}Nlo9{4HO?h-einegR-O!*jH=Tsd z`}bGyF=RGYdNzzgE=mNlro>1D=5^k0D{^*}iV)-*Z*6FhBTFE`Rv3NvF2z`Pq3SVF zuWMJXTv3yJb8lO={fzGI$|uz^+{ca`Q+R%9NBBAO3-zv2$*MUf3Ncp$)G7k~?rb_P zcjGpdfsY<9oL6kfhHR%ie4lP+dfM-ucHP>_LW;J3;uPoEv$AjAyiv(932(BS=q}_o z`*_~o-oCAh&wAvshU=O&K1+vzQ&kYh2p;eG$c>C!9vUu7w=au{m3bdHqkL^}{h@drCgs|MA#t`N_yrCr+F&DNs(=ZqGH3I(xg~bK^3?PrmXAOP^0+K|$7?x}Uj? zT0bz4w`UtBs^+9BG~oP6W#4@BOSR4J0 zOGu_IydG|do9nXec}Kr}+cy2lk8h+0Hy!SyF(3YUrX#Anrrq+x^)XnM7rFGz4KWgN zKV5XYGuoWOtdJ<5(UjpZXW&gQ&}@)=HGo-BK&JF0JNvbUIGMn>IK56~E32$-mlfl# zeB0U>2dt@Hrod-BPk?}}iMyqM)zH%x4aaH&BfP%!Sjf`KMDZxHnt2(`*<06gOu9aK zv#DgoH;q5_`!?IW*5|SetXbgi7RnNlB+`*<%(}MbqN7mrbn+a&cTv zi)L}7!F-mnJSLrYxE0ehgtl$p9$GWCw$P(G_L@mt(`o7tDNcQ-fvR8~>(2P=$Cg%B zPM(XipBYdr!}*uLb0A5q>ftc^gB2< zv2>=Jw*3mrVx-AmpKwxn7bRtL@y2>mO}Id%c6#)cJvj9*XbhVY0~+j6Es{RHd!Xu# ztgenI0~#j!>)^j5YN$JSb{A#tx zR;aicv>nB+#U58<5KhWt>qup)3aM&sjcR{=2K--kAFaq=AMv%$Y1B8Bmqx+U1J$A0 z+=oS6)Kp&@rPH`toilQLZ1bkQI-31#Q(As0 zC@8yL%s)^YY0CLT$kFBit6FP}6SqO*3!08BegA68koikuVumP5Jbg_`O1244kTnBX zRGW1>yRBVXQ&e+|N}ZgYrBa3`CQPlJW(K6(E%U5LWAkk%O6gtK=2|L3xRVm*HZ8&x zW7+kFAO8M^Z~B4LimhG&Y?|HuP6wFfU(j&wE*auHZHjiwdv4fE$Q zRtZgyk3S_h+Ewh@qm}B;qWV&D*TFOQ1z6=`z4)z1ZW*xr{kmA~WB;r+h1z~Px+Hws zcCWxQH|qPt+A{T&5b(yO$Om7{QVXdcynDX)_|;rBnFQGwqf#FRk%*6!(Kxs-Xfj(K z8pr@oHJM+#cC8>CDQN^pzcU@VJ%~f+^YF0#|K)A1W{0l-;qKnyb?A&T`*r)V>YhT! zoDzFdv1yQ|L$P*UDi5L@EC#Cd8=UN?Ka0B?(zrcC7FYJ}N3eD;GPo@M0_5Q<;IcB7 zqmZJ)?LNBcAs>cp%Ge*D|F)f~oxV1d*Yx>xd#LN;q*maFxTgx^@P}s?r)s9==Ca%7 ztWbL>Tlj6h1mWx@mqxg*+vlev7uV(VxX{@irlyWZ1fNse6ft)jeKujnL+^4P+-^?3 zu`i&ddlm1*%*Dm^#y(Cu{OS`G#xeoB=2Z2L5#;=Llr1WGRtZh!WSMENFbs7U=A(en z*$SfYks8}eyXiTiZT?Ai6uCo48#ZN}w<{jU7Xa(M6mVHzU9ubOEOJ)u?d>&5J1!S1 znW20}y6ISSb;T`uNih4n$ZNQ|y5{$_q-n~`s|X4TK4w+tk281_jTnhX z4OP?uPP=~T((hf1Sgj%8J@YbTz2%`OU!zYyA3N5RZK#x#UKb_SVf@1;2=~$a@rjsS zf4{w*T33O6!+36Fq~`PKQr?YHZ@O}g%HIzA@)(_vul%;J)Vl%S>eHq=A{hVO9@-)7 zkleEie=v$KO!TzKh^$4k6)pa0Fb+&gDo|+HMR&?}sa+z$Xg`sd4@@m9n21o^%BZM(4z)!OPzZPT-h+e4l7Y9pGyMpKxuv%}hC z2~~|o_^pLIGqFj#OFm#fJN^Dy1BxnU*QM!Kpx=q=>4x{1z z{{BV>@f#9ObBywpC5ehDiF@dH;(@)*b<)$*+w*PHNMUQ5MTyg0TOLiL<+}5*OAR$T zr`_J__1!HM5kigyhG{CB@-c-C>Q7BwudejI5{+r^6!nI zpkO>{^AF53d*trEHqq+k?d`pAmQ!0tCtRiWI*Z3`Hh0dJG^{~;o^{ee7M18%mV*XB z5~#+01nnl@$V>z_a~O^ZY|OYVv2EM7w(6-CO;>#cvw7L^tBtTq@sPqxPz@3cX{pdD&2~FZ45Q%7G;aSjLeX-trYZhm{$-C0h zM5DG0WVEDirif4)+%3DG zlatdm6%-V7DSX1)$H&G%NGzN2Nuk5u#CJ!KP6784aa5$!TsPL8Lr>I_)6i9I1?XbX z`r=uWNd!)&9Lj9~s?=Cdu_hu+5m@HWKmTk*_ed{bBdJsBWj?&2RF&(z^0LwrD2$F6;D zaBhF0^;`9AvixT2tM*MPs!C!$hdt=>ot852u(8{A9lV1cB2hixW~bu)xIKee6d$Js zMn?^8SGx-xJsfI$yu7jm#s>!nWf44S5x*Ol=RCXUKJqntu&88ROHs)-`ef3X`wXXE zmD}0oOY8M0QSS`?g(AyAX>OBFWprbY7`^FurSVpcCnKHwtd#zg5)=}W%iGk!pWo~F zCBL#cO*2j0|HLpNs~MfMRBfj68GzA1z}lGl7>Oi=ZQ`|O_dE}>g#6z0Nk2#X-OkY1 zT6Y%Z7w5nIZubY?9w+~*0HFvpkAYk11j@WD<8lDOwNX!z3quQIM^I! z+@4kUm`ScPB$Hr9sYt3_yLL68WT)b9GZ{7~o2VbMqb7?{{s<>8zYi%KS;LHP;y3yu z)v1H=Pu^w(9($(JIgI`khxb}%dU0{F8zsE~?@P4B{I2Uxo#u#aZksR4q2Yq014UX( zLO7c1IIqkrWa?J8ZaG4BhQfUyK;63D4wDm5uSl-;<4}6`Y)F(JbqjU3%>+vL27!tL*6!2~Koy zat5S{)&5rtIQe>{DTy!|TXim6yvU76*>m_DdvM~P4ZmBeP)vUInBZH$QLK1$%)Qdy zv@7qntswg7shV;i{WAw2RND_NS_B{X@yBPtG;s#zaYuw4PN61`=iCH}J98xe>uE^BImZE( zF5sZy)Rjj?25#d4xF1FTpNAvGs!L4>q$49!yFYO&RcE225-_Sc^&xy{fT=`{LWlBeO?{(?V4giS^I<}cii9NLtQGX% ztw3tcl`)dl_<Uh@L_-v^&}zsXe*c ztaNx{Z;AV9#HB~_;eQr}qD4s2JM!7HXNfm5V<``xyJ>j?IC~aIVFWCW#H7enR8&+p zTKMW9j*CDTb>RZGei^rp*5JhL-?vYPnWu=V?&HR}nO|b?vHyh|7=Ob_X&8_&Lfpv5 zTsINz=ONkYU_W5FxLj84+v!h_%k!w>FQ#rUbw0rT=w8vy2!@RFF zK_%Njdax>7AZLAbMureF&x6_sVo_!_Oe1CJ88{u1(jd=R>sP$MocQEsx{$3>4%*Lzd zzpQRW+^E;s4t@CP^5x5IUZG1CI~}tbUmkI^G;EB2hORL;tl`mLS!NN8k380>&%4;X z&#gKrGBPqD`-u0hJ$txs9N+xW`|#1j*tPDBcjfCXWPqPz%uA^3=ukxzNy}5d_7e4` z9quqK_FkCQtq#!#;3`-8pp&Xo=0gfwL7?kmulor4kF$!TMjg#Y9U`crOZ^pNIa+7r zC$Q1-#j8y;ucHa&F-D^l#1YliCCCtfl?z~1Z`VbiSNortHT9&$8+!0Js+uya&NE)Nb92A{?B8ax3E7$D{_cMW&gzO@phVY zgc7jXb5)BiJ5Wq~6;o7VfCHI9_6Q3LGb^Qrp^HdDIXgbg8!h62dK?GhDITjoy|56N zmX=0f=#5O>sa_@W9ya~u{$c{QA!li-G>DgH>?&8Z24)W+EDW+H?JOKqPhLWF7J2N?X zrLm@I$1B&3BEt1>^B6RqvUhYmd5#T7QTL3XU}s~9Z|Uu-pt?rEe;%5`?`opyY60L0 z7_`Wb{o~VslX)zM9zH})FaZ3@v!972q#izFl3bkh^yHN}s&e^ZZ{F??SdIPQXYo*X zfPBQ~pB*EwE93V1_4z%tTvy6`=;dzRie}X;N=5-pFzfx3Nu4(0hp>ik?#4av_4NhK zY0N2%(j8~n^~zF=6s+n+@Z^U4V%Sn6+T*t4oe2*g{s3l**EFJ9893)Lb~ny4m;-zj zJt)QT#q1UhxwYjv`WlH)o)oE>F?0@u;!p$8FIl~*KRucdz08`KsaJc#ZV9xI)nE;M zPIA)=t&0a(RJg`Zf+;g8|5w9tH|}e;8g2lZU^M@w4HAeYb1hPk@w#YZf?Qbw zeFS0UQC~U?s@Qi+g`KNQP|?=b=CYr@6*`5I#}`nRjIbRJH7)WGn4g<#LIWmM>pIJG zbx4Bx$T>(6)f1#YiEY`0%8oKcn;-VeI6UU^!;vGYq-jh_E4n(X0+PK2xp-grpt$*$ zRt~91VRZo67J%ggw6x46?2nI29K2l}qCnaOEK=jsU%vgCp1beg|Naj*H-2@QQZE`{ zTsm8jVjzK@lO_ba!;g;vF!6bCFb;`3Nj^b#Cnzv{Gal)6uMI zxla+JL&$v7Q&ZQWM+BT!V#UVGgG;(r=rAXrXQdz4;_2a02ih(?0^mCi$ulV(*~26(4^By77?sY)hJ8^+ZZ1?h3nQAsT=Exk%wJ%?vhN!R{keSO7rtSg_CmL_~qtA%lO zdpo=LwY4%twCnxz4~172w+k0PJz&0(5#2Frw^yiUFbhp{s(OBwK@;;>=PNk^u$E>9 z4z+K=mh*|~`G6@1gyg^eUxPu6Z>NM0aS>&jO8H>;Ff0B`rNlHiCeFx`-bi2~w z{4pIlrlbr&Hj|4Gw3mNz^OwSz8UfN#Cve*(f8*=^&93zs1U{H> z8dgHOvtQa85{Ku&MO^DHu$QV$yB_6+^nJj#04)rS+oO;66F5_<^eZbXWFMsENk{wd zuk(A^WnUp*(fI9Mh5l9g^q1efRu(2sN=TtquvPXij0EM}Ud;>AInJ^v`9?!R$V`8w z9{(V~t`|}ZEyP5577Yyz(Uw$oZ-j41;_d0r<*Z#UL|m*)2PBEQRqhu%Kr%74h>KIf zoMfbM*L(C`32Nv*Idp5n^p|aH%dEMvF!Z8ec=oWdu?03eF1|FVkM@{?ia~>(hdX;7 zn9~cnh6c+k(b!Jj67rK5iZ?a-hZI47;T>^W0fC#(qG{!&Tz>@ZXWM^&qk&e!=Dnh6uUZXHig4@pCo`yie zbO>*8&DQ;|F8Gw~Nu zJJ2Dpy*)whWZ)joga>{nH+S} z8X_Tx7vsj72ijDWxRMkB6^TgOXLpx0hT(X6ALf&-6`b)p$f_3f_P|w6-Kr0}*b1Jy zZmhM)J3&|h4I9s@o~P_BcKLDwbV(e)fSO1VQ|1<=arCCUoM)6b2R_;@f#7HMJi*8Y%v;6HNd;sH~B6aW?QNpW}C71dw z-0|Qd5-}=#3bJ6ROPcv`{c)mtBHLbVY{wBMy~|awtvxO)QaH$#{AEbbO^FJp z3n%~F1)g61`G~!rkjY>c@@ve6KXxX_L<;jeFK1QSgYi#6iw?;{nvfOUt{cvA1EzQe zd{Y6SFWbCNG|=F_r)NDjPd?i~p>Vq5bh%A_D%ibRk&S{%YZ0$9=E+3@v2fOy*x1r? z)1gHqf(qHWV~4oec$R(x7YOL2bY#0bi<7;qEd&gZl&h!%g*&57VfH%C{|6!vCkmhFAFWnralzHLEJ>L^@4-phVv0T?YVc23^qS z1JIO&Z}DZH_$&F~|KdM2@w$AsZCkL95HuQ~$ryxk68^uuzA}-mS9_$vTSg|owN<%r zeR-4!P!coX4PuluofV4Lmy<$IuZSR~>wvb$WPj_!(I=#X_y)IR5&r)2SWb^xVjp0A zBN}>rEtq z&t~yi3_w5fyR7CCCJMbnWm#F7$tu8ZQ>+wSwn0-x43%NX0Z=k{{9!DEbZsH}5U`lB zXs#K5`AV}L8T#<-H{GhB-uh0$XVyoHvsUlfv4b?eJO;B-5%Z)Qn>|D`e>+IXW4!)!7fkqfOYDZSt zxSb2dxD?8>jU<4}2heF&U`>-2k&Y7Z%V99wHaTKt*8%2e!eBYp)a?et3K1)b$kcs> zjtd0Z>CXt#@7oszbdaR|&a=J9Ilt*Pv4W^%-RZSp*+B!nm6AdDuZPq{Cc0%JA4-e0EZlsLLbGGAZowWoUH>HEm&R_boq$FjU;3utA>@&ZDWs%d; z;Q>h;yUt>Cs9I-Kvfk%f^n02EoAlw|m4Ylcj+O|lX|z@^uuC6qhqh$MJV?H~^}Fv* zj1+wYxvExRS2u+Cc|M_phKw8Uv9G`c-9`FxS4}Wynfy4|Pl1B2!(9_Q51zRLnYB|Z z0tkZ|dzKXp`@@FaAgQC13k$xs#t+_UlSDrEDJL0=@PUdEwQ%DBw!c=P5{bCj^S5dqir0@Tv= ztuu-VvhVKSzyBgwz;d8!>)^JnTd5(cTO>xr{bC>(Hy0liL>+|;O*x83;dR+qTi9v| z_sXBAu0Q|1S}k+%1+a173m=@)j&MiBmU~MHsHcP(1vf2fpda2jM}Dv&*E4R3$GH~I z*Az}FZ`*q^y*8g}1Bc;6-P{??qR#Jk?#w738ywUV+*q9v#U6Vj&S(INP7M5UNW*M- z!ubN$-y0j$HEzuUJaQeY5(Us9>b9H4h;?CVisOWI*w9OrBi7@cd?mHDY$k<(_%uX4 zl&?YXQ^Vkrk#_{IcuGAl3%&B5V<3=uS~5`(Og2inXCBlV%F6DXE(tNdpM1_pwrK{7YtYLis$|N9{^9XV6P!Ex|R=GG;ZT|c|g5@=u7>1h-_$~{x`kAA2dzyAd?TICVPz5 zAqKZX>Y#~2DdekC0D%P|;A*Y#O7igBcDTbk$`dsmnFakbq5pDv&tr+XH+c=WS=SGNpPBP)ANf4l-5VGMD>0QeUtbf zsw0F{x9!|-7SsnGBSg?XW0*VY`SZr)8=T?7&irq3(ZZfacfr$VS~&Lv$`Qjv!HXB{ z$c`$I_F@ekXroIlReTBUrCS>je$xwj`o{W#2q}F#N{QhKO#d~sXyK_kcw<^YJF|Nn zfae76jA;z?_s8tmcj6T4(o~Hv@Bq;pkOukHBaiJnA^D+rW1UW^(w)I29?%^UwLD-+ zd#0W*O5PAVm9N6lDOw(*p_h@sQ?FtoAe$#b<5A3??gm-W@zS^f%)T{vv?O(5@CvDq zj)@tdZ)FvVD=kB>h8NFA8NF@Uy$JV@N~W$i5kygMO1)Lj9OTxozl5ejX=Q$_OR+M_ zVg5@3I@GuH3&Ra!NX;_xHR#3+fDaN8-jak@@f1uU2b z>i+~fMdyha0h#I-Ime#nyFfjd>a?t-LFPP*-B3?7MHdp=d^UgdX>b>xzjm3-aIyNC ziOyI4H&cm5oYHgO#HLI}Tokp=8v)T;ZMi(F|MmQ<0pv)_r=k{y=K0iUD2e5Ff?;jZ zq7*AG6GNPI8n`$KxQJf9Oal=?(rgU*>0GuA0;kEj@ku5>n_@e(Xq*foyL^)1|S#Hhg zw1Q9a-5`i>RNGonj(&Xe8+lIp=5(uJS$9KM)L_b){Y&Xt(RBw>gG&smSIOuwd%geOjX-NX}BK;2DmV-E@mid@D zKni(*6`@7q;$oJMzj+H?-xdE8-o1T&I-kKo$7>cBahQF4eXH%b9pJBG?R5eqSBzgc zEm`zIa^OTD=x*J%jRtg~XsX&PFVdcYZ{|iz@VR-;?;C-?4Paof8%{P&EHa5h#Lige zF|s|o`=Wr&murYJqN&8$RN3uC#QsuLRJ5bCV4>SFwrI`)AJn90ZiX}}NNZynpeux% z2*sr~^)9qJTc?Z?`frFvgE}zU1p5GJPU(K54^MwZmFs68k91wXjvhs|Wqy8M5nwJn zq|XFP)`XUvzLX$lN}bi!)#M^^VPR}Fu^cBXSAjcKyO$sBG+QS&Ju_n&qzBYKeumI* zuP*}0J@caBY%e^6hRb0zCFk(KIj~733%Y(*&_jseOxgFzF>UQ`@WMHQC(sUzv5)Kf zVY}ys>Pi~o`}P2JctIZJYi1IUyp$V z!3-;*BsdkAGq|o2*nex`?2)9`{%lB;BW;;+2iY`|(Z!CUnehbpAsL*&y5O^yO$(+( zGrmZU_x3&mDNWKJG3};m78B-$C-&^-jPVD9|AR9f&E&?RJ*Xl&wo&)sGk2)j1;ru=gHsu|q(2#z*VF}L>QRQNrt>Vxk@_Q}8 z<{MT4@f>b|%Q?wHs0KjK=dxXZQNlcJbAAsw&M=RZ670!osjBhH;xd{-u7KKPEbxie zps~I_|Bvq17~seY6sRQB!Q=*!zkx-i*ke&OV=ah#RjVr3ypM2N?&dfa(v#ER7*C_% z?kN4;-92>qLU^3GflwUj;n0?LX@#K@3vZ-w;)VE_dn!#Qc%L9Hu zjc2*hEFo3Jl_WkucP5ZU^+}LLawA+yy*@vp%a)#3gRznQz@W6QP2(y&EGXGraBlNY zVEyJ0I78$dpvh6!a0Kf^S|~XISLADUlQCe(pol?AgnS*bqP`1Rd$IySIm9!ROW!Zy z94GShz2APLC)MnOR@EQ74$0o)RmF$?DBgl9?9QR9kttD+&v3YOb;5OnGk}n#lsZ)f zGB$&U&I>Wg_VJ}K$;Ad$C;`fV?iWyZZ<~?O?b#RV%oYJR93XhDRww=|6}g?gL_2*5 zvA}zv15^(fQYnO@9MEcCseST4z8bu_U8_#R;_&cr0^ss65-sOk^_mB1K1m`MFOoLE zqZ|Zn8SKeD^AqQAahF(U_HXy1=&wg_q+YZbB%mkZoUKKc6*eAROi* z$c^Ht?K^79!J%G-gB-8K3~0uh#v%>?rvSdL2|dpm+NnGkfA3AfDEmM)|H`AEW1Gza z0f{Mu#y%dzPSGC&=z?kG?jA=G9mzZE}kpXCypd-jyj4X zbFEx1SN+`G-HSHX9miVJFQT`-Iz9JN3}aLsz@SKaY@GM&Qo7;i~S_~sfaM4g2Pp4 zk6H}p!8Qd~91}-Xx1#ok0xb862(1oXahDDFofluYmGWhi%aK0ZWBk-80HU<(0B{? zxt)f;BjnaAIl4@SGXc?(!Dm5(9}!zKe{y{VN&JtqYtN)kxXc# znKZ!^v6ew?eDw-71&5?P7eFX7*meZU2AsKZ_J4ZlHas-8hui$qC3PfIU@S#400NQR z-Y$2-fXpZW6I!VjHJ%}dX0Kyk=^mwubgh8}gO@iN!e7Z=fB+NLZqF%9lmd_t3ePTV zQ;5Iz3zE6bxial^Lacje2>kr>g$D;&Wbx}UWRE@6?B}sm9yOz$K&>I3ocX(wKdT*s z>66|(R+xk>(=k5HoX{?*>wZuaVjn(yxYZS$h*Up6s%Fx05pLP(uqT`g4{+}CQzFFp zW;D(*b^Fq}^)?zmdI&n7(LmT&fxOP&U%prU>$l}zgpY#cTEu`@y{oqyQLvCFvcQB8 zXP28+ZkQ{$Zlbv6S4d@7ji36NuVs;jmUiSS-<7*@adAXog_a96l6QO%UG!YN1Y5!{ zzkL@X?3{Xm~R8#t+qmZJ6Vs{TtU^1i||LPup48 zr{{F<-o07y9HU4B^lrqdpKd4O0ez zpS-6Q7Fv)H<Wzt`ZlrZ=t*ShPZ;*)dB{YFVaOImHyrc{6=uZ!)Vn>9-SmeNmG5$(8P&I_&$K1 zASATaCB|gdIWyhuJM@IZ0wEeGRs6aGSgHYHFQI#L286)Eb_1Dh)d5*T27QKqqY^e7 z-TsS?wl)Z_?Kxv74BXo2CBxd(n}U@Ax*F2SC%CByazXBvdPsTaNv0ZozRU-4oP(}m z{gU(vYiqghw8a~p{#)9V=W-Dy!EexA@CvgZDcJ4c5KBY}V`_y8j6E5t3wJpg1}snT zAnONM+>}KvBZ!qa)BuC7A>=y!Y_ZrtV3+T45U0!HR3B;DtcUC08A}ymAsbK-y8J44 zXD(dVv-xOtqB%gFlwXS1Kk9Wy0T@UjGW$>R6~73W03#Fu1UW>TV6C!Z93Sw56oLS#?K4O!@nH@SE3BotfM>_pZPMm4%WlPV86KFgND(uYY>L zM%<4$lcjVZN&;`9{#dSM>e?K>@8hFL(7w~S4PbjtnS-NalGD<3>XWU9(9I+O6_N=b z#$iy*D)}}kXz1AptV>vFfv6g$(t#N)#Qrtd?-<3kw6w_Z5;0%^0DQ%)mIPXZv{%HA zhbO){0Ek)-n)+}laZ6iC>uE~_FyH1UzNho6#CD6!|BilPtb=!3lDIt>Uru@n&Kvbt zya%&953!jzctaM+l@F!)cjg8Pdjf;PaDli-8T00)xGN@fP{2j_3;bEq+`fE%+=hx^ zf4JTRfm}RkXODg(Asg%#eJP{|QBdo#)2})}XG=|dHXEp-ku%30DxvS(CwFjf!p%4L z$Z*})Q9+=1L^Wrj|68Piz1cQ+Aq}Ug%X=7v)gbjXA@z}R9~2SUI#&%_Nk~F2lvTo{ z%YVVkcNLMuefM|L#b{z2th2UZ{7v9=P;ZUfrPe@|8vXv-NKKR)&TO}~8Ie>XHIlZK zxjA^DRaYmRPvlV}#MsTxY1gRJfg>AE34xgd--;d9`6gAwf<2 zHZZS=x8u~iL;K_?Kap`E0#7RkRpL=b|w8Lqwm1RwCDB zm7?`%1X@grj5a#x)EV={QU!Bg9041s0Madt;-ESekOMxsfMC(*9q$j+KQW0x;g8RQ^9c3ODX$U&D6W!LTMJQ9)Sm5M+1%hY>W1IPq{z`(dO(7Kl@=yzh z+0j9B5}!dyE?CeJk_^Re*u6!MXoWo|Q>DbIE))qJJ53 z(7)mx<^1dcL({eBhj6JkFf0=1nQ9-55I32>+RoML3hXWA%rO^Y!L)(4X^toaYiBeH zTE|)a7iA3i;^t}uCW0!8!LXyZ6HsU%_5qNn=;Ge4H6|(5nizo!km~1JIkJNC6dOWg z*S0Itl9Kyr6OJny-+KjiSn8T^#Hcguq-{Zje_uCT`OC_=k|nkvbKz;&93 zr&+5LCh4D{u)CX=|L19U7kc6y>Bpu0_ItQe*y`+E*5;JRVmjI*iPO7$4+4(3At+l& zdV+t-bRh%%HA!xH;E_rM#fNduzFOQE{5sNg+yQ7u*k!OxWEAmLzTn$FY@xM-^o50$ z?O&TfNyHr*NXwOWut3D?5nd5WT`RN@mJluqJ+2~e7K$)G>+kC;bI%@zMJev5AekDqB;lT&#ndmqmxRfG!ig{G#;cfl zAi667vVoQmH56bN_F9;R>O?f!SPR&nOG!&c%thdZtPxZ|EyKv61iDoOvZayyP*PIT z>)z$(36~I~KIDC362X=wqGk>wSPA+pS{k4uq+lcEF0h)i5T*R`ZmqiFO`327!$W3p zlup>a0#*#+H63S{0WpOLN*Wrv(_mN|Dbk}QiHMLKv z@Em{RoSNa>NK=S_ZE8Xu85j9labRuGK%B{#Nk97evQfz8G4t8Ww=k(#5ASryO)oqv z;k8F>R-EqsN1@qXk6R@?e#EdgTu|soZ_u7Idy2QxcIXCy(uk6e#=6zJ97d>tn(!np z{i?1@M8!bB#lc+5NNo!<_twx$5cYMdaagpDh=FNnuw;fc9<7f)`fQbAmqJ47Sy95e zgLEa0Up~Ai&@aIMY+gnhE9*E+P7|BRIcu(KZji)r+F_z$x;yFOu#17;&2uu`2 zVGjsTATjAe2XzsBxf*(F+j~nW1J5u86r|z^)sqAOGG4$*nTV}A5YUIrlsu5fl8|X* zn{7^F0)vPSC}_ml@X31=!Y)zs7VTrQuAa~%M5I4ttWq1FW)pcNWGJttv3I|njAC<3~^84+HJ$DasS4{A@P{61|$!@wU%`b3}{MQDhtYirgM z-9i9Pazw!gisFJax>e+R6gNH~>DOA{c6`NNfSLl_gIdrA8c~Dco7Re>6M^?B4h>2f zeSZBS(yNUsYv2C;(J0}GAhCG@ zNlUEhJg0CkJCp4Q`}x`t@+eUKv@nPsEz!&#ICjNwhq z@u%*Z`)y3hApJMMwDj=f@;Lv*(YA<6^Y1_cypDp|kzpZ*0*b7(^DCUgzrH?B%_@Ic zTmoFd^#r023>47K6__Lb%v(P^c}NVz*c1lm*+;|S!VF{{9gV1hiGbz8WtTX3G|aM!^d48LRk+WK5sWu*jAgnY5f+G8k2x8nEi-~)A3v@$LbIN)Gs zH$<-Fz~F>h9$R;@t0u;S>aoXaD#h@?63=FY^Zbp#fqV&g--$PbjM+g83~FK(rh>@% zZk+YlRC$C@KGEUOUF2rUlLuo@!O!qX0`V&jhpUv%7L*NHrN-2|xYi+r#~2M^#pfE? zNNV2_J{FR7j|i!t_$h#?vO+}J>A-y+4R`nPpjy}_QAg#|Gz!BKFZz-F1Jd|a| z{8Nxw1fYyy@>T+4Swxdjd2#bsLNzjXmz9Z;$$un*1Z+uQi*q9aEo_~rz{kZw%r;=S z*=lvs95YSVi0q0K768tfkoCl?ieD(MhQzOYh)tsrMm+sxNl`e563O){3Yer|@%q(Q>!-mU(rr1~b@|`wuNpQiw23sueyHH_<$@%$a_%f|vh9;U% zKb7b~CfQ5CE)5X3?<|w@{qWOS-KuypZU+-3aX9t&_O2%UL`6k~tRex~_ycCu?l4Nc z?z55}4N%gkgBrsPpm%^xqjPvkzdrgpf`W)Vfg!>S@#Go{@DIdH11l11KR$pWv6>-O zptugE8!Z240iU$Wq^>cM3iiAtDhfTonZSH2Fs7s*Ad}R{KE#Ah*l|D$2z59k<|3qF z!MZBIkW4!I*if!;VuZ!F^+9Nod3Q*F&p}~TU~ACP$)U(A;B;ggwaJ3+O%HLzzus#5 z>x+}yCd#!On)YTfhT95pdBQq3bb>>d2k&gy?<&J1~`Kyk=Q3j5&XpD0Mv7w z$z%*+BQ#URN&Y2q`vDlC0~kPwCex#FqhFaQIMYYJIw98(R|J%hj7AKH@Ph87qEdpx z7+yM9ed7UclQ6zPh7w^GNJAMuo~J>Mo=0EBijkwmV9l7Dfovf1y&-~u__oQefmtQ$ zJ^;tVciN9IH%Khl1b1Lshm3KcLwt_YA8R%2o89OnJ^Cx8egp6d8)()Q?XoZ@U|}`H~#7N_z|PO#k{iKQgb(yGi1eIlJk`0*a5reUIw@i^TQU zzoYmlvT0iW@9*L_(R=^*2b4>nF8eu&?jrlZJ*d+k5w zac6Zm20>u;vVwPuR01%s7?~kC6Vk?G*!2&bx^|wx{9)NgRg}1L0+bG(1H`TnYzffU z;kOz>o!?O^2(JV3jBhT+$H)y(z|2EvAjsS)Nx!%(;OpHAD6Hr|&CwW~1e;3JaxRyg*QiRBJ-zHHuC$VV3L>zBtYSVLO3X8?0VR3W#T;5Bp& zG;pkN#}6O;HyUKx2&m>U+F!=hW^1UV@9f$iSkW z$F=SBRX$xC5h>;`87s4PW7#d3zAnhs!4s(GnjutvVNyOI`v49AOn2Hy*BUm&dgDGK zZT=#J3vqjY@~M2x6h&Nb*|D6p!Kn1I0GiiG*LsP*qfmP5dI7HwVconWAHdB zr`th-kSX=i_Ge@^{tGiMQ&=|cF9KRX39(5W5pjdvxN?T5nF#N`Qo@T8iIZ?(D=$n8 zroh6f(x<8BV7~n%nFJu7rsPuD41IQvBWpKTek;|Z7`Mf7!{rX|4Zh$*BMZ2ZQH=eG z7410cDL(4PmoAOmrgkG5Nm4o@dKAD2HwK99RG3@*9t|AuJGuA({^z>c0!#)FJvGvK zKA3op2z@((20d}*wG*b#$V3Kkh=db~&pzPN_b5 zM|Mmy?KHq=JUC?4cZ*9)ZC~zU1ZP`=;TKH#q4Ue2<=lM{x69ZjmM_%NN44N)793u2 zKXTz8a>l9g44~)+d$~+BH-v@&CeESFQ9eV4@UQ}@AX=H=F-M}VgGG{zUl9Eh=Fta^ zt74*}FWB_X5lsBxT?V8k>^3>u-1x7KK_ zx>qjP+2xY95qQ1h%eidbYTA?=nW8vcjW4uHJ_EMD&Axi%xWp5AY?#!$Qri_l2Z0m6 zxBMVO1wP%IK|}*-jWlYEOsO0J12P|{rXkVCqaOu(mg#5@b_D&c5HVmA3j=D2$qerl z_7wr^OIS^KGUU)iUUjQrkikB*Kvy@I$s79>ftmmVCb-NX44$!y=b821BSW8{<2w4) zx#Ti&2)_30xaJ22%un7)7$n2BAx}|uhQL6E2sysQROrnE#NtZ2Pm(vlD}iZx*x3JH z3Zt2SS?tsd7D)+|e@ZD)<;a6!P%qtMVPOGx8U&NNh=MIctb_1=#~~6li71kqv4!zh zgmR_U@S|BFI={F6b$~_C6}ppxFx|TWIOD=QRLDSG^jjN_>B^H zDB`r9gQuAE+)Xp<=rk3IU7X1#qH>696dyyq@ibh191TXiT&p3DF|_MPc*f~Xb#zcA z=m$E$_#&<8DLk0f{I(31uw+bPMo-V0hsxPi05 z6UK!wp_E7AOpz(Aan>IxCVy{58Uya3p6Ew|Dp_hUnH!JIKznLjI_5mop1e4Khd%oz z+;#6>4BtY=7xx2HTe!sI-0lxm4=Z14(l8i>3zA5%s*<_CrbQ%uI3;tUnd`C$euA^p zLjc=)s0lfFe?kmcC6vEMph|CAwgDQ38(jM?f)VE-$6ylGDij056Z@0Dze|HgwMC4< zdH)2ZADK3j!hT|62=^qKPmO;$f-x$z-{^!JQ|5%nVbb4k+Moyb2XS4^K^cET{}wlG z#3D|KFG^fNH-iqtKqaxYfNyPF&Q~{_cXY$_69DI5{tRi+A=EST^S85P|Ca)JMaB1W zpPug#p=8>_z)i$^T8T^6hSe}zMoJq-z(1Dm+(IGaxd_?gCMX^>){?PUNzA0QfJD5> zd88*b+=pD`hOCzE*oM5>S6KB3yfYc$_KPMLI#>w$z)_>!@IDx1;p^P4y~I@ zrBZ-KdH@5c3l?CKondR6szI^^3^gqXWWWuK6NL*J&qtkPF=(p--uM2(G&J|i@V0XV zU|2>1N{I8%MISyx-rCXadt?YKLO~$z^%@Sh?e+mC11E{_RsN~-9Ag5w5ke_V z5mT29uYl(QK1vIw@;nw6oY2=_#Vl<;YzKX_1(-dJM_EnpNeb9@Yn zx)(@A&o7U=bZnG2UkXEU_i?}ook$>?CTj_Maw$yr4~GiKw2T!cnw)-QXC)X@7!%O6 zfJlDa)fGcOw$n4tzfiOSdu)i>C_RWfH*a(nV_*BXve}kGj5$7BOjQ=zb$Qsl1v{`c zlzlG-4flnngR5;T;E|$4%ru~fNGS!g8Fee|m@rxu;!VNjkx&$&VaA-le7?fbO6(=M z)&Xo1ll&gP3sp^{o{KsjCUeV*y~j=rci$`CpS_~_E{s1e$nwyB%aO3>HXBKfyVhkF z?~CU(jjCQ=O~1sUlon?-Z1)~%ZIZ)eX zQV;7VZtN>{vt4zIeHNGIvgC+EAHW@72L2m3t1@P5fMLWi zXQ`|Q&XK-Up4@n&LdN_`Hs2e9c2*HLhX`UGqdF)`{a}^dK(O9pG&Pq7w@iMfgIY;) z1d=KtoSD=q{XUckED;5PT%G{w#Asg*?$OP6jhwVPjf)Jx-5GO^SB!^I(Q=VnbMAaN z8d|x4S3vC(2$%uHCGr_#0x~h_$QrDLe2`cNr_~%8LU3KSC(^E8ke}LF=xIrPi3&;N zR=si!u?t_g_m#bUOYSFOx>miBAfMm|Y<-awBfuw(j8t_H?77*e6%rpO8y@Q~#Mom6 z40xU9z{*hjTaZ`BwJ%*B9bfIw>oN`cS;^$_kB=rPoy}){9%r`b7wsD7m9!mX3;glG z#(4J?;SzT$TWrX)2BS_Cs81S$Lf+)=a=4bt9AAOQ2BcN12!}TxG8y&&`J(CUK5|ng znX7A3CN+2bd@&rl#J^D$iQ!>)!UsU&kYU%wdJ?lm<1mIu(cnI2gohvz_``4AkiuCW z^ZX}dBEpjAdZ%uhw#ew&4&oxtyQs@2#S?LP5Uf(Em_NJmj@qr)>f&(8RI1C`}I4%JT_5WWQz|OYw-^?hBdxIli-qc(viW7%yy_+ zP|@*JvDh;*!Ha?Au1CBOp#Wa!8?Y-qg8hJS#3+*ir>9}7MEpc9Of?d70aB17m)D6_<=9Vz6JHv%68&hLa^OZ}4vRyWu>5~j?0;Y=RqI& zMR=b=ST#mUod;A!xKM4_LZjqRA%NoOOTqJEZV~ z;s?_8Tqz-Y5##z&Ly_12wDwUF5lh$a^xl!K#ntg*5-8?2N6y=5x6#snR+fx@zCPSF zH#gV3od~_ct;F?E)(D#jBVuZp@a`!%sJw2&28G_!tP*ghZ33W`i5WLo;L70MHiD)5 zHa3=wXuyRAgZRB86er*WvpXEYSO#gR8TPBcAhj@>YNBEyM*;Tjza4*Y7f5h1DD`=# z`iTrrz%LiqBOb1an`brmVwVKuvD{~0+#*~L?g^1+%gz{VBj^aABK(h?h#T-iL-qqka+-^ah8QsB@!!{Q2CkkmklklsMtr@CZ^yOk02V=c(dd z|6wf+jYz@#;Jy#oiV*ebt_!%vt9XQ3)xlm3WD?PeU-Zpi%N7A}hIqGj{d(&+wjiuS zG)0aA`w$}T_p4T|3M?Qt;UdKMqdyZK)24LLFVsK7iwNLh*eoKVQ*c8#fFlA?Yh#l- zU|d(xqjO*GNcGv*qlY!K1Ss4R%R+M@-!W4OQv-E{axh4Gg>GLO^-YCIj-R->%7>I? z=iuxkBTKBq9cy+R0#B!e0$Am>1%kx(q?_pSdq95jEjht*jp!6T0Tqcmw;dh?#8gbY zxa{ri11}aLaTOz8`t@ga96-qrg!hzI2og?K&LX@dGMt>%64bjJ#h^C!Bw8~#rdZow z0MEV^$bksdJ4RcjzlLoAlwiCFR|si{+u%*0J8#Eb1~)_3RD_A>BoiRuA&%=4bP795 zAt3!A3d+0~kc3p-B<-G?yda6fq~6 zk{c=>dLpFejfGzPbbemmZ`&WSYc~p$@#We6*O0?(CjriW;$1&kc*d!E#UuX7+4Gi* zVh4Aj2OhPC+W!^Kkb6Ktz(89h;!81VH2LHjcv;*Ng;V+##zG8r1~*kaa2Upzbx{n2 zyefrGxDceo+6rSD3!(#WYUp$xz75~ASHQ|PHqDHW^WwHs?t$8ODrcQ2{5YzRGN-P~ znX@JLPX>5y>sZ+Ka%|Req1tPd(zAauD_O^93a@T3=s+B>qJC`HE>^EfEaW&w=ofym zE?s!)i#OIgZu=7%*f*2?%CD%sZ0zjCoN&>qvLSe$LY2rufeQj|)DMD~UgiNwzlWQf zoA3NK3Lj6_<(q;3>w2TS;rJ>nO8;Lf8=vwOPRv3AA&>BZio` zVHgL6oe3~hG4T3Y@*qozJuVv0Soney=9VZWEDzv=e#VK?=bpilCz%d+mf(^Bjaa4N zLzr8*DrtJbkqG7+4a!L4gjFXSIZ)krwn_E?jzpY}z34O|M05yv0UO7We@5ehWoI(q zyq?>KO459UbY@6YWQU0$#Ff~DQWrV2zy_hNGCULnVM!Bj0ayzO`UHvI==p8HmlNX? zl9Snpg&jcOdMNwiaB4~Fa@>c3jZO~avfxZs6&d=X!%cJ{0f zs@HIWS)*h1WrHLW*Mv;K%>&GUt$;~DV<>cmM9YX_=J*L1D#YUd0O!-mpefRZ3BW0f zfP+q;O?wadO}?7AKXggOG!Y;hiBYD~FLy ziI!?Fkqxa zj;BaP2pQ7GzI$$N#L|T1A1DaBtrH2Jg-nxq`NLnqIcTZ-t}g=xoIQ9Rx~+ zB9aT5p4SZoSjT|LNsw-0=h0lDY7Zx)=Uz_s_A&TkQv48g3hIp^DAiF^UTOc7<$n1p zo)uDI&d-d*qtlKD*2~jm31J(`gbM(QEw^riK_0-e-*73O1ZY~if8_WQUo{*gMdTKk zLSqOHx}?yUJeiBqsu}M&!ri`J$rN@tN@! z@D;KAd84vtu%=0XJZX92UCXE`Eq)2-#+%$&p6j6jFYwuz%w$K|F8D7y?a*~^DU>tp z^!sOs_|cN$A2W|{{kR)$hNmEn{}>-nG0M`w5)0y(2M9Z=bd5hL_K=#%Jhg=$R5eXF z_|ur2YFnb1AtFkMl+|%{u;>K_N2oEi%okapMst}T;J`i{)KQ9rMj>NT#H$#TCz&B3 z`z)H~_R8WikP~PP-VZFFXl5tQY(2VlSRodB!F5fEm|c+oY1NU8#|KfCjBQ)&*d2z4 zj4*#_>aiE=?Nlp(k8~pj>h4clVq0F0xEc^=5{t?6M>cMd$G5>A#{&}JMAjpYWV@Ab z1bEUIf>Q$UBlx~)W;6rHfXtseub?@!0jCn5iWD6WuPQJhPYLGx=;*u*3>?BiuP$j#DI@TEnCzqK4q*_p6{;X<%Q5Lo3-{081`r7)q&5Vbqh1Ab|^bt|=ZX|NIaZ zH~}3Ct@@53&Y&}BIO)ZfmzUubo<~&W0EVRzf4zf$GXOx=lWHcR$!|bt zIftjo`9~QCX?)NM+902hp;QvO5oHn@M;hV-AO?)V^CzCi^9Wy-WwZ#4HWEw&i||#n z!oo?}lihzQK=uP|R!3Bs9m@A8Aom4h>;^qo&{8yX4bbk9{wQR5p^Ep?i+ZQSYs{7H6sv-QEh0+l9E2NtUZU@XwfsztbA8% z`CDQ~(>K(BZ!5dUbLBUw+F@W|)A<*1vY$b!ha!#mMG|=Y6fcnyCY9u9X=_ zI%Qw>O}g`I3&yLbS8K16?RRJdXs~UgN;!aLLU-ZOQ-GwG7(UQJhlhp~NG{P05D6NQ z!l9SQohs6%NuL$#R-y?DBX5f|P{6_ZF<1zB?KyC01P=iEPs9^MCW$A57!L&)69-SZ zNmg*XFlRFfp1>GEDTH;Z-uHBNaD1yd=;BfRD*0WH6(ZT6Vwzj^+~0+_35}83ovmeQ z0k za?L&HjL0O_*N|R&^2PuQ7EeiPj_MYR-H+* zR(7qS3$Z-`@Fo6S9Qw%{#Kf!`BE)gSw4c8Eeg-{MLs7|X=xEIvlOXYR zZ7SnkzXv5R#Ds2D?Fgnp7sX?-wyI_P#}9rsCRB++sI1IIMiJptoFujh8LNgjKJxMs zLQFRIdyV|Fu@5WtsyLM+WZJu4emu;fkN9tX5%s4h3esnB`M}wPhY&vMrgCVU1ka#2 z^+dqf*4f!vjC9o#g6>;%52B~=B$f?ro^^t^nUd>l-Nk&zmdcw5c3L^Cc!W}&bXs6N z_aPfkPFCEn%P@Y)EYrX+tBMc;+It^;(8)}AwyXvmv%?X+g@qomh}K4G;aTx;N|>LU z`?#QP6O9*at1krY%BC}Wc_wsn0WM!p+aU!>bJ7u-%$ZUGkthUFi>YPN>}ykiP&{2> zBMx)ZpzmL4f0|60GY|Vn7-YGdavMJI5)pN9HZg2c8EVVDh!`ORj6he0pO_oK*{yN3 z9Ue}5ZZ0ocOp-eA>9+D1F5f}J|z6whL=z<3hzvrX?Ac?A&%21~S1fbp5bGn=@9LSD8p z`4l!-bfPATPrY@Ef)HBohS-)~w>7}uP!%&K@e`yr0*$`0N%1ruJYw)1@r#v`rt2t; z2|BxuzMuE(sBMZ+k`vdM_*6*OucBhu*k@SoFAK9qG6in^_2UDnhKUs57Ofo{MwJ*I zo|IS|zf)yii00{ai)1}Ldea)z+(ZJ7xns`GH+aP%z_gi6VTUZjF`k$Rl7d z@;@2x$3Rrn@>2{_NiSX!sau1bPR2Eblx!eBl0hGP4pQ}L6do-dw>5l0-;NZp-)zRf z*%X8u>R!Z{ji?-AHAx(t740~OV5f%4h;%$C%!{_o!f}C&`>5#=@Da`DX6-xqB?t|TFLHVbcozZ$PzQIwQtk+NWby=JJbREg3-usL?hVbztMVep zm(kl0^-_a6jGAyBb#pp#*xGJv`ccC!>_kkjak4eMKqAW$-Pu59AzJw8qt>%*x%kLO ze}3B%&j;*b3C5*SR+!|H!{eI894v9OAj?ed$PQI>Em??~DiT0i?VPr|U&hK1IlNK3 z=I0vdK35%tQPC?HNF){`Sra|FN~S)Z4h-<6GQ%p;v!i(Y)bE;i!-h=e1+?J=qfs$& za&l@Dw1kSZBC%?FQlOxba(iKy(^$TJ59DKH@H%(`k2!IChj%;ny$~Nc!y6cNi;@sr zMg>N80r4bWJA(>r8VBQ<_w4vMF|INavc=9j6$NkakJv2*rfy@fCmUHQ-~)kuLo;xF zGF3wM=xmhOKMET^2=Xe7_X7co>{|uA?6qv2(j-dflCRA6#1wS$4G(}lG(&nqhFhhz z(y!iNUDj@n-^WGzmR^SuRAOp7dPR_&)CglQp4D`A(43fuHCW(g5HDnopE-}nh-sC& zvB@F}$V-J+VQhqlfy+&*ILuUSn&q#nakotiG8rf zjv2VuwRt99%onQ>YR=`EVQrIf_FPcPDKxs0mgI1AQjux)m9I@zH1UL&FL`z(;F9nt zs%s0KtB;=(%Xrye`R7A1VMJ_dVT?fb54K|Dm}mfj*YA4ALLOD5MAJ_+d%vL)iuwu+ z9OJ)iOSALKKp}Eqn1oK7bj|nrZXsL8;YPI_&^fNxh_5ClSHHInw)M*Su{cc0>3oGw zY4trmocgG-u1~@fe~LhkuCv=2xqHWr@!KR#0j9xn*0NA^uB6T(EguBB5Rsk0k`pbQ zWi=d9t+-tv)QGHwX^iaW$R?UkT-O`}4p(C7W^IZpZW(F#Okn>ImQ1HPE(7Y++1%be1f`6y!V#2viZ=r>03Ai#rU8UAi3k&H4=#35wqjPV zNt=MK+BX7f5%I+oGXgZiD*W&KjEYw=Spo}Tf~7-{dfF z3(I~Qn!W8j|Rm8Yu(K)Xr>cbw|vUuQ8Xuo>dy;k&YJCH12XNGOERF#VNba?SKWUOe&kOZFit45I4fH$4i8ml|=Wp zs6fH4lKhUXW%$y8GQ&Qd^PlI8hC1U4>9c#s=q_~m?m9alVYRq-WlhPMviom>*V8ZU z=uy0D?z|kbzjLN=)yL!$a*v-;jG zG~H!6dZXETGCs&E;ZLzZF?`*)mYVc2pJ#yAZix*!kB6RQ_kOfGXW=_SP-Z-J+^F9b z6D3edVh*6fIN_i1FBOM~Uq@4P;F5+y=IuZ>4K)>&GMXFt5=OWU8V;kq+X(Fq&(h7| z4m)+azFFaMrvV13vmW$LBDx>Fo6ipCpBHSr=EMR5G4D)Jg zVGlQU1G_E>`<5LaD&Nnn&X>SW!@l9l$>(P2;=!U;8y`^743CTu9}KTPMeHK8Qff*^ z)tJdajr9_nF}Cg+m}71nWYkr#B%(9N6;MI^J(cnR3ur#tJI!L+mbC#xlf*~Uy1d#4 z@UnOK$xLxBM~HsxfBuMkX9bt>^x~nX+~-d7^ECW?gCG)QORG>_RkeYYmDQE!3B-{_ z=pKN1ohUOyq}VNHk%4;In7X+hkx&w)&^RJxj4p5~NLJRMCW&rPci#k&@%(FcZ2^^s zC-4&v+>d79jvPA_TeTQ#-I9zVdc#Q%x|*TP;8r7L#>U1*!o++LIN-b@Dk+1@^#G&` zS1&^G@0A;UI)B#MSqqb-RC021?-rzAp8WzcE_};~O5~EM>MRq~NdijUeZWFqp5DTOuy~01I4XJzAnXwTa(tL>Z*RYju@d-&U<@?oAcObAhbN%yqGe%uK49@$_+%D; zko=GLdaH&ByXbA5tEhID1elS7JXDijI$r%*?z%F&X8#z!6@G&rD44v~yBK;g>s6 zEZet}w!KES2|w%U{zZ8inYYMD6cN@jNr36Ty@B#HB`xi^rDYm711;@s$RtnOf+qQy z7H8rkn&Z5ZYxNlj9`0hwiTi0_;C)mUmp}*vneTufYwMbpwl?eyV3n?*ryz9}3nZYK z!{5H$1>|tGBeQH19o6cud#OzL_r=r)ByGQ&pP$bMLK=4csy$|)B=&P(nu4(P&A7nG z5cfX2g;fy}a^NNt>eQ8yYiBnS@H3V&Gd_MF;jvVBVj&BmWo6~@7;?)(!iCja^_Hh_lvPU} z14w9`%gyxj+u{O=>-yYsO04CeLl5AJ$Y$^+6i1q1{wY4t$b2P24EG|h(~+B@+45Q3 zUhNZ+~b>il&u6> zcMlCV*$O@f+(Zc)hD5~_IYmVxsdR%D^}d+KX(diN-=YVtbP*9v0K*|_U_zzZ7+Xi< zQ|qj_O?mqYxDN_+poOps4@`11#Wc^RB0T)=u!Ja^j-+};R7v3IR6V|KYus<_h;!p zL&?a<=#>SBu~#vrv_7MqL66Z;QG3iP59HibInQ~OdqCn249urk>pD8L8rrzS?YL?5xh-ea`#2W?rZoW@Gw@N3p&Di zwBL5c+H%&6pNAVV_Js==B0{LSrLtvKA8zm2UolHEQV zv&V+dZwlPRlL0Y2K}Ap-3x%G)fWUbIZSYPt+$d;_&-U>V6OkH=?+C&T7hf2nt~q4! z^=`3MFQEP&oBugnr5S13CDl_@bey-qqFe&j1369!`sq|?T8EK>F zn7#Jwxqo6JZXB`7$5dAl)N924XGWk01gWcm&1#d@QlOA(Lvs1m8B8bQN>zjX>gxa# zGGXhxh$I&Lu>j#Xfs%XmM21^%kWH^CY;60#%>$d)1LYQOqe3lVW@eT-ddpM>NP{HK zNAJUY`s!6q^pDYlGJE~X;QAJ0Wv6%I?5uWUvs)M@ z-I>QKrtlBEB!JJJhc+YuGY=ok03RiCrwpKXYaI*Jcn7iEUJ1Er(We9*i#ev&M9p;w zspv=8*!{Yp6;y{M|CinD&#v3rHty5mFTlRL9%S6OLdfc+PMrc) zzyM73zL%Gqa;y}h&to`jeft!$4MykJ?d(or35Dv-q@<+Yf_+l|`4tgqsxue#G(BAa z4ceE!zIz`(N`ZEv0(0^ffveuuZOgo%wq>)#U17mKf?o$zw{Yqj;<~nz^ivzcSqOvu&}av&{@fQRVCw0(~K zRR3e+u(8omZ@3a&&0GRta?&jfnE5Mcu5rs5o;>s+aR1Y zeq{6SHIwM^6mn0(n(6N0;r))+z>+T9Izv(ifY^3S6$ZsR(X2cM>!upW7*JWzp`s}Tw0@f(Ze4%=()$@lB~h1_ntD4q z`5?B=q=MTXZqMEVAlzqIijo2%*tbBEu@z^ZLvGG{B`XGhiYU}i;n~#9K0;KHksh||l}zP|uXOiQIF!m+ zMN3M5?d^@4$dQ$mWwx=b&ls;ODmvMdUG;kuC6SSy-VLMSFF<_xzBW(69aKTT;;6Vy0^xu!}BGHDmEL2K7Zd;oZc)e1MJ??Ow2cD5hmSbkPO-4!KZ2 z%1sUY`qST$C;cIjt0+F5oSYP}6XWi^vE!MQxt1=fh`^@ z$?8f@n%Je_>>0Cl>(&7sqXc2b!#SUkl_ib-H3c)1Sm3i8FFn01^Q*+~WTdQ3dLAY~ zUW|)mwsE}BxNT@GY2=7jfMLIhcv5OhOUr|qc*|@SP*uKK(3mb@E7N|8oxnHx>tp@i zS$TMR-bEFI(@nYad#ZMpDHA~y$Fr?pCh-oN>|0zFA#Mx6KzU>y`Vl7c;D)Wg?>Ell z(BaU6h|xWT>CryiiD`UQkcD$zeZ|mDxSj6F;Bsu+w|&cr@2$$Q^KD;I3`8{`Hf+ zy}j;eaRLp@(Gp%Q^=6NWuA83ZWXQvuSzu~UJ z9cV}m%LYtp;KJ6hE-Ut%r6}fH-62P$*u-FJtofn^PzQEvOKuX!?9AY|OOeVC(5J1W zfVkfS9ALlG`SrR0zOnM@_Lm9ud`BTtCMlf?hf7?{at8v_ov~|(ou481#jN4BW973S zkzKCD?mli}VxoTG!o!?= zc1bBbi|65=S2WSndsP>x9LBV9<3=$rgS8q1RtMrAbFW%x6n81N{C4YPL0)gLM6%%+ zeY|cj*P?$*pKE2Y=De`UfPIu+Z>mVY9#37$IL|)Z_^rdk!-B2ni;9Yj>NAx)isEZ4 zc#3RWhvRE6HnZhJ0s5}IoC?`0$oo~9-BE=?Mwi7oS}M2qFFL}a6@uA4(6WDuVHD@o z%-|&33>s$Z-@JJv-^7JWk~MI2K?v%UBC<}YVYaniFCwGp`GApfWw6?OYAsK+H(CCQ z=^RQFnD3x+$>jFn_%qY&-rX}Fg(MG+({`j;qPbo@f%)1vm zeYnGwL(yC2w+6xHEGM1o8+MMASU-BjVj@|jB z2f5!yG{Kube(mY0^7op+W3!%Fa4iT|+K<>TigJo@<@qyEbp#y{p(`~m( z8Jp(%D1qRYvK=MYy47X3D2I*p?ys$)8orTtsjtUiRFL1`T-+gjQLAH2S8|q;_McZg zRLPobbvs%td(8}Qzr7A6H8u4O^!INt=n^$#oFh?Zoj(<3rg2Vs_0<6b>%41#PEaIw z!%f1`>s6Il>?CtqzW^uaT3Ey;@5B>o=x-i252(7rIs}T%pq*QM$+~n;W+AGHi3!(F zp|_@n+5p>_o10&^v~&fU03GZDbhz*FmrtKQ^(oUwK$lil-u(6J*G-I!_b@?-J(%6- z_k0UaL>*jt#CCWqy8XKlUQ!bA<;3XWf9DwTd!zjoj4tKhEzg}2-?wicLLHNSJD&CX zR1zz8a&uE*u73RZN_;{eaHEMjU3vChY=@)}S#hfxuclzxjzTZK_)LhzK3JICe=)vAW?(cZ zYaDu&s=29wEfjAtv+_dw3QqSua=4JDD3l9K&{%B-yvp0m;;tGlwN9z~%KX?#9cs*Z zUYZC`?=2g|X*fO^?!4Vhp{+@HO=3$U=p7h?|ykZtTYETj;d{nmRA0JQ%<_Gq6DfB+FN2O_tk&%Q-ny58a2~fl+Q{~0%LvGDsZF1&2Qk#=Ia?R zu0b}M`);=eHK3dF9OI7{F5oXt($TD2$5*xpu#3Kkyn0Bn$D>D0@vm5Yly5x`%?g>p zJ%~QPaUPzE?wp2keZJNl(|KG^PNV8zb~cB=yX8-3Vfldb<-n*~#xE-luW0^^(JCH~e22-uFy;6jPvSW~Git%e#xvUw zW{%h4IYP*3G}h8Hfz^M^=MnHI_KS0=#-e77tx(8qH64Y|Q8>n_T*IsJ&J9|^&ron; zo|BXPoYagE=4B+HJluI7o<6$p;)weWu~#e)72&zc#$q%c=Tz5bBs-bOZoenvtiwwm zn{BfsztAd^eeLBZ(NeqsEXbS~ZL}+woiP@Jqx*>y zLXG|Wn;Sp*6~m5t5hhp5=UFGpEWwMfK~FJtCJoprE4b*?Oo?obeK^uj)}rF8({}a_ z4jO+Ri*xsHxssBZDFlm^YvHDAWqxjeu=1#D_?bxMbx7T4%r8L~Nst@>2dS``fCUas z3UUo8d%;|`t*J#;}>R?UrEL`oz$OQ=6NWvqy?2S(yGY+%Ny&vs( zBi`wH+xHJtMT8)t|5g=z-qIPdqvbJyQ~xUCh@YI9VJJd(7T**I+-`1e;?>}p4yz04 zQF9;9YwwuFw+}8c`wr^9tSa-NxQ;Qte9O=G>aCD? z)vH&WNn;DVBa;lc!gs(h7!1PNqpKS+`J>9 zyrxF!$9sYK;oQih;*kY?L1?RiyuAmWTIHkAxcl6kkw^GJ{`GQwH&RTDpUplEx#p}c z)+bP=J^#f^a-PN*o|hcJ{v1%xfgJF;vwk6`{<_gx3?`-A}8CsY7`UOpZO z-$Fj03F4%7U2+Rf9Hf@rP!%0=_`!yxXHeVs@!h)>c$kUJ3Aw*u@YhhN7KNcW{(vG| z;VI33bJhcc`1fbBwUQ>wY6dU|@lZD?WSFBtq0|CBmQp^o{0!EBi3(pjhM`G5pGK0QreH0{udx!GOzoj`FSY_(&Z zZymJ)&hoabOjZa$alQ?!oC=&+Rq1a4|0}zs{k5Ln$FOm_?$f7@c;4xY&V-0Xs<7sa zc12LR2#M|zKjQ3BQfP||kG0AVI17;ONTp1179)h;Dx$St-cyx~)#53EK1?;lEOTVH zF*hcl?nXvN?qt}y_5MMff=fW?;+g@3NDU2qMbS*Q9meJA8rNKbluM9x4-d~qpgBc| zxE8?g@~vuB@eLeFSV&-Atj($xY+ub~nBfO5D{zNv01P$Iqhs)@;v{6Vc3XE{G7UJzMC5_)4Z z#DGy(6dT^)q(0QuZ6Ut4oB%bk4{Oau5WA5|p(z1_yw^D~F_)($v#TsWty zfuu8_tY?0%*n=Uw zwa_ao9e8cl#-OIA<~xLKF0X*DxCSc6s@llb6{8l;>|{R@yIb3gDhV)BY*uLl9R%9E zH|DM@X@zact~C$FV1j&?TtqMc8V_CKyYG-URqX)Yupwyy`Q1bD+YuCEsIRP_ktKSr zvy#$Q+fGA~FxZ6`nX8(uW6TxlMzP zMA0Bt^()b5{`navK5FfPH2~}1!!wue%tGg`mU>M2gXQO@9bbw#huJM zh8s8zDtm>@PZllg1O$FN#o9&(#R?5Ib@%xhjO_(;ZL9Mcj2RpodxSh3EA|?l-!^ar zf;PsEM1g*?%MQpuvQ3{o1?grvg>eOHOp5%;#lSv5B`xmr3J_7x1&Pi@^(9=(=o#X&hqlbLi(jX@(15Oc3crush<@J z{m(bIz*=I~+}bmV*CZn~7{7&w!TTWu-ZRd zR#G2$23z62q2qCFeQ-_ktR1mJTHPvOxE^TS9gIH>2o^&G#DBvJ!xJqpI?i(G;p*JN zOUCu50||4-(sxZd+)ZHq&2pzk3&I zNJ`DBFb%sJPZ=AQx~!OAK7 z7GoEc5Y+84nlsbWZt?N)l9qy*s6BV{^DA$H-r6Y2?Tr7lI)nAe(e9-U7Z3WSxqtFb^~KIzDAGxF-8|WaOm0L9oRp=Njp!05!mQQw0*1jz|p?4 zUXZ^AI^#Y@jEuJ-nd70=9vMMK75nw{R8A09YsPJQjZye!EERZKa7z}7G=dy9oU})P z;l-vBfh!mZ{o~h^S-GuS7~1GCX^wIOP-1(+N7q3&hTJC`)dn7%6@p;ekMPde)8G0e z2n8XPShWzqAuxRP_D)s_y&?f!jr-f z+$u6+xDzo8xf@tXyjCQ5v2ftouIk1CX_a6K=twNWOx5(K6FUGasAKkGC%V^r#7H9E z0`2bZLoGERcpzrwmGNf7Fu6ha`&Rh-U+tLqjyuUfH%PWE)UCV=^7lPJ=1sv^w|%kD zC9$C$*HxTV!X-hIRor$z@y%%1+S*#+oIA*e^*Yi37T1fpAf{b5GUD>MqUK{{V)76_ z#N#WFT1jPPUui1|mqm4Jz7=K=y(rURktj714pMpgmhW7VYtu2_>ib$$RCJ)-g5%Zu zGZ+}#udNQNzzm@9Bm0va7bL7S{HQ2Tj)3hS@quET^CN>y&r-cC_9Cu zJRBc$v%}G-K1cl$wgI><1cnsq{IzDyLtU&(Ff6^h{#~3sZSy0hmDH5hT$Xf*-1?4t%h|VlSb2`8ROqi5iNSo*B82 z=&^M4=CUXFMuVJC)EL-Pka(_S0EhGg!B_q43XYKDwOF2hkP3)SkRJ4?6oqqf@Di41y|v(B+bn7gzc?Dpj%UPi>P4x zaSZ7m47!-j#{c1dmh_hd6xfJh1nt>9EuJRFHpJtHifq-7_pAZ?8BsHXTUkuPgZ6#I zOX5u6CAJIGsboh$oFcWYt*xeAk{~1SB-8dcO4ezPXjTP}{^U4xXe;C{caOiM@Tr|R z?zeF5%9VRae-EhC3GR&kowsfTTXWsX?Lh;uJgxlg{%cUdB9 zu%!^YpxFrCE9QkSKT{uh9f^QBEbtfleK`8l;_#^y!Tqsf%UZ7lfSln=4fr_NOLE~{ zKwc$2-HEe4kgYlqH~qR1=v*LJ`|I7pI0UIEf~!)}708mlK+L=tX9G&vin(Fww!uAS zsrmH_=XHQ#U4^?ErwhLOTuqP|E)b&`S*;1E;c%S;#2ugUN^E=g4roMbwQc-HE*+zk8`3_!s;P4FI zxe`P?q>iWetN7mE5YGtqQ1K=bVUy?%XEG&D2VOXkiJvdTQ_Rt@#5^n(YZdRq@w4WN z5iSfQ03ic208>7Y+lHZ}9Bd_W;k8f7Aq#3$yAAB>3W@Hf(XyezgQ`k*>SCv?weg6KH6(rw2)Z_sJj-c_50o5GGkgmLydch4* z1hL3-tcr??bBIDd9A{X|+UTiHx)*sv80ov%vG*K_!|+PFqqV6U{S}y)gq^*^!=}FY z*r?F?0AS1Cq*OS4`aQIV><*WA?ZhbY>}=l^p9g4xyD>BR0V0u9oK{n%si5-r?^hz5 zl;E!>Fsjpyy0BOAzjBfO;5{ma)>*0ygiM{0TEJKi454Vj{iwKidH41vFV9}WDcve+84>4n2bT`mUJVF^ zGErm+Z=A#Ur|`JC4H9H+W9)_3JgAXWD}a5SzNeIq3ogt8KOon zH!_7i=hu-5JhFa{cT?hSxTACZih?H2jC2Ci*|xcz z$l4&Oq6b5D{rdH{=(Mn3eh=p=vKF~NA|G?5`u6Xy$jh&X+HYrzTR50b6h7_{o$2c7 zP0UT`5v~v%nXs_%p_|Kxk^eadnQQW$?C7v2CQ}RKljN=@D6m#3U~c14S^E{+C*Gm0+57MT=yF&f-37=(?P2aTJ-GLfY*%2d z1Ve1;jDIEpYG#0tQ46W!{Z?Ci^^=rB1ZU}|bA)kZ2OJdKRj z@3^$y@PZz@huC6t_;pn6s02~I6tQD!{`Q?acZ@Zf`Yxj_d4tItSf z4hXXQ{CM*Tev6yZQ&NuEL-zapxixDO9a5SSaEgZ2e99QM(V4^JZo}FHw3h5B6FHLE z-qAtJ%xs)75s58vGM|lL(r(*~2>~@dPv`h1QK?Fa@0to!+eq-)Ys)bAf53LxB@lH?h6^{q&RJLi*#*9jKL z34KV?8+f!PV)Q(Q*V)964b49cOEiet4%=;tKi&24{)t{`9q*ZYI|oczQv8F&SE1VItVFGx(~rTO?s+Bf{=9UToz>DPX7?q#ak@(nbuZ{Rs9MLIU!)7 zGz%DTt0Hs?LeNWeK0)ouRbPJ&IzbNp0t%V26d(xU!5~Iqi z0E<64L^c2utKsX!^T~%dbjR~xB=9{zCLWv@K>?F+j>PEp@FDdr|1M@stGOY5UPd=< zEbiP}{)8G+5O{tL8 z;x>@H0Z5gRR2R^KjQ^axa@gU=Din54hF`$J*#JC-^3doi;)(B$j)n~SY_hYmx&u`f zvfWw~@aWKRm{%YOt0d~_>D@uq6@LJlM!+Z@9+U!gxaW|7#XY5@q!c*9#GB3+0X&|J zJio!1_fB&I12<%-aLm+#p*jwoH0#kD_lZN4%;s1SZlzL;1D(fXQFQfZrDvgO9-L zaloV@pcZsAN0#2lSz6CFHYLa<4>c?D0vj0(;GV}Og7su7`b|#Gah`x4{76uA;V=3b zDc}|J0C`j{I%!YN=kKX9a$URQGx)g`t1Iz=@r+Q0^r2ioLVCf$DX22nWBQNq|3K>C z`GWrYS&V%Y=m7FCDu$f(WPr@W1 z77seE@agtvpACP-4oyOz7OhmmqR{6AvJ*;9B8ipM0wRqc2jSj&G>Q{2PbY!qoPRC0 z)8YA~hb*Vu`lb#<$(do%Xp%pIE0J1I+ZnkDmvoTa0aMfctcUGy0gc|p#kCHP1?r}? zAfY|c66qhh35X!>{xm9ps~Ea=ABskljHVsvA&F0nr*~DU#TP+0F-gNsPcvR!$)%t3&UO$s{+K2x-4?u2L{A~ZtiYyaPXjg zFJ`jBmnJcul?q<9?BS7!$cl+$+|Hp^*;?Kpa2|TF0DV6TOA3E5#)x=?$3ytOgNRO@ z6NC|~Eo*34r3!8gKJ2k}_*Cn{up(#VVC|!qir266l2g%;hSCA`C!xd=dtW7-2@1UX z?bq?gi;MK%4!(aeH@;5hDW%%el@Jxkaw$NvEw&WQnW+ML7_ zbRH}$ESum@VXG4azHvY3nh(?_vKlFuR-g)voSDJp`+`z{=_17jnV*Nth8IrbeG)+< zXu@?o!+x|lF^E`yAuQKlUGmIxoTdVhD+Ob!RvR3E6+7!bHA9ZkoM!Ow-At-7qgfdU zCrAJVoQJ1hCXEXmfEpGJGbJQ#LAEQ+Y9rQ>@&%ML6Tial-TagcE}Q?r&Ykc0w@AVA z>j&gSYV-5++}l}L{3)!L7r@6o!I?S7j`};~JVeiyKpe^u*h~%=Vja~FfH6VdM=+F> zICcRt;njL%YseU1z3l1J%3zCC2fls{pJ)aTP=1?o4L5Le8~co3)u3bi$*!iWpHQgn z8|%o8Zf)%7I8tXuwnHhg63^$SoJzavCXkY%P$y&xm zM^EK;(Fz1L*D2hQ4CpBBN0F=cp(2czN4L6Aa78M3DLSe81U}Y=<-C%Tl6@dylQYuN z%B`P6Wx@%jBUWBfQH}e_vym|{o4(!7V!(e%{AKO{JV|YUr^O$4;B=&NEUF2Ys5ZQ- zm|n29{+$bg+M#zc9u+2y={TduQi|`B+5-8(Y23GWZ_wG-IBBVf0_)vrr%-rLU#hEm zote(VD9{ooyPQedODz68>k_O9`+$CdUa)Y|!PP8}6yUFDiQ9e}gql}h9DLA!0AymW zepxYbYggDL?ju(|woHTy0RAZ_0L?2sA?;C>*6Q7n%CDDB&f~WI5^X?8+0H7tn?C^U zJU1?Sd`3n_z3~o0oPUSSr$5Xh#j5rNR6N0W`%@Ni>|icO#JMV{2wxRTe7G>hT zlmNRN>5{vH%cvCnF}lxJdTpbWl)p{H(ntwzd;7qjs<_AN^nZGXDTArPdAtWg>PYsga3DgXwkrBZ zhK8I^-aVSQ7!*CQ2f7b><^%K(F%DbHF|l$TT1pJTumGcai&_{B>INJm0%74O#$bLK z4DTbx6+ft?3DVoYh&`_)K|{q30q4=^&S^XH7pW;z&3S8EiJ9HP#`q) zUA0|WCc>!(yGo>}xB@*fymc@>p`oF$sih^|4rDXW#I^HbMivf}01OELQhD5mXNnW9 za0E9uBU3@RuqD8eERcby^%)cwe5+TGFbN zM>B{5!VSgKSDYU5Y~X&l5gb`ej2Xao3fd5m5MNN)*xA{s#;LBupuHrDTOW~Y7p=Nh zBWv*5F8(a-V;wjv zUMp#-XIOMBN*sJEaBqu&6jcWPorw&t?Ejx1pEB-8#+W#R?|XYoqmsEk)Odj67Bmak zZTJY!OrWU12dCvl(bN8%D{#SaCs4?)$6@MKe8{PSeSTYcFWoZECOr}?KP1JIw$Ren zG!4O%lqiNNQ0|mewro;Td-wOJ_M$9;3&|~rS|)!xq{ri=q$@~lqt?0N_*HVn5!~?eY1wq2_Q{{C;Hh9=lQ-D|Ade|PPa(8(<5-OQF z0y4IO0y_Uxcn{+-4iXh0Z`&MgzW?dS>^kh4{PUN9ZZ`*c6H3A=D08$5UA7~jQrv>} zgG{Uwfk=>mfG6GuDLN=Vqmw~3)mq6!YXFa81ENjF_}2;wxV2ECXJ3QZC~!sk&$i_6 zKef)u(srFcf1Zfwae>@$^8kMMAE1)JT7z2vr@M*&f9@w(UaS6Mg%XRac6V(B zdV-g#+}#-J!!U6ItXe{j;zx1Horbm@tpgtnVTc$G0%(4_)Bk;Ow%cxDzyGeqAC(w@ z%ZGSSUcko)SFcx*O9c^)gfbE~%i0cVy}1RcIt2wfYqINECF)d!A3}mIYshTlov)Dcd%5Q;ucaH&>GWT&)={9|Nc|j+&uC7N$TJCxPz)1 z6Xg$);q(aVRvSr87QS=OPfbinqF||fzU#4JTAR}&d~<;rf|Vqq{0a(WFVIwc*N*?s z#nv?#UG@8g`r9H@xoPR>?&9o7=Ar#=&NABuY&D4gH}yE5lbxFjSA(q-gq{?*a^k-~ zX(09Qr~SUXAp~(Cx>?}SJbuu)awR(M$|$ZB-#De6=$WT zy+<0kj486u4*&D1Z~hTc%XMoRjG28gJcSYKR4h>jf>g?B^=BnTOZ(VGeNOiO-hqG7 z)|?&=ibJBJ#1SX(ume9ib>kENMRiMg|MP8V1R8ht5W!7Z**XHG0pIXyl=c7byIgEHM7|K8a@zf)rPZx;FUErjoXU*5j%UswC_Szz$1DlmH85BeK~ zz@J~gd$-Czk^1i!P-58SS4KgBu7ma?LgyuS)BnEFQkFkHq5nzFC#S8V|7VE6kX_}+ z{>}e-v2-Vtx~Mt!UaJTeIf%|x{y8nJ!D^Jsk|>EO-gb7fqO=f3^8VwOzUlBE2W2(1 z?1ADa6#o2GzH)zM2*v+gu7CYS|BTcl9E#6xq1^}T zK(wk>(GgD&Y8K)7bC&xFK#*N<7&9CFpVL~v#gA@I&~Ed;UPb32XmuJ?dt?$D#5uu% z(S?0zH!}JLwg3)>1hTvYL=4R03uIALC;h=sLB?RLk&=P{I>6@yuKepqlHV2^Uj8St z{(Ykh*a5!22Luo9&H}1jGE4$v87P{IOXcBuB@0IowO)0ih8Rmq>7IYGD7h|k< z(DBRm{*LCzPVhh9Og=QgYl;_uH2?)m5D|B8WyDEo>2R>eM4O5_1dbLKD8WG!2a5}Z zUt<;jFZke;P#N;}H9NWtGSHJmphX0{NRmrXcH=2wCN7Y6Vj9J0=y|bFhKSxkIP=NGWJHpE{1;t=jTvL{m@f}L8@Wq^?>hSKRtMrUB! zxZSBcd$n8s_F*-GLNv9sayhxn*@Jchz64=q)|0}zVgsc2NMumrn$F?|VS1vK{O!TM zK05wJpPRhK`sicJ#m*gM?pBn`m4!bN=q}#*OKt`#HMtP<}VmfJ&#EtW^~FMoX}9Hn^82>*N5CVAf__O-ZTEtWZnAGah06Y<#iXph1Jk;8w^DfP6woAcK`3u1s7pZT{;g;|_h7 zgu}RY-p9=V0(4k!baf^|hO`}9Ah;AZbizdKs|$&CDzB=en7Wai6LCo4C6;dsQsB#cGCQo=@`sUKEBe;tHA8ys zqk9rLCnvth1?#u!S0BeoGK5VA8kCi*R&_w0)^flS4K&8{?*$9SFBwMIS}j!FEbil? z87yoo<$$(eW##7{LZ%7Oj%@Jt*hX}1f8pq44T3iW;*pQR{TH`ofr`!hPrqG0ulT7m zXTO+>Zch6Q3ATOgJDfo{KyA*N3F;a*L3a-b1rT9cL8$?{d-&7-6$T<-wc~U0c*xi) z+JnIS>IawIq9>2a$e&8K_SLadn5eY-EqbEuMG#~Syng+zmp?LRd=!L$mc)4f_$$ET zU=t?v$-agwFiWr*)rUvQ4!uH4Jx3;uh;`7_xeP?ZLPP5)n4|tgI#=fhU(7nQ2F%<8 z!)^@)9e)O+#%OkDEchx%nE%(o48g$X!vRE`sCU{b^-HA}SU2Tf^LWTj5;OlnPotwirb011 zEoEzt4E^cLF7X_Tx6|Vx?fZ$@H=C!HQChZ;!q|j&dT-Eh7uHEa2IQ=pii2gXFlP;XDfHG=Uqjr|UEx8Iz<< z0NHArcRs$Q+k^XBP7wU4=e2f^NzGeI9kDEHZ8c?z4RjIQ)4~ne;qD>s6`$&2R%?8$ zKMwBL<3EY*Mp2Rr;HT=6G#GXD*u4guAitgyjMTTNa_Z#AZCcW1y3-sX)WmP+^1j>h)+p`ApNEgWSzylm{ZS6ag66w>puPLwU`O+qK(5 z;Y7^!&l0r#IjgwIXQp8+VIytz%cf`}kaMB*nJ zgZCL>*R)x@cnkmPC7(CDR(fzCHPFZ_cVjkSqhM2X3m)7ng(0^g<$K#)QG8>LT(!mY zwGPRr(n?F3V9{By*G)hWvxo`Y1t}=F5RsJd#{0l}w5OibgnOw@O%Hj!=F9sw0*NpP zzhov5WCob}1FE8|ZwjTHRcMF2h+b2BJr)q*AHV$52Su!BDDwUk41FamZYc;kuuWbr44~uU z{)u)6HlKfB3p;@Ty)FX$OZmc{16p_t)NRO9_?dTt>ldXyBHSEvIB0@ZPSa9jBv|65nd|=torz> zE;m6PqN7Hq=yY26*|Vr^yM;3@Lxj$Lk>7s~n~lij>Vy!dkw#vb1!Udc?xW~3J~jBt zJ&TFmhZGpgw3|1TMb)VCBM+A$#oPoqBnDLw0jZ5pH4MFx6bAR@NgB>>gP%t=neHgN z36SKLEwTbq?NOKYnsy*BLB zZ=n!@MZN@Li;T-I$L*heaEA_eJs4qn9~2cnFuCL6$&ez~p{;|iMom{!Wuc&tja-JI%@Q2 z6J}y1Q^{LR23OL3`&o3FX!wRUo_2a(6BN6PPEXgv&QhK3_rc5xpPCMmXDO$+q$hXX z*WEl!NwhW+>ilt$87td+vAC|g7u#xTl9km|)$LGze!f=4_Y%&V@@GGP9G=jV8{L$a z_5?e4EMxXk|7G6iVj_+RlF+@94=;?R9t<_hnEiP39*bfvK77Dx5spYX;qgQ^Q!{w* z>gG&ER|TETyP+z*A^je^rZfRfUQH>?uf7iUN4%E50J*M^!~z)aFu7TwTfh zEynN6P9`0iH-EVkC3vysg*Sz7I8LL+9zbVMtKE=}L8@vHC~9FHmD|_NP8Wf4Bx3zbo{%JPTCIJ!w!wt#l?+k*WNh#Y@2=yT4KiP z==Gi8YqcNAWrVMv?m}0itdY0Ek3^p5yc$``mXW_1nFRc)X`3e8*mYqE{E|_??TlCn zHtb^6PK%C64Ou3ViJFQl=vg6$6Ggl9;>G@~Dci~f_eY^mDHN5NlIbo7#7%Fgkj1SVa%>uOp-ZQbTJ{)qsX6Mvs;n|1vm)XUWL2kn z4o79OO}Y*TwfJ{1I7$uN!86ph*%T%lI!KzsheJ|7niE^cg_JI1}* z#_0nWoS3yhIq>$V^DHV#07+ERfy~9TKK{VF*}7`PZB&;%6mQ{~cOjuKno>C}VAUEi zl#l@71#g?UPvFw=sV&>NAV{Tk-E0%i?3W}Azn#Khb^Z>wZvyl*0j+P z1MN3QERQs&t=dSmboUt-Te7#d@v??vd)ym6s_TxR(@AOIXQFmws1qW%aL0gu9Af;3 zTF&Iml0FF1sRh*)4v2`Ip-DR}IL zk)lw)-{-SpE(+`Ln3FcBORE@^`3FFy!^$}+=sRa^@byYt%rN622P{u?qd7O=_q>*= zwhHwsDAx@98Fb*`woj)J24>XUS*u~|h^&?<-;6lulw!E(o07jbm(B(q@;TSiLnAp1 zNBroQg{cF3R>@RS=!^O=!bql2`T0GybL_e>{}FXug2m)UkI1~ncq=RuG)61EQ2HA?s*jhC&x9lfbV~SU zIFiD_@p#9O9l+YP7Nk#nLtoBqvt@?!$b+^X(L8p~1VXBuP*fR>Mn8ifLljRzC#&Ou z{8L(Bg{IF0zf`70v@VnKjGpa4Ty*u(BQ+|B!b0B&d!;%a5*_C`f=t-Yqdi+TOACKF zZb7pnP5|9JTzm-r(l#+qV@#bJ}qsbVm8xk%5I4s)ILW>rLMo!0%!TG+Mw5 zQs1((f)&BP(*0_U}(h(1Xe5<&opHC5g*w?7OHttY%?2s>YGvQC6dR z^(p0%os2`5d|~^lcfAClWk2TB!kk;ZdAN8k6$()U34yqhtz zn&RNa&Y3ONc2%hdh}s<3RnKuObT7qt+%1vVw- zL*`HpIGGrY(r~bkeiSiT)Q;s~45NcLji*PrgTnPxTF#Nly+{$c+1)wt>r^YNFfw;M zz7+Gk3Ad8k@Qz%cZEn_aOKYN*_jpKiy@hxO$H5XVujCo3I000#IQm28^pGABpz2Md zH#}c?`N;22PZIjZI0$=efBw?3V?BHf>ng^do@b77RbrA}kM)!R;_tskYnPt#J^3f} z&XyiMpWc!YeN~^QN$@&3}Hn}nNfj4J!))h za$od%uxNE{Bdv#&wcmMDrirYNvO?~`O3l+ud%Pr5vE4)loiy)N=CXGN+YdJNNnJ~p zdkpsHPj4SJW6&B*`>lk%9sI8m$)iK5kUGSYKDo5|f#z2jJ2{G&F>6D;Y~f{GAw>p= z+=IuPoNsTQ#TPuw>RZ?nZ7pe|U}>iO`BwH6^KLaLr0h*pVo|6s(OPQAn^L&^e#@T$ z?5~%{9^PM+1q&7~G{<*IJiRhapo+`OjL8)p-Z8Dpz+Wq5yFVwsw@?rV-fC?H;yqEV>Te0}K|_e*Fmgv`{O9gHdWhsZqaV(@ z6rOXxy@wEE326BWvBVsz_c@Ce(sF# zGm1d&^lbIVDAJT}lKU%TntA>`0S`Ona)2tD?}I12D?r4s0D-Fm*1zQObu+GpB8k$`Nb`UQJK>eS9r>}m<=y2 zy_d`#R`U8*D}@veNj|;$PD*h1?um;B8nAl#3a*;V{kp-bN;!Xzi@8J3y-dg=va}@CfvT= zh>Dv(kQZzd#mv$7Mho%KWpZ6fT4W{-PrPaH% zxt{4>>ld+F@WvT_!2Bq$On-}3S*zyCL&kJ8G@PN5ncvcYaUh_CX{X4b^Y4dU6SqOq zw#NfCMs#huAS+50b(7NBn^i=Ef{wIt;P^TK4+}>c__uk`Cm^B3L3qElV?A7gGV`NMGW%z`fUxS94V0#8_$hGpgA2( zk;dUs{-;CC!u4;Rzi{CI|0b;GW?pYHg#2@c{d?aeMS(d_P^ZSvNcyJH_5f9xulJOu zSbY47pMHI;TMt4BHpyjL#li-(>7z)aR80g$wK@IulZ-CrX?O27v#t zn9@K&Il)oa>;$WHEJcAK@Czy3-kfVuA>G8xI8JFDgasDG>8EKZD+L2Eikv8Fj+TAr zH3pMbAU&Wyyg&@d%8-Cpb>9_|OA-dvGl1=A8f0WI{suNAdZ&4N0FrI#4Iwo)>?`=m zHK9|UbI3WWv?O=9Ojsa6VAEAtEd+8Msd!+{QiUM7Y-ve6@^gXir(k{}s3*Gg3CY>> zY3>`dIma7AxdQyd1eEZTI=DAQMZ(CQbJ~Tiq|J1Z9N#uT#VU#D#Un~rZun49HeX69 zdT^2Rq6bG6qJ+R{o3?p%M$;D7^STZS(BJHf(Hj4H%BM(r#IVv`(!c!U*Qa;aKYNBc zTGjZWO;T;ZN_n$)&NlUBIslZbra*;6sXF^=70tbh>e|kl znl^L+E&DCll~Eepdsg)-+p2EFcdR=jfSU9{GFvUJ#H_O)KvD6RX()S=u22VH8h7W+d2Aaqv0|B@4m{&t zIcvktq3!2^sIB0x*xGe1o2EgQCZ1S?WbC=?%@L3DYmexXJf;j3@;R8)z0PidkMYYF zRIRiJm{3}ppWY*G4EVkPdBUM_(OUSHU28N%po>*`pI%(64fUv?eDczhxPg?C4i8-V zN*+6^mz-H0`}Xa7tppRliD{?=EwE@IZ22DgN+Iy@#~8Bw#pAEPlrFuW5XFqrk#<>X z24hCeP%S>thzW-qas_I@sBs|H<#TXhby}v>hf9OrvPRPC(~Nl6($2rc8u3kO8v}hW zoI6)Q2-O+d)GSv6>rS0J+p;B!-sIS;5(g_@;CO43L%d?)^UQZ_*uJX%o*ffs9Y4g7 z&|S^_dqr%z-S0D8lZ><15}wp85DDKox5|EseW;4(5$^kHmDm~a_i4wY@&R>!)AtMR zV;x+wM%`)I0Tw17s=1ML7i9J|I5He|1b#W$6tS>?oGQRCar-7%&%t#S*|j=0uD&Ci z%(kNGnXEbiCQ&3X0dMGRhkevcKb`Z3Un;KFliDsclU6Q`AH_Lqfg3hbV5ig}aAx6& z)(yy_tIOHC&eLWNwSN=Z08NV9JtYMHc0t+ZI!Td z=WT8Hn74JGYS9?Ch1DUgrlaaAD_^6%R45=iOsGqz+g_U}kU3?yt}UN0_VYg2M z@f|Ljv)d6wnwY=X8Lq5{X~zU8Go?WNMFVzs<-_o(KBEiuMQ-+*F?^rdQ$7VvLgn`X zd)fRQ=W3yNtCA^EXw{l8Szd6b8q7eGL^^E|A8hbeBYLaYt9Wzaimijz&2CaF~KTpub#C6t)-T$tY*)|qI74e{(I0{7rxZ2|7dAjiZT=0V7I`ikbS#<$vG^>aa>F0{udob8@9~Vt ziR#C)59>%CBE6+*(#HB~VP{sq0Diaw;R#?vIuQ4qWnJrRL99~gCsgNE8W{P~PD!&o62pNfgeIKS1Ij|XvYmSZayrgGWE zd1jYhk4TSlW|D%C_4nNTS1lGw#r*TOAA<}Pem&m?G>P=tL>fSW-l3jVZgV1`MJl?4 znuUZOxV)_(?{tO&e2d`rL=IK>PLyT0*cNqf++d{8(qGG6EI8@dToP3#=tj?P-=)dc zrLEoBV}(7ffpAsejiR%qWfj5*p6vvYrt}-qVG9oqeg6E-W;vz)_Dj2!u63n;4IhwH zx^-zYs zI{GzR9<_4J!%8Joc?<%Enfd+jVOc5#3lY}N@X5S5Gs!37Y*i?`Lfn)t zJ~b_7_%LW*(y>qx8Vhc^eb-e_&%1P!zK70a?z!(U1nX&$sw>!xF6&26Pj4`r%P+MY zq&>=8z$Q54D`1+YAqFV~jQ~9+#Wbel&3EgrAkqe%jdC1s1O20JXT(GjoOBjPuL7kO`p_!%-GSUA4-?61$!vA&`~T zLalIqazLBa2N6S$QyKM6JGxPoIxf6r9Qt9yq&u^7*E5=GI(MU6yY=+;t_BDT3v?vb@u16}KIm-e3c{Tqn2(XO z8V>HB;~u8RQF|}W8;$xknRC-LXV~0ZyFHo7z3P?Tm3>A<2jfE5R*YQsM_5ewJA*+s zSJsVwFs?^K?&H%Md#%dn0LT}pm?DDsi#f9H`NbpyiW!nZKjA_M5)Qtp<;~s8>Za8@ zdhA#XjpIZ%w-D7FRnEKZ?NT(+=xipZ&k^r*=KKwaM|K&^9D4qMPt2f4T;RzIAEW`x z{fDeJMIG@?c}bVH#fHhV<2zJSY%}{%a-*|MhB_?&xs<%E;=8e9TRV1hRud^o z#(78sv54^eHBnXV)bfCYCn&qkp3Pt=nhd2FKE+uWs=%!_Cg;kggz>?{4{ibJwPVti zSoZIoL*hp*v~qahw|R3ipP9_<y>9Hum=k-s*BUni)Cl^ z$*5zB4Slto=lm)+vf|+MxE}xt{gy{n2RV@76nXjOY% zUS5vatroWB*r;nqS=-ZZ;p4vm%XS$|W-u>b=`{RcTD`7i;q(2EoITrL?n%~9J6^o? z{OWqsn!b#|>Mhn*R8}e{-?)L_z$AvQ`DWXwDDW+A zJD-=hf$lk6gvbM>R#U9wVd988lieImJ{QcQN2{04y=*yS3J3wxFeLFwK%B$M&vqH3VU~x%fZ!HYqW1Jq zk99l0D_Eai0$I+s$Ju^v3&zdd0t6#L&pi4Ts!nqz76i?xaG?;PCF#xh0ln1 zKEtwIe)XqeD<8k#pWF}ORz_VLsD7INfayb6hc+6xtr5tkY9fL=#FfZM>SVcBd(P2f zOzBMX?@XERl>7R9BIkj~^tN@I+>msVL|Ao^4>Io#J3^x>L}tX5a;_%&kyVGX3Eyc7 z2vBRQ#Rr;zamQZw3#b2ha@l>R3g`o2X{z0)j6dn~ic`)-{W$Qg{=%L2;ciS~m^%_~ z-5PVaBse5QlxC7dm><1=sM(6y3nhc;MDY2=4>sPboAXOpT(Ju3$j7#5?d3ZY*<3WN zwB>qm7if`#rKZz4SJyM(DBF_2afMghz<=*ZIpUd&PMkW`ED;K06K{U@`Ae*M;12Ax zrN#t@%z@kDt@(_A(k)fpZrGn3ePQ*X?|}jO8z`mFJLAtTvKCoO@_A*s+y4IR;Nb;R z%j4+Fv+8z7v2^0(-HT3<6Ia}!zqF&isW1FVW`X7YSyn~*nsbuxd3sL`^7CuJhoe6MTocZHs{S^*u77Y*BlsS1eGpo2W6tnWvKV8nk49<4(HQuZj-OT^_? z3G%->$fzAQg&WxZ!R@zC-}Tv!T~Sno1O99_qRS5@3w>3yoJD3u_0qd{Kbg~WkTHVR zW~#{~T6MZM)@Nzl^b?oqM^9vY?DH2Mwo%DtT`G1KHD~!rbmo-83)74Ka9kAGdQ1o%!;?XfPA&xSGQiaIN(eXE=@Qu{Ck4wbY6 z9bkQ$*JfDVWR~Sv@sjz25Iv$rTXO_$08CYka9zlWDU?!JjJ37(nB_yXSFge%$oSW* zYx%ZRd)|Cq2^gTZ3!o18&5?dpR3jf>jg)+q{)?Vm0mNv6UQK9ho|}SamxoXdOj{g= zlG`-3*V^AS?UvrM2ld1W&XWgoc^fuPMxq%Q{q^MIr^kt`H?2pH9y;8k1|(+8m@xz9xtZTI0<;5jYTww)gsXLK z-c}|_6ah=})7vlzE0Hoc6skdY@aG+=_GmK(2q6IAm&?6P*lH7`=Eu8gT6WzoF-PE@ z^WR?hJwVRHO4r@;uN`-rXLG>RqprNU%qcKe|BOEGC!pkbKFf@qZ1}`}Y3& zO*nN@NRWk!Hx7y~%30adla3V%kdtGVnWwyZ}U8bImAc&mEYxHblZnpe#8^t>d zAFeho{FfxM+SH&y)fRGM*`Tl;*2*3DTV(Q(bXn1Mix>A&`^mb;n7b9PS=d%p`{iiz z8Y24VGYe&h*^XW_vC757G&wf69s)AmqU|3b*6)yKe!wqu2M4c+)jK%E#AG(u*OE0smnp{*hk{9 zi#Pq+W+^6^kc&T6HvXL1%+5kr?fJ{CnV*`yX@9{mrJ^h7f7F0($2d80AzL2S39qL) zYDf3T%qg!sxU6Z~w(X(~qw60gy+w5CRr;0XWWk0_!GqUedviBWAn3n9ezQz-rQb!` zpuTK#2UG9oh^6qxjaS_RF49^A76tz{k%ca>ERPcwp@}I#beX<+5#u1My-#U;7L2`S zO_4=8p2Y)n+}myw=&T@?vu@qcEYU!x#Hp_W9uJ7y> znr>%JS`0jCi^R|Gb9`VV(SQ{iME8?TP{iaDrYi$9wb*h2(NRe1JEx{Tl-+CRZ%0-I z`LJCG3_#au($5t1ogCaAQ`W4x7<5vnEhG_xz^1W1SZDu76Kdb8+7W-&^zSNLj|L$8Akgv}VVL z{h4>>RC01jk^9blM=9s6C0a$6gjbC`lv{m2wWduwco*vLh#O)3>h=7KTm3ul9pc_| z3e||cj5~r(?tiOM_HzDEGye~SkooG0wSkV=lhawD;AWh=?cavH6_27m^jR2_0}&$% zlaLgG?o+^3ug2OupH~PL{5aH{92Z9Q7Hx(eZiA+O?X5ebelXTi!DW*lmpg&JEsxP zDhbQ{fd33;ol{dDE_xR42Qyw{MB$`|h|YwZbGh)x{-HFgl2miadsUhFuWbj*i?@bt zhCJc+(=6BwzBcI_F;!77uTu)H&b`9yHD>SOp2(~o)}LKK4QDrQ<%+9FpONkM<@zjaepU+NCYIg&M6)LiGB^BXFz z5bkw6Y@A4Js3#^RoT2tprdx6us&+>H1jku+W4%^Z#25Ipk;|uy>0$B~su?lRm|)ct zj2d`&YA8UDqbIW&3ENn0FohOLna$&Z5`cuddWRd{A8K}XoLlkyNuq$~7C3U=uRFE@ z&Wzzu&Nbgi-XiEn|KZ*Wi+T$)1G{#pR7d_b^YoC-ett<*K+BtG=&n)86$gW-Sd%jm z_&TB+q*UscTl6U|ZTlPvsnb*MY;@?RnXMwf9KE;t7lqafpx*o~kEy<&3zDd-HJ#RN zQ{Fh@`<$)YM_M244688bdg8@DjEyBY$ml4F8f0@PeNMNqh?;zSuX#R$OAB#)+#C2e zoU`i75i1@Y^6sXgF|@2098ArAbfgp0r+gZ**+SlPl7y|Sc;9gM-B{(nBFS`bP9v2J zSLb5*r};D-gjc=;i%vw2ySc;EM@-P$`tgTei^#Yk2vAVr?ry*5sA<%P3D1-# zi=V~({$03u-cem!O4tL3?vd}TK!h@jaRvSG*cEvn8qOcD%`d{(p$Ss6(1a`%`h~Pl5m*%x{Z#l60Skh5(?Hn z`_zEWH#=rYn1&RGq0q^|l0QIA3P(`Xa6#ydY{4pf> zB0-(EN5F0bI(?>Yj=Z}(+G?G2D$&v-pw}R3PAXU2%)UFf>@D3qn6qO!YffJv`B)&-2!NPB!}$6 zwI@zAHe80_cWd_#*GJ&*Y}k6hzN~)F)X6=-Q8rrQ`>v3RlNK=Uar!A-XTM_61K(<1 z0R6nW{fFN%93c_b7tUzBe*gZ5<+6hk!zUT7iY_6mX#=`uHdg6u;qQ|AUeCX zRmjX4_I5oP~s`7Hhd_y-L_7L>! zw0bV}DNH$WrK{_Hh~-szhmL{b3y*p6JN3ylhWoGsr)9;#*%l=83ht@--Ypxq5cHHBiNiP6N5kv}Lr3lF3d+AS)14s{5qmM%Si zuiJNLoYDR^dfI}+(S5?A@2M7thxEAwpXTj-O<@B*Xm#rnCRTE?9Aa;sEx;ruC1xUz z{rCQa*v|iGU~6l8!mV<-0(Wnpd9>Nztq@&F2>9$fuDYi%DqhXKgyjG*XHVbS#uK`3 z$9~-ilB=46HGbn)|B(%;YnqfNvm!OhZ|__y+Gbf^l^Fjy;Wh$`g!}g=Nt?Q7U+FtJ z@IrPxrR(lmWU(8MM%mn9Bs0j8Dlhg_+mU%*aVX*}2AmFpCqEQUh9cppm(HnB(|R*e zI}Mh{)Sj@q^7Apr(7-5%%tN$Bb8b{sUtbnF)@E=}m5l2H=e>eDiz5$NlhFbKZPge5 zM9n0DsO%u61#2h7Bk;N3*>T~d`-XJY>*SJFT?9IEn7U$M+{+GL>hntyH1z!>nJ}xS zui`mS?lAC_`rA9WCEbl5i#TrXy*Rj+LyyNnH77?n|6alTKc8IlA|G{x)91HS6_Ofr z2OabJ%`+JaM2xQT41v!Et?PiSjmR(ccnA*K_kBgs)~z;YqPIU917i094C=^_gZd7; z5>V$5+g?L~y8gGY>%%=(_3;F-tk<^q?URMQvSb=7IxQJHjLehXo$uMRC%kG%#DMuQ z#GQ-pWHTIGT?%QAmSsrbYa25uE1dO8F?i4}y8mpe5I_yPYewtHLUuj4LMt{;lo1tV z!NDLImCe@R;O^=j0lGJgFz+P^a?qMeG2pP`JUrr*yro^Qb6Xz0Qz|*lpkS(lkiU<8 zm4Wrp2_osP>U;-@?2TW??~EHVW4^V9m*ApwUg`@&X>Xvt1ZH3>fDvkrNk^xMFTr7L z?Yp}MuRc@Ip>vR=71H{%(?Y3)Zt^Pml!pyYdTb4Fgal*nw7xeV|e5#fyJG(yuR*tH;MWaq{)W2*o%AW`7uX z@Vpm0BVm!-IG*joh*)Lb5s?tT6|{UJCRkAHUS#|D!WI?m=o=KQGw62pbto)Rp?3EU zWxhswSSz%6n%L2@R_mcr6^TRl?z&IQzE)I7!f)70aODr&vj<*vVf^gL_VAoxCw+cP zSvE2%fvlEvX+Rs+tAWy*Sg!z1+t6-p`PJufMUD^~Vd;l}=2SwiM5lwmK%LdfT8bO& zWLe#pRHr80X=#+vI`o^+PufiT1x&=Ms$Y7L+QMj?w&Vgc6f!u|@zYVD&XT~?+&F5y zw(ARj!b`rPKTzKiSOgm+QjX-LP-GO6(NN?uDw2D7&Zo_u$)5pF#Yk4qvqPqU@^Y=q zFWtFys{xq&MtTCB%!9{AKoCm00Gcus(IN?>;`c2#0Nc326pf{96Ej$=HEaG=14D@{ z7*R~8JB1AljsuZ-l@)WGNrHORY}&n$=wX}@E=J~u&;JoEUI=QxW4`2`;`{MIa-y94 z`O_y87=3XDsbhq%6z|1G#F8|^&FBgeX|_zihF=O*NWn()9JzzNu8mbxG^Y$NvXAGE z3;LvaL4GFqf0fx4G2G?Ftj>`b;L$sbtqPr;mMu#}o1jo|#YA&k?clQL3j}I9UZT1w z>-TENzCHfI9sLIY`QjLj%Hvte(B~YZ2}ee@abEnVP$U_lo8`@`L-Q~U5Tj;J8;R(oE<5Uttw=E|(y6%)X=1|F zt41oJ!iJR=N^UxMW3bIL<%0$@3ukuQ5LTEQxOVW+3n_;XddhkxK8T6dJr+MX_b0Da zdMn_{n25{;|H;qQ_EHk9v9fnY_(Au@jukWReqI|Mi#7oJ;H;lNzDGU8^dXs6{|?V} zC&<~Cp6*D9mRmY9CKdtSb2EwJCB9^$Tjl5P|H(5H0zb8B&QwvrTwh6T+QRf?0}G7P zqKNC)fHD6XN0@1nJK=7!ix!txxOX0zV!|6CbkN)T1&rTu@oIvOgg(t1Tul%L*+9y_ zHRk7vb~Zzwl0s#;#<@`yT)GfGNhGg~d8hZbYV1C9T&J?i&G#0Mi9EP=#hv>!67&^+ zqHSpfzSS%zdc5`$oUUL=6PA1fl-^8D*^g9W)ve?2<8$JihpPluyz8`mzk8z&xg36y z*1GmU7T=8GT8~#Df0X68G_%ze5}{wD`>z0~sXn8F9*^zgBRSFg zBD!`YPw^@PTkPJBy?ZwX&(2&mDDo>x!VLH#qmsE%i1n+s7dtr_;Tq(2KTvdKJccaE ztRj>V@NwlKXLksJ@x66O%^nPN&7n4H{$>{FtY|x976d_S-L97{sVm zZQhrbQWe1!@2oOJ$P-e}c|v|>UhL5~mBZRtKO3iz6eA<2{`)HJsP-P*Jr3V4hPy>i za5(jIWGu`Mv0@Ife*I`A)^kQ4+2Q=^`kzFU`1#yc6u4RJiyYEf;#0qUyxGg+Aq2AC z`__>?+}gIYZo7vXwygMR8?YdiL=j$4>>;`uU|*M=sp6S5pBu!jFFH6>Z)r=~x;@=f zVUQ0M#m$uhFrefFm>@GQb(+O#9YwZJ<&;O*qxu`Z-%A=FfqfniBuUlcOB1P!8yKD5 z=xxyFW|J^H%bVma!V&B=7#YkRdNTTHX~XvYW~^~)Yj<<|wOXx`&-DI!(Y_`37WYFE zMusk4`Pe1kBZna}6i}Wb;?wha9(N2^I}CS=)vcf(=X8$IoFCwDR9p1(Ws0x`Jp<8!H`9%V4}>oM9LtG6;M?N z>DAb3DJ+xU%5h%Tw}R~aFVS5mr>ES03yEEi zmeW|m{dpRc$F979n*zCCuPHMzG%`1c;FhV^)RP<;2XVguo+mKRR8t^)lVU|BxD^~! zBDMg^zX=MJu5+$OUwJJyL$TD#5^FB~#E`X6bd8%f4O@Nza?^$~A>&J=Mb;)bcr=#Y zz)p5-eTZs!g=@z(-}$yq{e#Q;sS~;YXk`_WEwz8~fdsKNT%2UY-V2_y>lU5j4jZiRBLoe;? zb{v8bv{C$HT-O&gm{AXwIyQ*}j~1;EK;pcRP!^yP_Hp%nuiqQzkvEsN8FK0rJvzuz z3)E#-c-)#aZ@z)i@5+BX?MQ*{a8F8?`XsWcdB3H2?U=?Q$KK`jYBMTo4~Q(DpGoCH zGpweNrPG}0y9Rd5MJ_@>aAOJg=XQ9(ASb^gnT{`CdH@pdh{t349a{*EL=S(=g+X37_PhIOn;bW0_A1i+b>>Q_Ux+_RP-C&ZV6Y1o%H& zr6w>$fh-P?QU&SooT5lz;|2(4$y)%1VJT!w7yx6IHhkLM4I)m;3`Yxeksk++1W}k! zc3sqqsj2dvB&t&C4SfKMA3O4S*O%B)ef%krQzFtG^K!ygpKoL|I6B$R4c` zXRY!xHhFB9QWb3Z-;EiOkfJI+`KP4D<1vUuys;9$Ot!C@+D`6hx`}!UX!T|&@n(^~ z*EbVDiMus&2Vjb?*jaV{L;Bu`=0Ok>9?=lPC!UT>yu`iQ0;#N%~3bw z2aEjRMlIA9l8*D_yo<7EL;ZM?xI*frLw*34-i&8%=>G9y4I|oeJ^g1~W``RS>Hly* z?Xy}$C&UC?ld9fl&VOjKM~@gpC5=cNW;D;$_qpefwT{Wv^8fmK5?Vp_H8Z6SVGAS* zj0tB0N1Q?fgOVh5kQ(jUtd9rvkrr1W!g?RWF4M%B#5@{h6-_SBnFWs$!v6Dd-t|Eh zD_eH>;i8U^079%A^@%Fa+~!^d3jghY?DZvMY@441<1j>3rFJ4oZYoSMmozOnXcj*e zQ)@2Fpv3gBc-?Gg&xP+#d+9EN^rYoB&T_d*#|zEuiBv%D*b4WzIV+~9tA1BW>Gk(( zJHP6rDW*-mSLtj$V^+gbgWHd+m#n3vH308_0h|Fi10t(fw!>zHY0`yoJX0$Z{ei3%QZib{x@i_GiKX@5Sylh_ zrj{jCy``-|L27f5zVHczfp?CNoR~be%VeI?YaFaE-n=eJ6)4tWTSblJ zM-JXUeyOR;)2ThqzUMbmh_F8QkOUfo|NHf2+Rc%xSCA>!8l#FjFzz4B z8e%ZswoL`XZ9f&Eyy(dBJ1k1twR^YvuY}D1c_n}Q>cFgjR=BV=-fe#6wf@)7^D-RV zIeBcA_3yub>$fkS{{GJX@o_aVH~e2R5!d`L(S2W)elLgrd;uTpR%w6#`BVS)UwO^` zmrzKpe?%t!{no1bdfT|)AEAH#eC^QxCA;wd{|{i!KQH0ObcmP|L<&aX7B3j+lE-fR z=Ubvv|HpgE(0awgB3Z{~;kwJa{{9giyps6v@2Qr5`|y8#nX&r+>m}HwHmKVF+_+&| zMlw1(u`SH*u>Y|SAC}ntJK}QSKi+|VTaX64M2Qa_>_>%LsQq6uDy#kDHmkp`=8k{8 z&j!uxw1)ovyMO=hVvf%LdH4Q**74YvS)OKX92?TjuA#Ma`~P_hRbPc&{O7Y#!{u+ zULQr1LXtbgr$%1Nkr|6x{m)DK^_5yJCjREP2%zBm4Sb&oeMR3rXp3%#yE!y| za$yisK6)70IB!#0$exqVFB9vc5K4Ov)LAx=I#`t}sh~L)!Dg!Y)6)p=XpcNkBz8wZy!Pa^la($jD)FzrRQGr{&u9 zhM>mUzziojl_0uCxD+ME32`ah&9<(V^_UX{arO=AnioT}X@iVv;QL%y8Y2}FDrZYd zA2QM*DQ+lA5);N%XowFHY%m1@y<2N)HZU8Zq_M>)O+nJww)56@jx0UmhOW`sbrH>IhRULKfzH>^sKc z7FS6I;3g1t0!NJk)@%K1j<(Hk#IoQ@-WSInV*8}xjyJb=+laEDmHj*4?4JbdO9yi3 z&>`9Wf_}#wD>s}+D|_o3RUU6ns+!x)JW;~FWPjZq*K~m3Sxig{C6vB{4fJ=)KWC1WxEvjz~?m^2fvJaRnFuq3I- z=f1y6Z6-2vFExLi2JH-6XJll&{7m!lB0qm_qOb4pkoSi-B=o!xx>=?Iij?YE2qnoa z;f7S#>2{+RaGK~J=NSk$C+PoUpsZ)@xXdli4kmgPbF|<6d$06xtEPy&e^}|88%*R( zRex~HDPFDI-_Yg!{v+4Y((1FvQ{o{R)Ma~^h}aOO>EB*hhqonMSxn~jzz&~3SKP0VdaQJ7)Lyc|~eNS_v%wm`tu;lsB=x4Qe@7lFbas~;Vm1J&Y?)2F+@>`2K z5`xu+TS|l$(UmQ_SSW!g8%u}>j0-cO`I}gLc-{g40|Bvr;`Z_(^!TKy)MGgCAg}fQ z8-J(PhHF})nEcBuJb};Dj~7(v@&g6ObLu~rr5YUS1|EI!9IUdgN`?6QQ*OpPt2O!C;UM-XZ8v)^LkUujcXUvV#Z$*T={U8mEb)KQ>MVQPGO!VBO zc52@E7E_gL=++C}G~%a3WsngvvO5#Rv@;7*`)e6vK^}MV*uwT5@@9Hyh?*(jAvn+n z;2mVOYF)a0uRyjac}p>MY*7qPxwtas>Vq+3#w0Po$-O7@0U_^7AL2*7=S_*yFk)iY z_4!7huqcf@PeZ(H7cZlEax9`)_wgvB4&n$anaOc5;+X!Pwl95<6 z#FKU`rQ;xogYtK0pUDn5St|I>iAu#)S8yY&<1)MeYS5l`=IF5b$P!feMqneyttt;6 zJSZ>{J-^KBLdcy+Kd?g;CW<3dcjdIYtV@CQZ{O=>1>Ex zQ}o23eWlhkv0Vl^zpigFVL~TKX1e+L4H}La=fle@Dx$KI)*H6PYAVByeF@W8{+@(! zy3wd_M%DWWdhf?QKk{?TnKQ{?-kLFRtVb>-!-0q`YUJp~NrhA-gXQS$m^R@(_u|_(L|3@cA4( zbV!DhD$0Z@EaC3myAKN)?s@~KR42}hNP6!W>bdYSazLY=`4jEJOWYC2QR7x-1i^EN zPe&xiJS3%Mp4xJ1Az;W$wSu}z1dQCeYnOI%(fwmSRQvJDmYQy9-&$ZFkezHZk zWEXWdm(zt2PK;O8PF4(IJ>yk4**`&At9g%!}FsRX?528>8QVY|(Puc1| z?M!`0p{?&0W9x&X+|L#snaxCqFY74e+rsAWob1rdzgk3gxGfyIc&pRjK-&j+hKBB< zC~7Aoj+Q740@6AzZWgxYFz`k|hjb(cFMN8%Z+#nxVg!V#Yum#S9SY(ECh)!mvg(7Q04OVd(Q8_Od#BXm|tN zfUfufF;*q9+zt1c5?qORRF=&H1P@1hbUJ-weYj}5m$%hIbLxk)7)N>+k=3$pfd;@{C<`DJ3s&^U3Iyui}3_=_s*|Uw!b~?9rjatu>83L%Dah zt4QXJ4R>m9J-w`zJ^A6HvZFUzmA2K(%dmNziya-3GF7NlyH&+_{_;M;S5B^6Zav7k z8GQilZ?_*kxv{gK<-H~ud&J0*)jq@@nK`4GQZ=6BCeDf~UNt?v=WXZIqtZ8FGwuFE zx_J)OVb{H`my2QJYg%9Q#T?^zR@UWWD<`QBDt*_Z%d+KL4*7!ye-1I7%x< zo6luVI#Rxtj=tlYp2vH!H!#4*lNL7@B7s^uVfALp@tY@CS-29PEdQ z>AJn1`?r#fljd(hNn&AAUm?rXVTiNTMa06ICd;OBysssF_Snb$7wNcr{s@jMcrae~ z{`Kike%r!nV)E5EzSp<wc6BQ8c zk=&QC3#J#d=Frp)VGchUw(rmpv7v~SlHMT>VqN_`FSRClGYdy9ZnFBtfEh=FeD<}g zd@Qv$ z>t22Rmkp=t6K4k8x6=QNlQl7DAtBLOv@toDEl>JemH)5HEdbBa#lBd|w&=s=q<&EY<#xCnufydRgP^BRjjpV{3_Wh+%J(Ese(g zd7EkXZuT^Zu}^LK=wkBL-MhU>-00AwM}w+WOunrL-qo1@wX#wY++Loc)I<9p&zerN zyn)Q1Z{NRnGCdMEa_rb0s;(?UxE=7tbd1PZY}--|Zn^x#aedtuwPz<(5_(n-o;+!d zDRFxux6z3Ok97TB@4q;K(p8cVdDLpzG4hvW*V&cI=<~lH>)S5Bs!X^|zcDopIYz!K zv!~XDmxG)52Y>+x%}z;|tecq3_BE_1y5%e{UvEwdptuOnkk6E&@+`CqLMW=HCrw?=DRt88itsn*0g`&cc%l3m4`q!*~{T@sVeCa-m57Q0Dpyq zgv@xY8Mb8{CldPV2HfK{fENG(>%T%lBxdz>U)uE3)&JSWrEui9arv809vl(*=J27M zffP|cp2_M8G2VcPNJc_{o08F;bNl+1{y?Rn?w7TZU3DYQ(B8tCBQR|V*%vJRA zZRd8dB-^07)#*CSt_k=hJ}!I5C*d=nKBV)w2Zz43fAhwZ8yIV$&A|m;zQqggSU-7} zQ@_`P^cp|h^Nsz&!(Ze*c0HGUVc^qRIa!N6>{USB*@5MyIf=(yC}V@kd~5p{P8f%v zptS%u?NBJTI4j8;G-*j1^F?X0Ji`x8x|RL0;O;CZJ^3y#Z~NRfP2js#diDMEXl|&3 z-b@B;)d$zLUxj}QNAj+C+QQC|&B@Q!ls4eKR_bGzy28M?&mvMW^gzPA-w)Ostz5H< zMk>F4{rcoXs$H4x7qEj*x{VaF)0hfP%aO#rA`lM#XCV3nC^f=uhjI9rUs~nDS_+|j zzPzxj87_B|?m29MxC3rBX&A3$p(`qc~F3XXI%q05(`Za$|M3??vY#waEMkj#NGD@>L$ zi}QD6u?ql|z%VF*I|4k)3kErR{^G@-w3+)EMo(bDUw)(AQRb0ZG;okf)#>?|Dr@sg ztg*m|(&USj0@^A{?-|;8K>>t`!Fgp#eqz5eEL#kM%(+f4mEW;ABIcPm6$#uC-{lNUJ)RP^P@ zfC?2TcdEJc39_e>7N&ij>O83u|0_5UXitnvs^U! z`Rw&YU*^SwDsF{ZsU44qBaV1d`qV@jZt0C>oe53%a1O={Vq)R)^9H1#%ZQ<2Z;e}v zytQGNqk=<1WbN?j`41Y>^xui(wP&|N?Gcc;2zi-MOjy;A4b*KhZ;nd98U7Z+o*i$I z)gL$iGCbV1^ad!}?3BeYvZC=4&~OS0~UZ z$(uktIh0!vQ^E@}6@bOUIA&M5t&LrnJ?UhRI@S4vHV*kwZoGJYV>fM%!>iX8U+B=| zz2A)2qw2+PtXw~6-#3poC!!}!>*XBaq;0*`IJ-mFa3|^idG*XFr*}_i!Ogg5alFye zkChE$;U1Gv-Pb>}*TR4PjCTE5`_>XDCm``;d^`2KP>L$KT=-1Kcwh=p)Ku@yvF=CMYQa+^Kph%qxB&yEW=~;Qi?(3NaKd{&_)}Lx`%|kDERL1~O}gte!mSdWh_n zA8UDm0<=L%@A!Iy}z4!?*T$I zfMv>;9rX)#WB~JYG!O`h;+${MfP{dU}?!(WKOXrNytlNaOeN9enYL8KvZls)*s? z>b-k?A5`9@3uegL*SJ};j&(fVAFu20@1HSz8-C6))bamThW-Pf~c&8nMq(vJ#G%c>(tA6uG`E9 zdEY-!`@G#-kli1vQK#s8&YbT%Lzu^o3{IhT#hxGRv2V@Kd8I#gg}}YeBIm<{;r;R1 z6t0c9Dg^_+ub#a2xEoG#(fav4EmqWlb7(F=#|zvNj?Y5P-0jr1JRp756D06RSzD5) zIvK3~Jo=rB^Ms>QbW*t<}5vLC%pxH_~i$!KHu%;c_- z9DB!;s8tVE84{cEXbq?IeY@l$7B~3sS`RC|?V-^n?SOuUuK zee-j3J6;$AG~#;Z2P6KG@*jJ5?TRQ1HhY#sxg4`)YM`N8<-4;U=yhRi5`S7vo2D#) z1K@jfRxl&5Y}f224V> z?%kZRf_J{2Lj9)GM(~sUlvo0r<29o#BJY5)VeF^|YAT(D?0DdB2w5ZbP*}O(l=z1lOzCskL183PSLyuS=@|TuhY%>c#q>Yk3(Sti=|M| zZw<%DqEK)YZp8EU(4p>1_wEu_|LEC~06G)aXfzr6bVa4oI-vHOwp7^EQiG*|WxIMB zbHJ5ySYCrm75o=%;<%E?G zAHx0wtmnM#|HnU!Z7{}~HEZ@n2qjq}3RxmbSz0U=CMikTw|0^xBuj}=QG}9gEg~Y6 z%373Eh*T8)9;cc6{toy5IR1{~zAx8YL!Zz4{aViRc|I5OvkU*g_Q{6Kl+I!_WoN|Lh zoq#2EAqK&uTY2cf8{Hi=Eid$c`SI(!@)HGrZoM_d@$2gh|C1i-1kxdjlEj+_G35Aa3HV z@?u@<+fYElhtV%)S(v7c->Si|Sf;p~*%q_zvW$h5dS=27*s1Iylty9tY@T)8%EYt8>v>;eik%#2t;$3dG)cuY8SqW zqjP2P<7q1_F2Q=D2H!?ckg}`_zn%V2 z8hZsADKAuTxwJ82X;SY(o7p(_vFE$5HbNvr*MRXw@5Z8`eF7xMi#?fFqY;}W-Ks?ld_)pEWw*W`C+7bjl&4^`xu3JDB zC0j!7-PF4K`B-DAJgvvYb1vI3pZK102iI?o5b+^y?%?DkT=-9e|8x`@yZXDr!rxzf zE3!+nzsU(E)`JG+eMtgf6`jm5g<9@sxgRrZ1WmQCR_*!<54x{TPl|GlOI=pK;DXoX zpCmRK^Ml{U&Fu-T|EAhIq1yA17oaJ0CIoGLMY1kN4A-ep61y(yp5$`+8{17CRhxbo zBPV&;O!xccjO2N8P$bhG`9gH?upix2=62B;sfKud*pnpCl6f`lsCX5Us@Y_8)28j( zc}R5BW6S!@&S=!{)fTWh_r#4X?gXCCvU{JQ z5~x&tKMg%N>RX-BP5b}VlIB|sIG_@9VUilyocCRq@V4+zH^0U&UAVAE)ueiHSDe#m z+x~6TAy!I?i8PaZA##aAAAQYoi}&*N-RpWG*gf_6yoChD>AASX8dkJwtA`Pk_;t&k zgP)RHu+i)NOw<<=vT}07yrf~HzQ)W6nZ5w-zv;X-!0bQ&YMk23O;6(?-0NEFb4PNl ziSyBQP^^!tL7brta1Zv=M(f&_3aLP=oL*8I_AZx{xm@l#7PGjl@_@$r;Xl@pFF0oY z{Q2iC`FdO6)!a-XFK_&&Icg1%>xo^il@BAh-x*z}I2O~GTNR~Hm2G^mWUprG_mYGb-#m{dRjRk zYU-P54=TTrAO@?06vw7%wRESsxZNw$X;o)5k*?`qzo)V=)T-JOWwcu{N*GH`Tesd@ z@)&u!M;^+?mK6aES&Gl27bv(+xwRryhAe(L^+z#>yiNi5Fn%fjcu%-FG>8t%cXe*S zHr{`avLfp-rSpl)=a2A^1die3r>9S+I*QI+OLsn_dib1+e;qL_3Jncy#0YTr9dcDa zm?g)%d^R{S^~lCbo#5NH8?gc!c9*`JcWd0Yf;KrNgMr|w?4pHx91nrBG?FF_0H)5! zkyq@Jamk#~%Q$SGT^v1H<;B%&))Z8((pqr6PF5vraIxcX$P=wrO(Z41&(y=~ z5yW@S8Oat9iw&#i2j}Xp*!3m)GF6}Hog-rlzu(XQrhXQ9HmlShKmNbCgUpg~v6=4F zf#dFr+4J#H1IyNwP?K0!%%Q(@a68Q_5%1cm7-E>LeLGc4uLEP=$~bo~uT-aEPMf-j z#Aeo6@L=R?&_tQ?G{qPPBz`-rV!x$li$%Kg$AN1PB@!sd|$-Aqz z88EP~v)dqK7-E>s#tze;;Zk`Cxn=Kt`}W=ZPJpQQ_uk$Gr5)~XOGM1=`t3Zx^RFah z|N1)HC&t#mjf;vH-Il*lQa!}-Ucd*cZI;6yn_i1qG{;%H-o1NUq#|(P7S#nBTcNys z;liyftZOWv{$FIK#=k+RUVn6UJ4@DLn}1cdTdBBXT{hH-?ZjT!TJ!pZlN1t zdE3ADCZOL57VHo)nJo**9iImnF^u$Bn&hp_8LuZL^~iDKh3?HWqn5cLRFOzNodusI z%I5;{i6#s9=Mc%7TW;(;AN{RG>%9l*QyWvX`z3%^MAFN3Sl&XxmGI{k&kn!!BG$WL!^&yE{mx5vCYYjOzC=_iIPou||!0DlPS>zM6 z)cUMuFidguhXmWLKA${e>x!EAINkkP$&*%Nhi6S=x-$_xz;|QaMz?agd@ETh-6O#z z@N%Ae>hqvjx7zn&Hl6Mga{TyF`lYD6lhoVC*upVB6=h}OYuP;#lF{x}oQvV5LU)IKQqyrJkrMunfhbEBE2g`UJ9Q|6Mn;)VJt z*tVMOZLJQ&AUHHsd`~$5Yr_@TN(a-Sz#Xe%3SaEoH&FF4U5A;bc)|KVG54~Tly}r| z`NO8z*z}>Hlk!+hVI*oZTa%#dxuwH$srhZvcA89`x+6Hxa$$_yp3Zr&UfN69&4BiH zM_o4R{VR<(b{2VwD7$EoK7Rc_IV3yl>1-zuMW<>~cx{Hr?}T*5CmaO{NDLbxxy_y) zeDV}9jxu1MUxL^MGN(8(f=skOP@Ejz>q-$SvphC&uS_>wa^1Q3^(`1x*|Z)*o7$X{ zaF;B`Z3y=M4t$R$@plIY2YprBW(S%hx<>LdyE$LCBMGcw<=HX{gIXi70jdi(c^InvQ%~hHs34Zb#35MaO@;w1PdN zi!Gzd5HxU!M^(DZUI61%iR2hhy#66fYE5jl^zA4cdYPU(VQM>P_UxM;pIDs7W}n%+ zHzVxJm0d-&(g#b{a^YcRctv$Bx3bxkuXhYBERI_2yo)`v_37PNCnk*9&dTcog;fEt|JIs^dmU=iihhPe zh7KLi&GKW-htF-nU@X_YltNb1XAK4W?5jl(ch}6Fg{o5cJ_!_Gp5xB$`Vx85vqkw? z7k-TDp63lm{)u3XN^P!Ef3#XY$-NEg?hj}*>=A^N-lb!|i%S)4NV~M1v$#IC0PPxB zgqudEzgcbzFDR(ucKF@&Le;_^B}X*{T1$-3s9b4>N? z+fox?^sXkJcsDH!(v}|eo$Qi6CocPf=9Em==;edbcRkB5+#h@ZZq99s809tjdW9nj zAhc=SIq44hz&OsFqN<(StiztLbWKtpK5WTLP6i4lE4Zpaj{_$XwkAIHFDO;S=$k*Q zP8?;*mJB`%0l|7AhhyepS}>Jit5ByngOg|)6bjC$>-2&`@dA_}fT|q!-UV-&M{#^@D=S+Wz9MDPu865zZ;5<6l}J9()!VoGCfgSl z7XF}s=vX8)h|a7h*)-5q4W?I%AW^`*Lx&D!MTE~7D-jjm8EUZGWM~AtZ1LcCmgks@ zGk`I$;0^n=YWey&V@aX$B;Xh5!$h&@U|w<(rWxVy&QVEOY}*-jdM0@2o>m#L7cU+L z=xg^n9kV9F`bK~JdX^E4nCN6V^=$O}?=sHqt`2+Fr2f4pt`wYPAdDhQv`r4!pzu)w zr}$*ZrIToJO3p1U)rFr0{R1|Os^snvzJYfp-X{mbD&x8E;RRmS`{erR&QOo{Q}z=r zKys7@hfDnyE$&1#x{vBs44*#6t{~OG#Qx$Cn$Oe5I+CZu>$I-Bgd0T)VpH4It5?62 zjwu1y)ra2P?Azv=D|DR;xM}?!v${$d9@`BsKWTJ0ix&iW$e{TrG{zk6XYV9F-V$VB zzU$+}mjzTuLPRB#c3wuvc`69pYbW?@`Aj39yeP=6N8yllxQ88t*PLm2DwPMS_FbET zdH>5%s;T4II&XgoBMul61Q(Jd$~z#BBaxJp>XSYwK+1a zU_W4;m??8RZiX8oa0XSX5G>n;Us?843zCgq^HbdJXbBGA*S=b{aT~a79%H6TaDmx!+L0 z>F=)^jeJ0z457uO8ni0ISuG@aJ`aN9(Ry-2Jw8Kd zn^|vNt6%S(XJhu4j1Z~oC&bREhuWKgOh$mp4Q2vXc<^2wKtj`Mlfa08wuwi;YW*syV#F%lBw2rQM%v*!MK)|LaWV}2?leeivds=5DN z)sxYQb2A@KNlTCf8|A)$UNelZUWC~Z-Do7D25&%uTFy1?mUv~3aqO-9Co`906o2i~ z9)W*leRC>%GwlgMr!*mt`i#`QoJlUu=)8^2igvAP@`L%O?aVJ8=k)Qrp2k>8YIMF} zhF1NM0y|1Hys^r!Z`N0g%TR$xA!er>RAYc26riIsN1r$~3c){WXUTdqI&jT1uU#3B>wt0~-?{ zv0cHA`%79n*NnKqyLGrcHCeoYDKMyDJtMgt#MYj&D`u{ z6&(&_0kM8w(WT+7PS~vuuzNfpQuiB2oouN%m(LC9cNk`hpq#DTfXh%qE*LH`IXM<- z^dr{%Kag_Qey&ru1YNBfa~pg=mnsMfu@cbU;J5qR(!W7xu%L>B;Xhc?%$+u511VZX z7JCFgl+vLz*ly{Rt0(7Pj@9dVv~^$ONlHdqC;OdBeR_Q$mE?p|O-Ay;_9g;r?kf4- z)9~PqL`Ibx>8)+!oB+}Wcl;Fjd*jAq0pnE@scA0J*fhkq{fFh6QFO8ZuJG#W^4ObdWy>4(69#)w<7&2})JPXVV^bJY5#=_j%)=Z*kNb%MmV9MExfy z-y=T^!U&l%7PW=0BQ6sy3zov{NKH*mxI6l4)%9E4vb~+=#G@yEydbm9Q=M7__RLkn z19I@2{b(A{x;}6=gK=8=bk%cd_iZ}O6Zdagw{8&85*`Co9k6)x84%Wx=WA!V3b*r&0mfg_zb1Ya_8p&br8-+lOfrmLx*#B zC+^B^GO8-?+d<}Xy^`|s@=TDF2Wf}A4?Y(&f7G%(jW6#e&XFWYWciA?{sW-G2VBcc zRSkW&3pV-8s;-(m9d66IV#xzCs~%6lwb+OAZqxhJXTC2i!;*K!aL#TpN9d-x)rBFP zWOmcey&85N@z0OzBFvR3(yi0u|`>;yb4bqlSw(dia-dudDi_WuGFKdZ!0|v$funW@?6-X zi@xsZmL`m%#W+PHC_QgAGs*D$ud@RJ0+v*p-FZvR zj`Pc(tHpnJql$v0v)wc=c4cALzANhZUs{z<(sEzF+{=x#Kbx!&=aZ&$Pj8`&mNyD*T` zU3}uSo~7wKjq75tIb|LRR23(4_)h%?`7;9b}-KuHR_1psTjMVR;gJh{+m z5hGRL)O&pMEa;z;SO!kO64XlT!C#&OA|YmkHvt zPwR8$L3v~y|4wOi9N`63ZL+enuQL=4)%5Q;6krMm2HQX*LgkGMVS!@J3_vA1N6PHts07!siu9B#1OT-T@34x6-VidaBvGZ^*_wPhyAF zdVgvENXG3~tBx)=*Gg$`>Xf`GwnL*?SQ;ulC?BKv>U?^p%d*-*Nu_I-t$52JQg+hF z<*6H`tf506?+Z~;=}Yb&MCPRgsH8NqLZY%5T@QHdl9lrAXn$dHysfQ?^N4?<@T)*H zy&=bQI4?e^OYd(T6lgSk`j3k>IU9==aE#q<8J|i^<#vs_yyK~q?+6B6A!JxgDjcM$ zaC-M^K3&&a$q$zw`&1 zs=@qW%bCUvAnirJm?lo<0k48T@VCCChf*kztR6G3998HxZK>m$w6&iyjk^X+T*P#5WrNYyH3dnd1F>MOzTp`(I;>6E*mddN_~1P-bb<8A?|d^ z!C0qrc#gE`w&?Si;;XWg|mgPEgC62jH0ig-%4wy&N0UCK2M@u_$#BGA-3ce-ym zN1rSV5&=uSSI9Jy>L&V@%y^^Hj45uZR#rw>Qat#uFph$WUc@B3O$A005ct5gw(x&4 zv!YUx;BC}1o!9yCoTc7dx@kDI{|eT zyAL;ler!8st(6nBUk<;Zc64j-$}oRFKa0(i8vlTu?#_m_ly?4u96z*d^*+SExkT+= zFKt@ut;3Xz+f`w-4dZu-S!#rDL2UZc!R3)UJ4QAPIa_oq+;`&~%w7Vgzcd>&rZ(5N zLvhD|T}(+#Ql|#CWlY)ii``Jxrx^5hwtd~>lBesEIe#tTHNYu($v5z;q+X5cSDmW1 z4Tgx#Q{`tjZs;oE`@S(d4?s~^p4Z@HPy+3A)w|;I`ETdQyM zrfm{N2W^_RH;@|yySWL)FU&+GL;?4{=)@_cJ|6bwvD48(&rp&u(fbax>Qm$HnK(g( zDTPoWVI1Q2MZWXYvkND;1SBywHkLij7(vJz|7s?HF`IcV+^wcP10r(x@)m99K{b*c z2QFJzSWrL-_fZBWx?xdGM)I$Sz;>Muot7p~>CS2gP1IvreLq;gg~|PEuqdOH5126{36-|lY&XH&!1n;OB|Hxo__P1gbcwdx zbo%siDtFC8Z%&<}*XgVD+B&4{>%y?i^Hk)*)byK;m7vhMndjf=rRk;$WcM2yBF&S- zk*@H)uFaa~R(F)?nUl*lEaU)|>9~F|D#xaEMw`87)}?s1>LX^-9uY&w+4ADDTJ3bZ z$%QYIT*0%vLV|;3uq1JrDpd_PuBWozp2IG^b5=Xrdb?#*aT0f??TApdj}MAgtlecE zIb`@+zt~jIo1TYs>J+BvPw<|u_F|~YpwR0BBCF3dOdI(yd3Gmi!*0W${r1DaCoyr{ zDb3wF1-praJr%R!V{z6X(Vx+3R}spoy7Ewk*kw2+r$)R`zm%I%th4KH-6eL0<6>6t zhI-PD#yYBGzO+mv@)m z3&RgIsV)?m@w7Cbx|$#Dz^iK_ghOgK;qYTgLK@Nv!J>=bmRBxq~evw%bfEQEln`?_Kr2#;UC%YLUG33*)_VV)n;cGdRKlL`rP%{ zgA^;uiA0EZDv^BRu6_FS$*JlG|7(-#La)s8l!-!)YHoCLhU{KXozI8yos|4$p<}pr zg7rVo?Q<&tv28*Ra-NqO{?6^$@yYG8sw}B0xMaOJ-Miv@tKIDJK6=R4UE{&J+I4Ah zqrKM36Tu%^D1>JuLo>tcfX{6p=PMMH-Fnmsp9W7^YE@wxVBT}8V=wP$V0u&aBk4=4 zTl#!{wDW1zu1JrSg*S|rM6Y`{{IxCuIQwI6GlLV8US;h+UhZ=uzUFKFS(RUU_nmrJ zA@)vOSQB$W!%RC(S)?{8+n7;RYbN_}W4zUgN*~AOLR-8s_%xDtx`p9yi z{ixY=3Lov<((iCjsDoaVZk(K5JwgwnId6^Z=^xk}7ir|0OSS6MsdJd$u8zteB8S$l z+N=WRmVd78dNn8zO`A47{OB=L@E3?05;?$1;W%f#$NbwULC*{~?Jp4&2z*(>vt20M4AtMvuPGEF-8H1)TS{V@piah9=(+EIBJ(3N9cCGzpX~66nY%PNI^n|`j@sl zcwc#jvM_nDsmzUoxZJ8BZT9nhvb#O4-R9NI7HTZz_gJzA+KBR6^e^m1k4PA!o+H;a zc&f9Z*tfo;W)Guwr^>ST&GPrDpcLo2sYzLNJ~ewpl6zaN<%!HX6~mn_Q4A(=3`0%t>}|1T%^I0EglaB(7WX?0 zVEr&u(cG?~Ne*CouTmnADr&Z2kR^5};=ZQebB69Kh1I$Rf9Rq-*<+QHp5B}i z<@VXn`fE5ouXA!rX3ScrSzn**o1?xsX&+aUP$aoruXAJxeEhBFWPfk=q4SzG-N4jx z+@LUsGL!4JrAXF5BUhRlHLZhOZu&=)3`z!LW9?`EMa@Y6s_y^1^;&@Kmh^}9K73D5 zb!*jd#wp{;>W7}D+y*SgwQN^$9mkMer8+|>%bCaSXsNEarQEBrIKhZsQl%WNZ+N~7 z2KR=_pVwE^y=k%}drAM$U2__T^MD{;pHXB^thE%t@%LgDpNGN4E=t83A~&J!y}ZW^F5?xosqe_Ux&XbzP{jA`{% zi`E>E6)q;Qt$r8?ZoMzXuNhN7RGb*9DOgzFYE`4-UdEq5-<3JIqsHhj9a*H15tZtm zoGm>dY+48f#1_v^cJjSt|TcQ4TZm(Xa7>`R= zgJ!!~f%AtKwUEJ!o9JQIr_1etUc+&(7zKq@<+QsH6Yzx)0zNLGmO#8PYKHSR4~r!S zD~m|Qk&7?Cql*%AG4~v5=TR)ibBBI$59-yw?fJ%)ygl0Q;JWjP(5I^M?S?^ltNNUQ5UZu(Rtbyx@8%8k|ebI{0TfTSK(hy@Q*2D{7~ zK4gfo+3?e`cOy*B>Q%>3XlkW}PCwalc$O>?rZFk@c5J#QA%cr0&Va^sILH|Ys#xKwF)0;pls!} zx>g<-noHC&5D6c3voKJU}6m6pch3wwi#6B_c?y!E^1mS=v_6O8rn?M*B{NWvHQ3n z#w#}{5M^}BfTp%!kTj2S;HNz1tWQyM35kHiAf@w@^XJZOCi>Ud;g=qy?Tz|$e0%mB ze~|Jzptoa_ekM^?K9>Gk_R1sIniX|`<)YP>+Ymx9MR3l3CPb$O+ zwKQ@i^v0EEx_#pzFvbg4jkulXL>yd79)Y&6>?&ru{Bh5^1hhb2z1bxMFs5lC5eTK+ zdwxTQ`UfHimw=&{YNw};J8r<3@!myyOOtALnCa^yB}E6OUpo!rk@V@!bnWkvgETb6 zEX=wTA6f}>R7hm#Q4a2QcTUZix_{4}tr%c#4_vBI($%H`Jj0!i$N3EIJEPRKDKf>_ zv^i`BWrmPA^@#h2x(?dvIKwGD4c1M8$nxOgC(RGvmybHR=~DU{^SLPzia9xX-}oc$ z$zK;PTu8k6`iS1`ywfA!ZCiO%b7#bpdNmDB4cuC?!gl8I=1=O`KELDPbsPMEBV%uZ zSW$76co%$R)}E;2-{j?23B)rI48`j*_@fbA8%V5JNfrQ)Fm&m)P2R ziWfbFUy>*~l|1-&Ha zSahFUF5Py_2X^qu&z(ExI&I(1UDPax@l5l3%=KUomL8suC3pNQE8qU{m18oLyGc4Q zQjGrYIFvf+KS+QErO|QM?&&)tdeof-K$3d?rbd4u%#|%(oxC5p60Xc^jgUH$p+2G_G? zGmLHCeuT@p;+nHoLx8YS>IO^8gO_}~C1$D(y# zbFi6dO1DdFDj>Uf%-YKbj87_Bq*JI+Fqa7}?XX%Om(OjTUOgQzc-kXZ>OMcaf`_FB zA=7(*UyE|4U3go>(5!LW!Fu``xe$;WG#F)IU=U%s%g^rvo38NSrU(GHdYn1>c3k@i z#veFGa0%oAu;x0!^cS&Dpo2;bKk)_`d(GE~k7eCE60y2#0XYY)(@Jovg{k6_7F?~pWkg|E%Xx zbDNH8TIaH(eVVUm7Wy{$vtdKO4&&D@rsS_U9mLet75UR@AjHi_q+kG>|r|uL(gw(-4CZuDX)CBkUt%zj=RK`+*K1zF0cMn zkC8@$h7G0gA8a~Q(o;!#>a%R<;(MK+udA;QxyAV84BSLHTg3Dk3~?JTuV|?^#5(uZ z*%Dt7dwaxd@31YqvYoCD-pWa@?OHjtc@?eUiVjBS?M&#P#y7v6eR&u>GO>R0Yg7r1 zDCoIKi=Qs<`}GSp^{sZL#gaMtgAPnC`~u@j3Jcw-UkkLHPzngSUgbO)DBd2eIT3qm zehH)ZJu&Y}e0H992pFnZFRCy;)FDpXc5oUyHWKEF{UyMj6WqK$mT2sH7kyn#x9c6- zPom2tnYh=i?g;XumbIrnwP|%#yd}wVO^Lp=`3Nywkc-DRpNN8$)8X`eZOoFy{q5q? zB}-EJhPHn!MC_iuB^7+TuW#n!Lk!*w8h(zNt3NLVGM)tZ=-WXyZMSOfmptE*B9^wV zLQ?tg?};0F$e{DtcsOglh<2S@@E!&njxpAyPZ|!C$YXMZOc+Z}pX3y)N-DUK05!4w6x48woxoU0-O;zuv z%6meG#wy)@<28rwxD1%tcTl=$mTszz`3t92?}iz(!e)0_-AS>Y+qB?76F;uY-Hwy@ zYdQX{XU-ll_vGr?o&yhJPb**7UJ{Z)f2QyC^l71ywR!lEJ`rVGW(F9z1f=~vsrwAG z!bU|lAK#UhEii?`^U7f~lmZ54$1@(oUcfhgO7kMLRung&Otcvod_GS0%p2j?W8Btr$VmWn;=ZZns4vd*?6zAx8K>yUEBuoshlw!OOpm! zi@GyL3D+5E9_QSQ5nsmQNdU`hvGcH(AY%G~S=Ge`U&aHnJzi?gF~@v%r}Da@O@wi; z#cI!fxb1}nw?;~@FGWud+-v;FzG^C^G%^|PsMLG<*z%fL{y*#(rWlI!l`)D(4rjVi z)#sp}k=0%!zr1KTazjPk9-MpQ5tt-dVmjKtNOcxRUt)x=0Th)pOLK-GxbcXjeG~E^ z*$b(Tu0UCEg;kxlontz9(IEs!mVNUWpB`D{?0~N$ML_BK*llTnRR>_qPbKki1q)x)T7@@=Np@B4QRZR^)fvIS1Zy zY~%djxoG-DK3IzW22FhfgE9QPgkAU7S8Umkq-OK&@k~@#h>B#_CgN1$U_O*tpP1sXGPi*#EZ$RAGZeLDR*?(d5j0dG#-)WY ziv^?z&-nfj;G%C5!|6X-v?ytk0t6FPq7=Ne^)y|~Og4jEsW>5x>}I`ds7NP@A_64^ z1s{^MJg>4FuyQ$jMTn(R%8#1h^Lvy7HJSv+HSdd!8#yL_XKFi&sfEeQJ806xn*$nR zzSei>+I|)18MeIkTy{Jg&G)`y2eGX8_WxsNX{%my+U_12xV~t;{rdBXM!4%L4`{+a zm>-(vJBim}JQYs2t{OARI2mv05sXph4u?M`BRn{jtr+wQc;#pD{T-6-e53qs$pQL?>B4?O&vwBIF3Sb@3n6wn{c0714t}%zy!l0cF&m;A)5DPu`I6$rx0y9q_6l22 zHcZs10<>6`Jm^Y*@ekndiub3p$^1!K-%u%z&oED6C49&^;W({)&Kpn4>Zh1!i< ztkg1Lk9fY?y|Gk8rIgw&>#slvdW+Y_sBwt%{8ncdgZ2G(#)kC=tN5DThpxoDRw%?% z*vB&J0X$G~GGqiO-Xu=7gF(P8_D;4`|3_=C&KAKR{INRP8rvCVvFN|C5ua#b@V>rD zP5Ge3Rj!#5l*18r@^Ld)uF!fWMo+887k-A>*lyWn4oX^6!gqs4*5%6qD#vyAfgyxggN2}< zw>y#JFfB#CUh15Q;)WNu+p*~Gj?d~w1&*pk_Fh9yZ`t3Wk#)a!r>BQB1QHC-n0?fD zxBHgv9^Tb$@6IdJdljMKEJBHAufBgtc=)W@-Jpswz?ln7;{0E>=zfgRL)VTvuG>M0 zYCG4sO=U|9jnb>r$hqYm+qP-5opNPDtdZ8RVe=Us;-6r=<|#U;g;kf(e1#8BU3BxS z^2~Z6?|bVux~Uadxj)QF|+Vf$5V(6-bTa5KkUXA+1>D0m-y>0 z1aZ*g1R!VQsGaZU<)jhOVOp>Sa|?!xMJ8*SmM+s}>8;@bS5Dt_xi-X2oLiCX`~|6i z*q^p5`=uLFn!Ku6)Uuyx*`^}1fX^28CjE8x1cp_0@7`Uc9W3Wm`zMSQr4Y2IZ7LPr z-2SXz@`_*g?=$-3hy^+y`M1Pqm4o)SQzuS#&c(U_LmTj1pa2mDIxGST_of`MW6aDB z+L=KaVcybk@Zx);PCbzZQ>raGxLpZcEHWGBv$fpVxig7Opu%DoanTn?015fRb#USE z8e|6^Fiw{E8xgj2M(Xf2G#`Q;89MX=O&txy`xgO*`cE)ahdeGpvM*k}+6)g}P#pS} zpx}!S0n4;k8yaEfe*=fm#E2tpakIEbTC40nwu|&GjHod?Y>2gZhhcvyfPZjr7xMxK zGr1CC4vlqyH74ePD=w|DShmcEIqG3>cbgICr4b75Y!n!GcEzey<2fUJs@Q9Jl94K; z@uvoT8REfzxR#h$7xM&Xf?0u8dMbTeC>M=5ab)T5-Fozn+s-TwJ~272WY29%vXw&zUC`cE z&xqEP03tZtTiEEhay4ZOAcvXoJ)Tolree6{kI9REbR?xH^t`Xw4M$@7=ACSP;TbjQ zJ*Iq;6xDndm?Tt;e`5f|9fzye;^i0IMBT+)n0n{#=g*Kqy5&?DL7ehxKh&^1yJ1}a zv8R~^Bd3)RZ9boHXGG^uvc0&-Vi(#HGH%v;ZbQj zqcR&8Ewh@tD~=WwMI6UNv`^oNQ`3%ZwHT`AcJDPJ<@n!G&9jEAPS0U#!GmrqB2LJ> zBE8^~^2p!DkcJ-e>TlgnEZE@ggD%hgPO zetDC7jAp85%W>CkY0Ni|sb^<1WV3t7?#Krr+BiD-;CJ0jm^BHFXx*713e4n8w6d7o z6eSfRj4!QwOCfg7Z{RKGz8BMC?onH(Zc+F0hyNY+@QY8^Q&e$>Q9}5=f2cSNu{gKj z8DD_QtSefF@QCr1pWq7_fu7cX8Mb{cPTYc8{u;5BE5Jdd#!EMroTj(OBK zgdR47$LGJF=3RPaBiBX0n7>9b4X|#lW+c+4thya;T)#e*i`g#O?6ONMna^Iy>4R$p z?f+ie$T!=r-@R*CU1J9IlzL5L#V=m3R*UhC3MESc^?Wn@Be>JaU+V-#en-p6RP4E6 z=TXaMWt}8-LS#BXzc;nU+8mWUKSo-(#e0Lt&Cx!YN987k`T0D2n#5mKOecz>y~BB; zaH0}Ou$1WLQmYTlQbh%o)8a8L{C&jNKLA3IIS#i(7@ICoX zuODACYTwWF+*R-#IYUfVg@=hZA^+30+qWm4)_j8%*Y6TGP4|j}Q0bf0zaWx7 zKyqOXSZtd$*&BOsj#hz~FQ1HqT;{%ai`F%S^)Ck$>vf{nYG>y+ zGs=EfOx{13RDtkUU0cUGHPfiWew2((`qNgH3=?ndjd?o}1?N=qNN_eb@p79~*TMRh z|24L@42oD(;x7ats3z65)FTYDVRzB=(rey2>#4U`OrOL_QX(YnNbYn!ec7SFr#O1x zCMH7IUWmPv>j&6`lr=z!c$1~?Jhc7UpvXRoOZDz7$Q*Un)AU~QZN!ie5cEJ;B)z3{ zHk&k4OagM-P@Th9Zo{G(F4ie?#gJX*+AEvXeYVc&LG+sk`@{m3<2F~)=eaWyJ-1_| zvw**g*MlpJlo(KNS@vT>J75j}^8I^XzMTctr!$&zin$3lO&jkI0I3j>GCXG+$NR^S zJRN4BCM@(kE8!3M4Lb9SVtSzZkDc_dza|44mu{cFo2A(~Z+w(qJP~Ufbs>sEVL@6d2YB&oqS!c{BCdUXB{sO(_ z*pZr5m{c@CE+#`qj8NuwN~V?F#KG5%dWAMl2z1DHBo$HqP5$bP+b&tFx!PzaJE2^A z$rUcfOx)&Dl*m+oRVZ4FurM93yK1cKt^Y(fdT;}FCa?!Ns{|}zza|nM8OSl* zGKKE-K67~rnhiYz|9;8eECnvZ>}_~8q4&eT=Xw^c)lmd!_`MDFXxZCh$7gg9UI<}d zP!GsLVgkNk$&%mMU=nBa3_n=zoDAj4HxF8Y*Kqo{D<8nOk5HUw->=`Sq2X}v$QnYht1$l~B88J2e*Orz*8d#0;CeWw}<4_F5LOoBnxh-x}MMaI^Ovr@` zV98WPRK}DSSWRvK>OV{+snvRAL46Jw7z0~_KcFhTT!|UA_r6xm?r#I%76uA8`Ze*_ z0eqrZM4BT%@q}@BJJa)a?%WJT)!!u7t~_AjA>( zQL*^vgNdOhV+v^i#HfeHUmo$`rP&WVC%32a!!b(CO{ETg@nU{LQqpybR!a6UwE5GZ z>B+=e5-s_!j&ldmvIDD$k=QnBj+ek~&ZK06mr9|{aVb(y>UC`i@ZhaqN8J2;-uzAe zk~IzxwZ$N044&$yTVBMjtj3V(M@PgTn-H71t8^)o4zZQI_>_m+L zOHC;1)eG%4Y&OH{a6Q-acnzJZ^z;e^Ea)U|Jg*@qdxM{yq z|C$ov=2DjV(OV$dUaduHkCrf@gnbFiIeB~AwmzL3%*J8-;s}iKyDiiWj^|{y;2zC& z0)dWPSvbAhLitW*OEB#6s{8~v+Bi0Y&$E+uLm>h0qcgkSkqUcynF(37;T}4lHgO&6 zpC6<(uOOd$!B4EJ7hQVK+)$OMhN}>#bYlM}&-8!zQeOxE8`t>pA>UV09hPCo)RB!f zz(Q{;9!bA*P1jO@z+-Umf6Qjg>>K@5lsPDV>G$%3^%3*UR^NquF zljQ0B=hv5iBWin1K?Ak`oC-L$jv_cDMDSMu{dNv|aGHzEePmJ9So5yBKZr$aYR-jP z3W<6Z3S2>Nd2j;{ip?M8D~#pS^RDQDvEeQkR^f=8c>{a&$JEDV-llUcxPNFbJ#y%o z$I>8u9(aL+Tc9W2)Jxxy-vtsvi@Xt@r0B6Zd8Mi3J4m4?Vd(sJyx5Y_tcGW-B>bl4 zdj;+~*vn}8WZ~%){3ZsMcF`xxL$A5{Bw%%eNY-!Jfq;N(q%cs~Y{SP=5`frR2e*<+_68IF?fCP(s)o-bO*K>&qIYMdG!e|f*mG0eZDJb6V_;mAs4{NO! zR)rg==iS-By_Ur=}yZnvw72;Z@@rzHcw^jU`{;&Voy~BP_ zeF5Ef?&PM*WhahB3;?~wqIl(shj4HH#Z@td-_y!5DIwu7b83c8o9QxGcH1E4wC_Eq z>t_J%7km#~E=CH~!7@}=-j041QhTv|#T;ATV{k3Z#s2_vktH#eajzIHVd2w!MxRz3 z?CxC9tgtRrUD64_j}aBNV#l3Fcvz4+ncCpO4u5g(;BUxv0yYz=aA3abKLAcGg?L?o z8OW0=UEaATH@`fmQtYnv;{cb0sHxZ5gJVdt*FNw~C*;Z{11R5=?w2~g%cq(Mu$^SK zS*wvj5*Y$6qI6*$rqb}ACziN+jSH+YSEjPb{j^`s&j0<@>ooK8q{qEoSNxmv`b7_N zL;U-J`=(X?t`O=X%cS3THPARn>`KEo;NjVc>t4g)(AfQzO%JX4vE)1eB!r_x3EH|* z;=py@LD9~twxdJS-w&*r+q8~=Xdu`daEp8Psb`7R_psj;C|ySJZC36dbnL@f4i-rw z27?N@UrA85_?={!uV8DSUE8ha5CU8!4ICvw_r5*u{LKJGjJ$wC)T+$!l%&Myo6qg2 zE|?nM(!)WzK?-?^k`ttrQdDf_Dayq@R$x*p5}TEC&Lxt<{NG<+cc9*W|L;vT;Wv{h zN#TI!los2dT1r_4#gWb{HwLERew=%6e%sB!2510hrXD$CrZ`%6?BAd^!#;Z& zd@26>$N0Tt;^NLEJ(nw5p}_4!ya%8JYu!N;W6cJ?_UO^fNQdKEoGF`y)GFElY!3!9 z`Uoj?g-e&nWx%ju8wbBg{Q087I;3jfdOH4VLki)U9r`w?{X@^XnbO>tW8K_-9Z1)t zK&@6B7%A$Z03;HuX!?Bo+o&JA3>dU>&`;s6+qd6rGrKaN;@<@kydeyO6!1uXa_A%d zGxEa6j#Yp~dQcKsFpJTAx7R2+Evzb<3=K+){JJ(D14Lv7zdW~`t7kh?n|A8QYDgRt zGaLPvT@*|%rGlH{U;@*h7O&T`pfZnRHOZ#)y=#_Qq2{_{8GvpU=r0gVWXBe149saGEmWa);tO{YFMh@3!u1cXl zjk1PLqgJ=^KAV5|BmA)3J?eWE^k)G6gbe?F8}+X4p#W>wZ|^bR5Ri+J-u=beZRbj< z2aNIK@}`#%vVgyudG^hKZ$Tg}^Lf~Q`zTWB%07i{A4YvBogNbl#Z`)HE(~4t4%St7 zktxV%MUu+?g2y9#5-)twEZ~xWfNg1m-e{Q6e%Ae}z5ahY{*rWhu?@Ans z^Z?5EYyBn=&H5qYQd#EPerOW``ASyRe0OtpcJ7Sd!PTnTkHGDi!B0HD+{HypAOM(R z?vday7U1mlF4m1*Ktkewf8GBl=KIHrlKqQ+p%Y^S=3oriV_7F4aR}8^k}D9rdMHo0f_s-q&#Af>*{9NWazH88A2`q+ znY&mJXT{TN-{1;JECB{vK;4sd*X`x?y5bq|L|nTjOlaVt)bH=)IfsY;-)cM6D^T&D zuW@obF|?$yu}qT;x2!CK#zNC&_5>l%VC-PL_w9_r)9xC83Yzkd~u?=cHdMx-!q7;?F;BpvZZ_jiXrK+vs>3&GrL>IU>c`Pl(G2mhv^S{^PkKatVGU?|ReLvI+IK{67pM*BOcRl%i z<9aTBlP5d2{4H#qC*x^R_6=ET>SGD+&>ap=hD~_Lxp~s$TK@7Z8*lmfSq5NAED65D z{}{NQMjadJsZSu?_kaL&;=-2;#Lt4u&>W#!X1@J)@H`TqFx;^&4GSFjdE5_)N^=@` z3p;o^Fg!9BcMLh`nDuM%+5e{i?rA!bpui-$J{9c{r#``pC>r+I0il?k{!~>}WeHs# zyYME$82;ocwgp}s(vu2ec8eDi=UuA{3~9uS_!WteM^^IKO^bS$6d;|;nEk)Y@t@!5 zs?SbNquA7)Jo$e&``9n*DJvt5Di?#XEMS&RvUVe3=WysAg=`|AczFRuiaYvNK` zek^fr&o9D;qexpk`>oXJy~Qw9dzCSF+qKQVw@6sZg`qk(u1%laeKI4t?EOk$Vd1wN z8w6m*D}K~&;{W^c@;j?u_4*Rjd~K@He|UOsWdq|ET|p8KaK4RVTI8_A77o}yWU0-o z;tB2P$n}s5UVMuEC=O-!=KqLOpfC_`TjM-SOG}}on8eZIkt1_oV?=<+Q-OkV%Ylo9 z!%e zm-GV}ey~D_ScZjmF4CyG26dB!6Z$>o=l&5NftVn}G89_}kV=zk3aSU)yN{CqR;rQ& z@wydnOB>(QR6Ok4?vX$s`NQ;@)-f4x1WhA4Q|0HkIC=9+`YdXHqZa9xBgk6Wwihe5;)pQVQs^$7$4c_4WoJqh$}0~^fe##X(wC& z{g>7pVq)a@D(frwz*a)0NaFN>>e5Y9)8zaVbb{g;|8B3pzseUk)>tIGQHj<(9m9#N zH+}sQJg4aV>2j86&%%9W0IUanxHtA#5UP>5kuaN+MuJ%3A9zGEK(R#YV)~@^&nuzp zHzPRwZ7gy*#&jqBXODgPr<|%h@js>WddL|kHS#%iX2-i~e*ac6PyfhVz58bLG6R68 zWO%}y(3AT0 zgu3TXQ*rUQO5tbg$1Zt$8xE=HSL_iPzl?f!Vn2Q54aDYWpxNp_LBk=sSe(+x1?f__ z&=fvv2d2~9=ccD^CvbUEeg39EBGz@tkc^uGMf~U2&LjVJ3;(>&bJvl`OZ*mNuN$l< zoTbgx4^30pSX*zwwEIU^?~{v>k?GY`{M{u51c11<0=3Rd`f{emgWkjvCUBMYDROaK z?K^U?xAVSm?%Y@)f&t5(3}Yp`l^D zJGc1_myXf}xGPsq}+Wh50 zVWZFyKUDVkgtds)=JWiy`^7Cm@79j(53l{w_#K_%8}M@>_00iaFVH(d+1YEvb!@)^ z{R(b0GoK+ATYtVu2y)*1(<#$wCsR_1mXw7~zE}d040MiFzZ{|{NIif4bAszhKmiL# z7kcdan!e?AUeyf>SU3LHpZGsOy?g%Qi7sfw+FO|ZzyI-8Pj;Ah;Pvr|M6PiVYz4Zvv9a-~ zl2kF^Z*c@>J=JHO#aTff8+>aCA69W|X`;M7MNXG_^Pk_P{|h|+yG37H zqBfr$v!c5&n3+8v5#=89VZy-1b+aRYt{%N#7FQ6@IzB|i7Uj{4FcVO3}7i*HAxs4xZ@3cU%ZqKvP zP1n4?Y>|0le*ehiXLE}Coo_R7aFWs*_sd<+Cv?>CXjrax)Z%^JT6OCLpRM{f`myhV zdXLS|A4z-P!6)@;K*i_X-!Qz^mcmkA>7R4JQKKP~GN; zj=ZqXlGrcF8(jIr`=HF*s8>trmtoXz!yxSMCr{6kbta+j+{cZ8!QGDkpTJ(z>({4D zPoZ`D3r1bz%*b=+tX}rCZbWlc$#IOE`7*F`A0E^ z;Z!Z=NkV`XFb`n-G%;)Bm*04w5a*=i`=a#)-y(#px?ETjYbIv8KmP)Si^&qJBNo4}k~c zvCwo>{?iftR8{ZcFe!exFby}%{q*Zj?piV^`}!0(vIxcpKKKkDTd+E8thFb8BIi$u zOpY102f!XJX+=!-4^0&E0wjV478KWd6f@BSb*z_D1YH#sM!D15xptZqLSmj5bFka^ zCQyFHhBs1rw7S1Cw-cqstkrf)<=B<73cmesiWR)9cd;0uT;-}cH}Et7F&-iFmoN9F zxH|^^d4isTKCc!Oz3|l0*@GaLGxX@Y_qW=$|DsJ+^%nhx1>?wDuLa!UADOh<6?K6s zn#Qgp_1!H?KYy@w3pfT~_T%@YtvZK?lF6w&4BzWAM!mgq1T+d-nOrI|Asy0QZ=t8` ziWbTA&iEYIT{1d&T@Z=$6@wU+%*j=nVG#mZ0~fVh9<)E=?qm(k0>hotLak@6TQ%Vh z%w4eM<_R*j0lZ*lWI-DJFnsex*~wAmy`o3gqs!;KH5B-LlbPCHvowfoXnB*MK}9{9 zJW{HRY4<~iEdDxl$N$IHo51y)w|m@wON_EB$u`MWX`;p0D=Ct#ol;q{Wyw~Aq{&3n zLR3f+6_qW*Q1+!#A}w~=n+l<1DckeD-1D60p1B{dbIxndeVh9Kf4}c?U7zg=6WtVj znsdiX+dd?l@0P(>kFnoSTxuE`8eV#TEk9piU>Wqu{V$SIq=Vj@J9$og@kp)sOi@4z6uu&i8_m0Su$vTYd9+AAMCnCVW>AO_9hm6gBE&5jfvM)j= z-E+)wnO_lQ)f9k0=_4hdNAEv*KTv6x>d?}<9S_LvNIl0KDZ6b?ai|9L!pGdb&0dyl9nt1pN|>M^ z3`<{XV9APNNv_Ph@rlvpG7uDbTH^@UD{oLo0a|q$c(nEmbUT_A+xDw5$;kyEGk03- zaL!J@l#zOfc&rWt*bHZShN6f1F_P|{!8J9x9u^#&&W-+XmoW5?&Y7YB+w8STQ{h)% z+f42@R*M*yhRsUN0G>ts`tXKlMYus#0bS)TU~h&LsZhK|c^3AL_%fgwjJjyT0Z+g0 z{ouB&cVuqV6dhG%B@x){8KVxOC}%ZV@P?uP(ryF?pEVqLzxpViXPL*O`2k>E0Q>|W zBAeFJiOopuBv$;#fBl7@m>D1|HZ2$Z4KlL}&p5Vj`JOEimkdiU%fnfut!*0ZZ})9KCdKA-A8#0jm;B8;URRbAP*gNH%5Lq^Bj!})mcM@Oyux= zRB<#i7kE7!l1k@PH$gf1+WCiL`Qqa?^_i$Y{1wttp|%?vq&^!F0?>e#;t8AnBxBe4 z`AQop2LxRdFjG!aB;a#vYOh==J-23xDkr}96q#k!Jfe+85xZYns^K!8NIF@LCKPJ{ zR5b_zWn!L)KopN5IfYT9;SU6g>Zs+jR!~PFIH;s#AR`huu`w+E^mZDWu&f)E&5&v* zQg!5gEe96mKurY7sr0hv(G}M9Rq(`>=;G8a*OV7*q>m5%^L7)row0j|O^8_OWmco~ znmpGw-dXyTftk;&zrK#Bca_{NV7=(a)wP4uGBYxs$jG;crw1W!!yu{R{i389FmY?2 zpL%Lp7rgv>+cqWf#ko<1x3f4W$S7U=_+1HlKFNZT2Wh&-Ut|pYcd#T`9BB##wc)nG zKDv^3Nj(^v`B@{9;a=VP^}E6H3u5_!&r0z02;xx{5($q$&5|-uFk(JSQ}ij!;*|ll z;bPRZu{V3TV0F)Zhs?4eH6^^}Y6$1D$K~KQd7;ne zGT(vgXU3%3WCCka1a)j@e-QCt)OJUx<|6xkj7dfz2p{DSe^Af4d|S=VfP~~4s95> zQO;57YHHFH;d*R0a_N_`xjK6)ie)k;-tWT|?X1oYH)s1;R3oPiH5pK}v(ubN{ep4D zJA2EjV<{(e>Yn6nVE2B|-mj%k*!+1dC)0HcJP3@GvSg?5Y81Mnzmv^_aYD`%wsK3@ zm*|{s2@CCg&kq^;?OpTESD&x-$oR5u{QBBg{5FvZJwAGn2zk12RljwTh`}Ne`R(6D ziWCI)Y7c8%q}7%ip%`8sIKQL$e$FC>Oowa!3gG9hVqW>uyDU#l z2*uW7%}%K>>JKt662lwa3?Mcb%WMX?eaOynG{~~Z^UBhAgsH=pQ}-RFgfCkHtd5c6 z5Adf2CYIsck}V;HZS`@YI+r*4&3p?My zDxDuUWMb>dG=~hj*>%*lzX-vQN$D;;FvG(mvA7QMEh&2GcqC)T%YWVbH3Pxr@WR=^ z6OS1M>s%Y-L{lyBUgB%bF_p2vqwXYmktBGI>X0D(@cd3-+$eEGD=SAG_ir?-66%R8m01!9=BgHs<{!YznwlAJ*@#| zja<#Y^P$^&r}Ra|x31OCUgyI~Jc5@NbEGGNaweSQv_Q(nXtLy6zDydn_1_|CA6yJK z2cCe?P|kcQ112H0J92GJIrlbT`6usZN{YwD@6|tbetZ4A#wL@4jF;h4x4Vp)vtiSw z>&Kqx!sx@4#LpBuZ|mO8KKR!*N9JLk=MGhfWJKfPQd9`>4GSuahsCXpnx9 zu^KmQFVU5fqmlUVUBq8yl2c}6 zGxCK|Nk%2`+>__edxV(MmQy|2ujowCBzU;llAH%fL+x#h59+gO*w@XbGl5zK>^`Y_ zn?9uTSj7z!Z4hQl_-v-@Z_Dm(V83$8xT=NXg|Gs zIn>#0)YN(gzppGFb>9M~qXd6E7Cwf)!SEU>IV%F$KBtfIudxm7En=WT; z10b31R&i2rjqQsbB_Nn|XNbt&Oe{@(KW~?fcJsJ~|3)t~ew#lT^#&ZGIc2RyH8%#J zaVr?rCReO|q>FpQ4`|6P{RMqf!h6CHLMZiL8uia>0@6cC+QQZ~^7W3?6EVmcpc#}l zuAyj0+u}4YzweZ@j{y}G0kGbpSg1Ok{*(d+?Wp=?nB_gUI~zv2ua{!^#h`Xt+_&ob zkF!*!wFy3TY6z^tO-W!IjHj*rWeIuar_C6Y^GdHu>67#o1kgQvXQQnurfSVwC{E_z ztSY`yz8A}fB`eyp8Xt)49^RLRm+8WXLw^vYHs}0T15-N8%OECy^5N5TO+b)y7Wiq^ z4^FE3&&u{!4r<6=Q@u>T(8Kh$p;lzBg_{OLq!)3y=#_7C?BjIcJikz(092MOu2!0z=Ki;0xyhsKyo9S=uqjKb(Rb^c3OU&en=z- z3XvK~Aw?md^PzqMW4wlcc!O!;C`u4bOd zS6x@J?4XXvpaJ5YW<(O5*P@rti_Ur(S$}LA; z6|k2=YphDEc53e@)KLf|Oc?iX{BPL*@2`pjwY#AAxC2@QCl`XH`+|q$SkqBT_1$RZ z*0XeEeNHvLnKtETl+KM5BJ?CgJJ0;ID$6VzvDLJN3)9}a^2w!{L8H~2m1x10`?nMx zhFA0}0I`UAUL?;{^CWec(BdWCRH-ZO zzV)g&$i%QG5^UsAoUgwjrAkLrb6`x4M(&r`oya~R1Ohk)+ zMG+r$G2X!82e@KZUK_5)XV_fbdC-zM#t-S(P^(Mg1&*kun0&Yt8&f23jWia0EN~hf zf(2VII;YD5@o}O5+DKO~f)aj?=;{6g$g)9d%1R6ok=PAa zGAeNVnZYJ;t71tLbD;cv0a-8%f$ki8J2rd@6NM=mgJ@qwbq`mHmCGC=+Ll~B*>aR6 zZB_GTIyyLr4pDwG;h>t@+CQNs3&cGL0`>!9@q~So42 zS!|R#g$m1(Hm-3s*dY>0^Sf;-rDG&aflM9hP08&+p=GUcA3IfM&=HH;s?llpXNQ#U zRJVP`oUIlZ%DK8G~QCOLPiS+Pzop)o}I58Wd56hN4EBmgRLZT z@3YZ@-%_AIvsbhpeHYKJfLd2(7=rp-x>1Rh%PJxCCB#c0yCsoD=yJ6iZ4D198`v{Sy*{};@F;AAxY8&CNASM{ zL9Nk*Zg<`}1o)XvcbS`M5eaZ*LG_+N>(>*c*_oYmnZooi%JL{Z=eAUVmK1i5I}3>C zK=hKoD2^Zhl-f}dfYwj=CCXj(10rE&D~l=)d-4b{(rT*I1fmuL--Gi=#s_uPh!u-x zgaBNKrwgc9kbOw&wbaM^zPQ@$XK){pV?liA;SVUs%BDw_#0|C2bnegE0WDKKupFZa z0Nh1D%RP$=b_{BCzMp!pz527pO$*B!067#LM&N*LnE{1XAh*sFn(l1Ydy!k;vacvx zJ;eJbAtxBM-ckn5NVS*lxEdY*GtAS!neT2rY$rBSzR2k{-@DSx*k*IH1oLgh(`H5~ zadYQKPJmCeE|*U6W~HQ1Sa@Zj@e8 zz3(hni+;2f0QpLa!(4dzI|hk_A<%~dthI*5AArqdi!@>wY#Vydo-ewl9)ff^z?=Z; z^ERb^4XjLNt-~Tq?{RX`lZLSHzhefH;CT)k%PoIh&!;`K%$gSC%z?kMwxV0zHr>w+ zTfc6lS$BNfhcocTT6Yh+ssTW?%d$In;;bX*gsQ54lO|1`A~hDDw)*$* zV~jT<*pJH}WpQ`Z$WjygB=4`@dRwPVaNcAxI&Pz9{i-blo>YANLal?bX*Y*R$MTd^ zphunfcoe@3Yddr^_DYBD9(UrGWOT;Oq!Un=NBOtS8BdU>?4%)B76xnmr_yS5fcv}pw9??g$?TH3qcE{yXDN0 zp%%I3i3c*5lqriq4Ay+f;Yin_KdddDj%+2^Rj0nkouOEjCBt&v59f_yZAt8J$0@YB$`@*R5=KfPRw zs#?xqIcw7^icva}8fFII(T`LLfzPpZi~<#Cd>?jCosDV1HNBWG6>vq2LNzdri4sIk{=x~L>i30mRhBjfTC~@ZIm|2!y}5)vlp$VE<$k44bj z7eY))CkQU4vLQ>jk9x0 zVEEH-K=0w%pIxlng43?gp5|0a5KQeuqwIpX+76d8JY5iGMZYSM?5ZDCjURe=!Kuw^ zRy?OH_Ss^8@3u4Zs`JW6(q~;g@Z%QPcW~6*jU|Joa8>m0ng(Q=aEAxdzv~2hDFuEY z8x-$`d9k{lu?DXSC|R_OjU8H#SygQCKP^>#=4!PrruMYJO<6f@eR{}wA`6em`c8&1 z`DS;&PI)Dk4pajy?f%>qj=h{>5tZuJcNE@O6wGwWDm)@1Y%aIrtp}Ga0t`h zfjO~U2-7+G#HJ$R5>bJU8I)A@))QWd9lD$1Fd@Eaglp0<&_V(BG=_jl6Zj537UP+- zmI@{~^Q0pxXa~KI_~Ypn8zH-!Q<~Xdm@ArzOBf&t5Erike$)eca~lUhIZ4j~;SoUK z0=z>gl4uoPp&S-sfur2|e^X<)%NYx!KYaORK71l+X;c)8|1v#oJe2et8u;P)1qBoK zyxzfX@%{d7m|_>pDezDi_68b}^;1`)+h&*Q6z{ML8Es!vJOIV?h4it#MhLpObJR%D zj8YodG8?CU4#TOfJ*<544&uaXukRYn3jCw15UeX|ddL;a$)Zq5e-6t9iI@oBrdz&- z&RM=S*5kZ8AfjS;Aoa$|i(y-9>G&Vh=;uvh1nrERX*xU_aoNoI{(%{Aa%Wu=^%1Vd zsd%w-aDqlk+a8@VGQRn-IsKHhC3#(OnNUA2Sip#+3bvO1Q(IC6X`S9OCwP4R5?-=JGfC zCsWNirz8wQ;`l*~0^c(s#DEq|ri-t5HDt;2pK$gx=Rw`Me}8}fbGnptl6_THg94y& z+C&Av_}s3;WB0|*3gKjEmZ{D-JavR4iU2OC-Jn)-FxTF~v-;G+8<(8Dx2 z^OGqhiA>a`H*1X-5@84_VqD)E2*b?4l+W$3@p`}5cf zhvKIsqlJ7-k)Pn}biGcwy%nNH)u;^-7g%U1}Nz@w_c4l$Z*}j7TCpsrQ!9G z37cO`7W}q%{rdGOZ{Km^ffU5Fw@H4TzV{6rPrT_f_J80cYOJ0^qBZh(FaoFa=+WaR z@ylF*>NM_pf=w)WTbXf&Ij`E{wGe)g6-Yo#2B~vv08o96DPCBh#fC+;||-}MCXei z1fdgREjW~CG>saEVnI})dOavtUCt@o_NCOa`d#9>ceh(wnSR4DHtfj*<6+PM7ZKT5 zlum|YkP}fHtSj1WWRdRoUK(;B;$HHUdFq~8c5(YC>45Ho_nrH`D{=mn)=Aet1{{cc zH+n&AeG`ZJ!^_{eUwG7<7GV0}NBjG_W&RE#B5

(bi+Ut{}n1s1G`RJv&?P^E;TH zgl*(6)O_Y@nuf6A6Wv=+6-WE$(AO+Dkp>D8b2GBn!EHlVq*p9FoZaL7qo)5X1M$Ip z@^cJ|H(Rp!A;1Tj-V=v+>#QKuv6U1vT+q#*g7Mr#We?{;`o6;b%uEOua)*?8(KMhHytxVqPe%2h7PkTw!#aXY~}7PGGsP zCCxkZGrMtoTsxYCOLQQdrQ5tiy9PYhUjhtn26))GS{f8eKTet)Xf(sq=TW^{h%Vt~4U|~j#vwT!9vn1m@pUfT^Hwe>nW1wRWB3%yvUVQuFL@DlKghorf zZ?7p|Tmhe+7o(^V7`LH%NHnyf=A-%F-(MXo^y;oszWpd2qjQL!8OC}B@j!dp6 zP7Srwe;OVIjKU6Y8aRo6+j08|3MAxwXLi~D1w0~tocWK=x|MYfyNMr6DagD5ofDPs zTu1?N@d?5{+z*UbSKYrC%5q$f2?-LqzQ3e&5xNyo%NheQL>zFs(o+emb z%^zCPvFu_&2@xpKLHF6V1#ef!+AZ3#eeauhst89CR%`a(c&L=Bl_iK~bcglJHJ{!# zfH;u*SPB!6?C!8yF1cA8aeSt{4GxOdXb5@qd+rBKicK4GOd{9XQC`5NAaYv$U0uBCJx9KSU zG449S?PpVe83=g5^&45nf=-^f7JrXA;P9d+=Fzv;eEDQRSrtZyHWerUi$X_yKMoHc zPWn*J?Ph5Jhlzc08oeLB(4*Gp?3*eni6CDj$lyW-_}9mN|2FF0vo~*AAuJucaMws- zPyYK)kFx!zi*n$Nz(Oz6-Z!p}3REMx>7ZK26x5#fb*o2a1?g-|ejV1Nhx)@fB%?g} zn{&RQjJH(nG-TO5a?hW+#hjkQ=MH#L?0!Sex3patxZhySa-j^zFv6?L1Ir{y*g0y zK&G++Uy1iK`c|tJEks7r*Z{SZfO=(vXty__F%-Q+-W|wnz`7O;u1p=e!C>>%G8kzi zX?7|zxnpEP^e(Gwg!}-I1->?@gta(Tak7kj2_TXEJKpehMEcxp@I&-QX@mQIIY9Q0 zxQQ!nePQs5Yo>QIwwmLL&Rnm&2c4~ufALT1QA#FkBbX-d-DoORThFd;W8C~)&8HbvT#%Uk-k%0ovfA@H;zW=RyfY!?-VeQw-n**Pn4RvvZu})poCg+1UiqJu@o;5+ ztf#qOU+-DK>89Aca3GQ{BYM>)Jisf_ebmL7gdd(8LLT|sni{)r!?a+rMbF9>K7xNT zdd-wyw|pg#Pdh}SM}aHE^Q$oH6)AbwKd@o4UUg z>1dst&uX+t?OWC2d{_e&yML1eVX=SgZg(RZamvNgQa9CB1j;~Z6QYsyaR=AP`X8bp zf_CVLKR3S(OL_Ep)-({?k~!bly`h8c7&V%J9cONMF^w!1^|?_aBqk0pNg(XG%U^Kp z4y49F+=QrqOkI-10_M4OCTiiAklY!DbS5MARP9j?=LSzM`qOi?+9VtzkAbWzy_T|C zFX!YWpIW_g@xp~~nlBy1Hd}Z9<#vZB$p*{Z1aHHS7l6<`B*e>c=Je?e=^FUW)?MEi zM*itB#@sxxreRT7(iug60ye8uI$ULxc}*s_mpL?r<}GlK!dy>&!)74%xU~GblfjPRQ)^FKX7mqAqCWAkDsr`4(JP| zcc8e=9z1s0*B(VS4|1$7H?j2dnNs6>?b{*EjS~!gU*G#y-%(|i`EJdC>nSW@=1rMHsFHqRbTpvXC$w0#_(iS zkGt_4{Hj?JCI011F2@iO4$9I_H%N7PUJ(B?=3)#;k^v`TM9Gq>J+YrPlgL%1>!Z@M zYIE+4ksldg`p-YvRr`PWVr*b=fd-|g%31=5=0tcY;RpzH)o-ex{p(q*l0$cQgJe(J zFPt@-mwzi5`(nd*ofo&$T7hC8&z6LFYNDGvO^+jMc>-JUi9WRdy|aSmmH{Zt(ur54 z%5_{(3eyrYozB21BX&N`#?g>wu?BSTU&q&^1V!6$8kN#ta>)QeyVGbhH#-XnMB(v!VJ`IN3NJOwEndUQc zPKF7kCYCX(sv8F<4>YAR4DqCtsdz) zS>ULgwP4>??hbJ~c^ZAr6&$$VThsrXqIH+gH)qc3<#k8j(Klrt^A;{jh7;D&8JUNO z4WcKTX#4RY(5*~_XR2Yr5)-?edS2kn6%X>Qu1%XcQ;91it{~2ldcrY>ZQkSKVt6c? zf~4XMd!v$<=rF^!maLfMRPZs$>(4zK-<^S8lzuDY0SS||EzafdW+l;s%K^?t-cp$f zgp$R2yOCh2f)WQk6#b<2fZtGC=r{&!UoxTxFZtD@b3fC-wWat=&P#ALAL(?;3fEfHdVKs*wW9E>@_(l1v~T}ev>A{cE8gv#tR?1_RY{%RYu0a zom5+yShS2L_5vTJ@e!C`L9`%5?E9>jkd5hfZoM6CNo1CVow(q5H$!go$^vQn$A9K4ZjHys7D zZW>`u!$d623H`hIZZlj(GGZQuP$x7Gotm`jdf?Lh?|rL2|77+0{8o+BztB3XE%mT4V>p+1fk2$-+MuOqMQa_PgW=-HL0k2ej7IN;pur{rX2@ zlu}Q}tYs32pnUHJ?ScLsx#GHnLf*Qz1AhI;+?%>3hukJFTDui5>U3)On1{x>lRnHQ zejsyWI0@B=GaWp=P^d{OfdN@nweBnG7)g@`ph+nj80EuN*xy@OOWXp$0WIR1{Cf%R zdA48wOJj*5kOUGLJg#}jM!O$TL4sN%t{Pk*vpe!O%!RtPt-DwYS-YEK4>Wm`=IgSu zJ-4#n)09QNy4>St^#nCwhFf!nEEv72a0l<3Qk4&D+_ji&yL3(6VYq-3wmGQZ2t!@{ zld@@ILPE(sljEq&f|X4dJ~;UsWdrD^ZEFM;sWtBjs4w*%;>V>dy)}BNz)uh~JylHY z)z^6zDcN*NAJJeu7lrhPq8X;#965Gu^ML2q18{a^Q^v_ag}Cx=KGmL3`+M(aoH`Yn zxmKz*Zh?yeJrXiPy)&xMAZxX4<=0{-mR-;ER3q%4N=?{}yjwx>``X{%OUj#CmcyVA zR#l@AE2mDsfYw}q==2o#Sjo9Z=8XJDpR^gee77-&^uMjz;SSk znLTjh?OEY%x$jxxU^&ZV&$YhKz{~6nUHZJJIM{N8n*UyJ_dGpy508qa_C8&3`J^NL z^q(NnGw6H@>sDPTDza1cAUdG%MAf`Oj~L|J5V7hZS7a-h&&RE)?Z#ho9$YS<2&76s z3Y6h~xHvIs+OIPm!!2odUy)m`1#~fS-ZxrP2?h$hcuCyqla83D#TB3Pp=LE^&18Q2 z8vAb$ApNiXefggB9x?$tA>kx^0Ij)#ySBJash(}_;GZ^k)Si-;6X1?p6W*f1>7BIX z_9+;<(b+eDaTwd}rcS^8Xsv$dKanImeudeL88b4~GwbT={+Ny;*;)6?F=F*lgsfPd z`Z@uP@!V@Mf7-jRESRVUOdXLsBd}#lIfqt#&=Ymoq}zZWb!XPEAGPk;N?%{rl2DmJ z=H2R7?9u;{Ki}0Yw`EYg&V$lYiFaz=>DRHXX>0}o>HQAAlrn5Df;|cW8SspjwmVcV zA3}He`c1l1t@ndiiWtQw;0xjgi8_YU-;F~<$P)mwmh8Uc@uNbZJwvC1px*KwnreQA zN_Xziodz}^%jeCU*)wG3vR8kEhi4&kwOBlE;f@IR3(rwM`uH2nXZ6}3Fd9BF5@q-k zu2+fl%)FnKlOw}%G9C~O8vR%C^YS>2)T%upg<*~$qH@Y#Sk)IKm?xMeoo@BX?2>Bx z_@I;94Qn$}2V+Fju9)hDxB_v^g~4>v@YG*^19+Lc`di7J>d4^WqWX^4KSE0MTlQ*F z*`szMe#R20nXkYJBy$CA%qi~^TzHXNhDSc7y-S#6WfeTqLqo-9 z;}B1k>yFj@*SQ~W@p(n>cRXiIn#YEcZ?}SAja8T-^88S|hMIrZK}#&^Tv9Qja~CBS zx!T1ab^fJo>VLklr8*RuIUSgOd9FT^H$J|CsdW?XtRulsVDm@Bh|*6~-6L=*6j$ zLM$PGP|x7cpFYi)^vP52b1`R8`rG1b*TyAwPP$%*eyC0B)&bml^Nf4_?^?Ju!2Xjb zvO{`o*+2;@hol+>Occ+=;F!-?Jj^-16*8S^?(!f`u#t2|7G1_jjwKiSe(&V(95=Zq zj~_qol93egB4F1cj;g63+?*j-Y9`&=6&~8L#p-EE{|AW&mQgE8gRigw;UtM>@FfG} z-vYrGW^I1>@L}M^0-%OIDlJ>wtZEmb9~hZAsc0MHE?NlHbXf*F0O1I0RIuniK0JvI z;##>qGeiq2KbtP~EfVA>z(SRWwi4(ASH`U=(YP{F87w_WG?oql9Z2~K8HU*k%%#A( zzG3!~=0#B^8-`S_Uf0>gZ_@sE74xRZ4aUZ5clxY&Opq5QAS&H_pV6L{b!R|?8(1w% zxc=f@SXh{YXIBp=S?I5Tj&WlbpNw_9r)8m;kz#v0{aN`2dFgX07xJ`j(vDAOxCYsr zSpq%BC8KWZM}`0fp_d0rXizyCg8jN${6bmFvPJ1iQ^5|QRmw*1bVzt^RC|+R$ zCMv`S$6)(mzjE+6q}Viovnr}T{o~$vQ&y$~VRkUA6aHEe;oy+aJ=n*xlhTeCfIbpL zc^DjGxGRVQLLNaJ_BkC?o;dNg_mI#HT#z(nMI-*a8@hgdQ%WkmV5R@aFY;9C=-N{B zBuRCmr|a_N%X2Rl08aGTdb3h%-x#|rbyNaPu2}d02}XteXK~lT%#wjLykv19rwDI_%756LZCLb`ba@upG7ZjdZuK=!;v zEmKw8j{kB>-T%eflAyfIh-k0lFGS8oub`xUvN!z{I-kv5dZPP{pW z2V#RB%Re4q8b?J3@_pST(C%>DucNCbk67l{J5OJ4>As0my$(FRbk?kE+E@K^z1r_R zd}Y&_&@1P*tUmBZEfRSmv}yP}jb~XWzbr|*-sh+;;b+JMoR+2OBhH3tDBEOC4PcY!`=?cGJ(=L@(y8w+pxn{=hbE*282$)Bs&TZ9JGufTH5W*KWUhdoLGAhCOY*y=;R%l);WYZpn(#AD86_iq{bKZA+NvSmCsq*HBu9Yo7&Hv)$M%YJov=^EjSq*uedNKi2{B{R zR>4PKxfb{uHBJxM}A@PV|&9|?s$d{XtArLA|(vYjq+?g+ODYkjgx^=Twv~;wJTj~$g{$ojy zV{TKkV_fO@s+a})(^gj>EUN9F*f)FU&;Pn43QxR_?L&DZ|k0mVQ|Zj*>Zt*xO8R68uH9vFD)Q*67VU9)P92-z6xQH#glm9`@X(EXlYiW`v79z7`#j>ZjJ z)t!y$7RI3F)ZTKp#bC|@cuG6NorNv77$)WxFhA&Df0~!a>U}wO_^>E7Ztz+PEXPyw~0wtPR2$GAqneh%A7O%ec_b=L#0<}_2n3VFc@%YLGjCP>dck39k3q7 zQ_7hZiq1oQTT{jdqKPb%QYSpSyFsf~t!$r^b5^&8xMLrcWrads+SI+DgEs}t!n%DF zy;N78N06)j#On*K?3DC0)NDGgt<`^E+`s?0<*}3|e@y3OGTQz$(yy*&n&=Zv{01WG z`5gd{NDuq;IbXOC%sAGi3M}-nEA5@W^vJYjWvG0CS;{^SwOsZ{UFbDc|Ax6)vr<(| zzhi^uFjOe$P;TmP-cOwcCDmBnVH7?+{^sVix_m32hIl~?Q38~7y&7TXzt?kSiH0t* z)7=ubnGD{I_-0axnl85jI%MaSCYe*mmhaV&69}TTfo8_zmC%`$e`UZclpLHqv37gS z$B#ee`k=iDe;1+UGk$ky%lQ^FTrW0y_@p>oeQ?~f|G1GhxS1YJrPT{nR^q-nP&kPa zfk5z#=bi77Di#1-Gs80s;VOZi)~)5NLH4p^&*J05U+l1terJTh5ZGW-*zB_9hY_pT z=4WMDKCAxM5(o~qI&n7l;sk}LyxI5bfw)4Hon>qREYHjp8#vE(RK~=jCM*j)Aj)#e z(38HlcRXisdWy*KdE96Fq}$PtX(uJN`CdlSFWVd)?=|eCK>T!Mq{k-X)QeZ?XmCYQ z%==wgbS6K0+~iL&MZ=8ubl=+R+1$yPgDnhFr)zrD;I7I&iF|U#P-A0NmZDl#`1>;s zQo9h!BoYtcaG1SJ@qCOG_e~< z7J_nzY);DcoF=*(dopm>*5noq-tls&1CZ-WdhGBoupAwM0ZN-HWIG(sF<^7_%k_2A zANpMyiY@NRJr<;sWe+SYS$M;T_ULiBLfJID5{Ut}4pB$6@87)hzR?hwe-}&?Pz~8re z4bXMO3WkUGNz*FV(|57D+rC19K^x|~?tU4DAIgjsXgmeP&}te zR9HC>k)i&3lZIj6&qPsv0liL6Kl~6K-I7@N)evzZT`j5}L}?_bsz0L*Jcr&okp$tC za0jI2sPQcLovBljZhv)}C>H(w6Z;MyyW3_eJsClajD}!YC^m;)1yDFtIFwNI)>&xI z*lnN!j-GyQ;FQhf^9#641?AlFC95Q1(tjApq(WadWx{kjaOg8`&v&?a4VK+sS%+vK zIw*-fk;7aa!_vLfF~AF{+Fj9>Bkj=wjY@Pa+N`TDmYMwgvv*fjwqD(?wy?^`()#v< zJb$JZY1I#n7`)Ivi!;;0U|hk7qlrL9x&?#!e~ooiPF*_Q@!PCv%|92zZKl6W-g|DX z<$q4Bgp+@IMGUWhhr0!Ay@A*uQ1>7}6ox^tEE=6l=uQgJ9*F@M;AAB0OgyS(k6!=# zc+md*X|IZDgQ?U+o84+CGkzn=aMZKKZ2tYP=5B=}%?&N=FB(}Hsri&ZL{J$Fl5zY0#f>K|30~!W628W3CWaFMBtXB8ySAkptz5=_13GTS^b<ZZbwzs9(NB8GZHy@77t|aVz0a7^6F;sfu4_3cj&qGYR`rJqHKFttK#Pq zv3SUy<;6+)Qbl^7o$ukXmOJ0mxNGGjuDn9Nq}Y@IQ!c^N!v8i7GT-#%He}gh#yE(0 zoSXYR+NKs?9sa#utSle-JxNCA&P;;7cUu_s5rK=|I+;2StbW|^5F^l7#=Sz~2?nXT z{xwyMa;m3bvq8j4@}6*@bX0d6G-OEV^zGi4ttDmE^gN@(mQks2zZZYFWOJ1i?lxY-kw3l z&sh5KOWQ^UjiZrO%PM+VGn>dZ+_Aw=DHI)6JycDdaul`9NZZ3Zx&VF)Ul%yZ#wH>= zu1`E(3@+TVB|MuJMg9AdC6lmW2-m(i!0>S+wlhj8nVqta?$1(v!6Ond-hOecrUMC8 zUa;rk&-I#)CsX%{J`hM4F{g5yJ%fK9UHaC1Vv_Rv{#6?e^~v`2+U|lvfr@DF(7u4s z#^8ggH6Pdrm*{Er>+V2PO359aW4&?rl-U+ZYwBP9Fcuz7gIo-qPQ7M7FAThdKn>;T zA`PO=Pmh|s%m*1q_=#al{|c*kGY;9T?)PuAxi!Es5C8dR`^y4+knM52MiD@Z88V#> zIQNlRNb_faoE9*sG6;3%5eY!)=XlmG#Eb>`2MDg{c;!#Z1(uCb? zpeG=59j|>qm;$$o8>MKqYq9x>Fy$fFu3bA?a&TO1($08?BkK%ABn0j}VK|>KFgy^dzY%x2Q9#R$c8++J$)C zh4GZ}?ERkvksirUyP5ZlR!Q=E_^WGK`%ig~PV+viB3HeAvJt0oES{@A!D@ZoJ5z`h z&l#%NY`MB#?}ZoHPIJC@EH2-0gp-2jX!s!0N5yPO@B4_0_Q#E)%<@4u-EBW!W(PwwnwJ@noe)47Hhexux$eU6PcAhTSv$anIc<*t zTDIIr=h8zDJa{|mh3hFmfGb=3##`U-bm^P-;>8yN8Z>Hrgd*~I!4qs+TK7iwihLp} z&v~7TOp)$zBYKbzOAtV09-_<|&eCbqp+n04l7FjBtW+j_s{0x4i-$R? zk4K#88uz=S(`fn=RI<|dA?M#*TFp+5TJATY0GpEK5h|AbeotJ;)~8+BTa;;+q@Qg{ z#p{yQ29EA}?F#>whPoG#3lyHT65CB>`zTPfc2F1{!}l*B;-P&O#m2mVv4$Ub1J>>T zMCk0nu<%N+*}(Nc6@NShLz}pQJMgFDw@eJhwl=N#7)B0h?rwbs&6Pw0 zYPU9*?WXJ^Am_VYfi2~&?egpVd(Zfdx(m(`MPz&8rGTzJ#UWfJBB^2Osfi3J2K#2> z)uhCyl3|;>G$fxkurUK6)@z#(Ou23Q_I<x8O@6iSizSN|VLy!3oHaIn zNVcDsvVw&p^A;67)?^E1+3``tOr)s-)MRnZ{h~W?;zX<>pd2XLkLZPuw#dHP`tL<` z9Am|WLF3>S!4-BD{mCgHW3`lypnJ9c_PTdZ$}sx$OI!{j(4=|>L(SSXU{dZrSekj> zhca=?GnsrAwHbi4f(ZTr3YHntiZ_YW^~BP9LE5BCktMvKU_p&r3L6*r#5R`rOD z6GsxIg{rFGUaQKdsd*DaO1hY_eK$%a>6rgNp>g%(F+0F;hXDc4TCt;~i!uN9fm>bf zIC55ZyQ}t+!tA84!L#d{>{JWbO{F6+H6BdvvKl)!f6;wWIlM0I#9zid6Pe zgGQIQ8z7?fDKFzF$>hFJSKrz^C*s9vUk>MJee-a_<&j*qZre7&{b^fC1_Hx$D|?UT zr@QXyR1Cc$i+Hk(0V1kCQJ7l-@{~RUwN%_ck+$oKAG*ma@uufOV%kNx4m^v~;(30I zee0i%=R~C2PnktjgiOerdEqb_#5Aob?_FTx)wZ=MNkf=tUqdxi&{H8#-3!r2TE)x|l0bb^?TnEMf5L79IL&jwzpl zwGE;ta1yv6VQHz=+qUy?*G{dYz7Y1>eW}$(gZNmH0^B(~EqLR`rV1Ht{MN*FBEY}p z02Qkva8%(#j;sp`x-@4PWjK8fa&!jHPm_yeXjmn{yv#w&R8>{((>y{MEJ5!Bd#!=5W5 z0mgmqwFOtc#>gBr%ANMAyRZ=^pmE82mmKyZsjJh;Xni-AgYSF|!#GhyQkUQrr(?Mb z@I{il`mqafU;V_bae>ZDV#UCH8&hDK)2E2E1S^h8h?#vh0kFGM_Uru%g=?eH%4kII zh_0xT3xgckjgJ05GwBQT%JEn!oN|vLEmP;>hmz1VI*^3LhrWM#x3T6k??}03{_R6? zDVpQdprZm4*42hs2$x7zJ9FS8u0e5M>JB)vlB42x?rd=)c7@ECMu3y7Qa z1|v(P%R0P)2vkxJqpmU;Ji%)nHG>3y45oTKX@+EZ6%CCJkYo?%sU*~GAgygGR#~JR zVpp=T97*N69-r`%48BHQOD`0nyq1hP`Nyt$PO*pMaqy2{_A{pG;F_U=fE|zgP#(X` z&vD6(+Ww^|hiSW2jF~zv!uEq3_b(u!>jIjp=&NKcBE6dUa`p;J659c1k9GN|sGetf zkjqVG(_z6zxZK9)o|P@yJwe?aI{&hV=2-kj+@e~+eVI2+Msc>pu?SAIjGwrTNywrZ zrS1v|*;CZ@C;+1f-J35ZXRn#WS)$3a>S`MBJpKZpvdGvZJ@1(au|LjQ$&Iv*`sISb zGEPzvd$ASQO2_-BEqYXD)gX=2_g(mnl#5R|my6@(QP2f`OxAt#@tEoUV`)F9K3xVp z+5FKv&y7P;O`F;$t^SHnO#`$|J%3ZZk#(ejo#^`{wT}sUj&&{@!onKjfD2cy-MYH9Yg0Gv;G&|ha50uFN`m^6Qd${R7lUCSSJmo-%mVhXd9*-V2QWT569e;T~%k*%DH-X(!3dCi{I?Vym4)1_3Z!|Gnv~9EVQd;uTf5Y6kW7)VUo@J zr2~$0_ln6zwAQRhL1=Q{OZpOqrfF1sfd%t9P{fc3cQW@{>_wZ;M#o`m1kMrbQ~IKU z+qcz4O)17vw6FJik(G;*>@usbvFS!KS>(q^e7?4N(MI@<>BQ?Kw2WtaNm#VRh#hyI zK=g>H!KjhMT1beq&X6@-33%XjTSDG?SN~6QrmZp~B&yH4V-j-mqNb+iBJkPGhu4{Z za#g7ZOs@sSXf+P7nNlNeGn^Uny#B@WOr%gE%&poX3&D2OvD&{vLqg1X!QvV&^pK11 z?^)7(Qru4yoF6!F(BZ#q`t94dPs}$l+HwEFg>I$OH`BIF7^CJGcU8zp8a|cU@b{R=5L_fkiL=(H@0q|=g)^-u7Ez=#7p?v~w?1yPh{n}pb zNr!i(eDXo=DZ_!D*RzvG;U30Srp)#OqE?boT3k>TLDwY#j#Xw$SY34dQA96XUJ_xg zS(P&p{8Kc*Co?n6^|vx{p|#)=YWKcjz99VEYhBuHvRCp=ja+v`n=rocw0RGfl%A? zN{x?;nfViGTTxfhhp`L&w|HrHE92OyxO=oW<#M0kt^Y|ZVKt5-Gef2%pFeMQVQ`lr z%P#Y=rY%@-@WW}bSCL(2QH}NBDUU41i_+F#L~WJ+f1>SD2ih0~hA!FHqS?oF_5*uS zqx{d|819GYS#QlU$qsR6;uf7dVrNSpFMvkWRenScGMec2-J{8mv(@E;vibUNhZ{fZPhBGNf;fAOJ~DWG z1eJnBUdV+z?x0vJX_)qvHuwx3IGiiH=g&j%(-KozvZ}4;ocg=*+jZkliGGqpPp|%K z8!P>%dW`uMl_u_{ZQHgzrWYjfGD6SH2jZW0FWoOucf_j+I-=F#2DcbsufqTW>bNGz zI_164*C6ysujmW~(S`JWGs?*H9b;TFJG`6BacYduYl8ER7;Y*txGrkcZk(tYxDJ2A z^t9v)F#Qw0pUagU!QQzz3xX-<4Ds)1$5uT|D@hk|=SFHp7!pXa zSki>c03`+&IhiaYm_jU3hyAT5CXz}!*J1ui-u<%T+fMh6skSCX@$vAr+>RBLS)p`p>5d7UID0Png)_%BIJ& z7`Vm=DH-PqI>fY_5W|^y5@Yp)Kv241wxnq(H`{K!9NPvg?25!H#ZQk$Ljpb3mfpR4 zcNzjwfoZ|)`fp!OFruU@3N;Lp@e~X=FNYgo%e3T}sLrSb1H|BP>z32OjB#Vf_9Kl{ ze8jRSRMVg&RjKyIEx*rGokrSA3Wtl!(#^*>l3@ka!GAA7XGUAz0`NOY(jwvp?Tk1$ z2l1l=8_s)BJ#ylI6p2{F&fE$$`R#c^IjF>R>Vio}XNA{Xtg6+Y)HDE<4}69OA2c-k z-3DejOO~kjmj?3T_8nVIWhyzB5{k+q#8Gr?*GUsj2F~_ti<$#A%V&me5QTopnzo)$ zSlXxh?&*MFWJ}J?5^g1l1|)k*p^&OZ6mnkMb{#^xY@2`aqShFX%`apK7$Z|BX3S@T z!Lk#ET3YpgvVN!Xtr2U;u6zr<%$>QF>D;@X3)7GKx|O($Nuf*`Hk+cBf>~*J@@UPB z$upcnP2N|^l;sJgUw;>=Jp?Ry9)UFroj?LGOSJhi%shk$et82RRr9`lUN(2#op?Ly z$pBfy*o0)bCE6!3uz=lR*+3WO8znBkAveE+=}Jl7X4`(oUL_%X>5`eDM)d%bB&EGJWE z@~nBrS=1iYAS5_;H4$@bGanB}!A5|oSs9UYS00*jZUf4>$8^3j8H%2ssSlDPBwh#P zt>zSFwwM;<@+VA5qbw!V((1-01~8PmR7OmlKi$Ja&@>^$qnDeiYMc5K4p9~#Ew-ds#BKylFCh{@`KA4LV9HKG)E`_ZXcvz*UO5et$efe1hW z$aGPb1cXENm%GZ*sXNXGmM-!2@^hxD+rap{4!34qF|Ji1Z?~y0PCqqc0oc)7#Es;pUoRh zKF%JAQ!NxJ)>Cp4B^d-V0o6cL{y@%Y0xG9WOzSG4XcR~z$_Koho-?6J=KN7Bwori9 zX1{-V+o$GZ7d zWJ#HIcutR-Ny9c$1!;=Tcv;R|fX0M04HeVlvuRN|i-saWB9ZWSEPj>q57GK3B3ng5 zER7?BAa)fbTLd;hAXmFG_)m;pZcnT0|z zI31WY?JWu7GIE;AnRNNIu&+>-&Y3#a;Pu*j_m6*7yN0kq?uIbJUvR-vUCb{0G5W1C zpTi^S(ejtK#w9N$snqFi8=@3)2FHc|8_F)pVM0g!3+}aM=zVPU(?A@6<$j%t_cTgP zSZT1j=&M+QMsQ0u-?qsHI9n2Vv1KT7OGksShx4Xnhlv#+X>{aU@W*||4_5A$wUw0_Pr90+eTo1w@&v7glhGJx#6#7p-_EqDKIib89~)oJxYkkJxumo#gP_Qu$9yY1qPHI*URPG{NvC2Z5o3cXlbqP*T26^m6X6CF}5Qy zmjrd{ydWAWjlsis`xbnB*6(`y1cd@3K+-v7I>Y&xJxq#PCPm2K0|+jW9#1vwWb*pW zoA}BO@M-4r=O56#1tgBsZp_QNwuAzQ0MPUq@*_!}*EteLZ1W$}ecP;7L1PpBXgwo* zAQ}h9z2WFp>^eQI#eZKS^3NKrmVN1wuy7rlkD*_OXBTu8o1B746&j6ZL%#2mdaC_u zr!@C2@bACAATU^}Sk4pPpNc}}K16SHBh!rDYwYsLT4Ge@;tXfk~lKE&YfX&)^{e_chG)++D8w{Z~z2P-MKNTbI8 z|Ez&r99rh;jn)SRRZeGO+rf~H8~Nv;-NhJo#$G8~!vC-KAH2U|jn9S_I=l2ZDfW(x1 z7cN%IvIY2LB?6M5=w?Vg2ImuqgVtuX-j|ZD5GIlt1W-j~BtRx@&10fSZVm!~X^N~$ z5x|OK=h^T!4qh8>aZgU5|NfJ(u+`s_QfpsvmkJDU$o)(RK?qN26Zu5}9FHJak6*nC zqe)9d3?Y3uHOAD6s2@a3k0WpGPx&*IFhAb(XX3f|BskbF1L&fBNz~i;6||5Zp#xZA z9^LKDMZ|RIZ5(Hj`R_Tk|KCUXac)|5=NlfP=!nvFw017pW1}rm!-uDhkRQfD^gGh! zyk~eUo^h&3Pyz4-4D;_%-`jFA$Z!~!6J7^Hd0j4-|M8`ZdRw{<-Td(MsHd@JS4Lb4 zNa}IEM77uTK~tUj^&R=MvYGE`*M)U=Tw**fo&0NM?8e~Dqr0fg_n$Mb;@DZ8S?k6J z{P=YL`9D%;>45FtEa)ib7dz|TT8`<(0JOsc`CSe$s~9}MaaJ` zq0euzQa~ijXe~uVeb)${9%sk&|Lo8I+lURUzJ0%(RG!vm`IC-qUk?qy3s~xtoZb7$ zmYFR-xtw|$lhH*pveLkwVA}i*N<6f_|CoxU@du3bV~7yIhEuyfwNr5OEk*{(FWztL zbZ>e=)FkQTJd1l(L3#f7pSv4|8h0){)vDW*!ll(~Q@<4$>^WcTu-h#B&V-aUpPM!K ztL2@!lYiR1cZ*BG)yo!5?Ax`EZd)0em(%cH^NKV!(Q|b}0f?c-sr{P080!NAuZLYJ zdf+^fLxIwKAe}MG{P=dG|NGYR4>L`xZ@9fd2%1RMEnm+%&de6-14UK{t z{_*|mlo@wF{gglcr}Iv+fhXrbIdJnq{xpXCXbrRdJjrb3wCNR%|La{<>Z++&wZ%v?igUjD1K94r<)hK^#gQZ62 z9}KOVVpRP6)0+HU0ZeaDiZ$FdF@LgO@9)j$jXA2f`pBn9t2HGi?IYYd<+u+2@6To@ z97huMD9KY?en0B&Q_K4nH@rblx*IeK?x!!v!TYFR{_z$xhOC$~FyUj@aqc$S0iS+< zzNW!>izeG*8uY5HjWKHUbb7m~EeDN_co2TQ?UKuv8Y?S?b)WJiCa8<~xL@AC9UH9O zC*505^NbV||MzFprarU}*szop;O{vcG!k2Yl#{_dmk978DppM1lmUW>Hk$oURxW$w zZX3;&AG`fn6wOkV&+uIAr%jxYYcRv`a-SLfMl88KK|`@LsB^VpyGgp6Z}fTE(`jII zo_A+0!_Esjt62TNQ=tE|)T6?g!^^1KOE*0KarfE&8d>|Lf7`CZCb(OTZTMV%O^LR_ z=G=(j=YtKFYENx=e(Y|ugt6<=tJ`SrY#lVa{fB$waXrqi;D#HcS>$y5P}HnHnx)iN9NKUc24z;0b4Ae(?xr7;r>fS!{k8c0 zj3t9Y&a7${W8NU9VZ>MUtyk5|`~t0)>dfe+P|fYRQ&|zwt!u!|HJ0&vzx#YW(6LjK zm~lh5XE*MiJk-6cyy2H~)w}*5uD%2u>%QCiuB0?)C`yIQq!2~PkYvm}M#@Y{ghoS3 zQHjiw2$_e>rJ^K-N)(DTkYuWeNXfT$@A=MKr|UY`>6}Nn|HJ<6z1G@m&GXl0j(wzk zpnEJNZvUZ5GcMJg?HTLO*jtK=D$LgtTdVWH%;Np7U=Pv!#I+k2{n$F)E4Fd!&XcHx zC-ROM?W*jI_<8+o=<_{lQ-{*+j#Te7%PP)ueY`aC*l+cRTmt6`OCOxHxn{hpQt#dJ z4-1-gc}KE0&s;PRF7|v>n~kmU{e)Glkf7kIg}=`^dW)|sDSl>&N2^wa)D0!- zua~sARv^uHEaAxe*B6BM-j*@V{rX%+a*6AfUPnLXOBVMxRhe{;?%aN7Yr@(ubU}Uu z*4+CU(ieDn{+0@*yi~Il4kLd3$%BhrvMk;^zCX3rX>nHKH@$k z3wF&4Tdh&@G}?N#Rp}wEfO&#b9DZrS$$hy&s4|v`s)-(wZ>~p5vV&7 zw}b#EQwFdMpaeb6Rxk^+skb#9W8Z)Oq#kO>f3y9<4Yym1^aUFS4R;!ZivM(bWxO)K z=tq$HL5bsT4$J?oj;vIX(9R01>W4kS>2{(Xh!MdgKaDYG+pu3gGsb(YRgz}}xv`C{BZqY**e06l&6YtWdl*NAZcLnUkjKC28ZYcjB!6 zNnU=WPDnAjoh1+KrOc6#hh0}?Or^Xr_1i*43?|bzO$z~x z+6R|JX2xe$#tdUFh1hoy?vYfS`2Dr$-!anBM%~dPJO28Ys;V`2`PXZ+XD?fRdT3AR zA~9(hCAEq4XM1?ljNUs2)waIf7A3rCqI%4s^xi*nyV`Dme^4Z_vpY{$LK8-M3{T2B z=7z5$uhv1+9ho+bk?z3DLeT{}zT6i1_tW!f?;bV|k+U*qS(q8s@*9&(;%;;8ce@hn zUpBi%W54r*xVRLP%=6zgo^(gBykQn_D8FKSoO{@3$LHfN;eAuA-7cO}5w&(S4~)&$I`c6=XSfc{Dn(G%HCZsJd72}zNW82IB5F)^S|?Lf^P?v zTsLyIIupD0@J~L=GL}i9nzkh+XS04w7fpoumtCC@k!Xk$TI(X$Q|GC0t6|ByQNLM% zmeb;vJq&P5QGIjc5j$6h;NKZ&Bgq(2H@bJ8D%@Cv+0YEm_rRhrf0l*yCYC9ag(c9I z!kz;#Co|$f2@3N5{5lvUobbc7n2^Y^tUg^;)q>)w9zFVSP9L2P-l;wB;9~K=e+px& z$C;Qe{N_ljwGZYy5wh&+(K3glPc^65-G|0Edu?IY&``2r4I8&E$Ox3%ZIe8_QPMqF zJ#)fHn8C$!^(Z)ss0Zro zA=zHPw`CsC*#}sm{0iDfwABx5;$UWyZwdWlzhcLLDEwF4kL(n)*#fbgYR<@;YB6mOB(NcYcq zs}8M+*42&Uykb9jsrKz7JO4QI;W3YyVUf^cJB<77G2pYSyOCd#{ZWJU;!|g|l;!^> ztj_rM?VF*mA~JqqgkV?x1Xluavf@E7FS5aY7T5j_*vsf11FmPVR{!r~DS4mZgq2=- z=!3Y}dy-{ED~lw>pW6iP-c@ck91th6d)T_b!6y7@$8YvIu_Em2rt;gPK9cys%b1o_jAXs=lNd}y+`WUB@_LFIBB+1 z|5>nfPlXrgXHKIy?8U+$`kOSirMDP`!8lCwps7OeaTu z)l^eis4F-9cYOP_a|~-D-D3+xfAtKb>>>JkFPz!1X{!%|u&9qnA!cTfjx0{(e_L1l zMgP0aPl3rPHp35|Ew+L+_p5SQ*{zco-yAEk|=?lH{M zmpXBl`n^)Im?Mh{X-W+5)JAU}?WA=42 z8lU@wroM=+VPoU3<4}*Btb8ZE!yzD7cBcEQ&UW!+fx6G@&Nb?OczaLaknTJ+I6^@9ZZf-;t}bcBNWQ)_;rFDoD4NsIre?xii$ zAZg;shNu&|-~3l%x#S7<(@bz4B=DR5>#y(5sy;Q6qWl$7D0csP@= z!q1gg2@p)VOqT&GgY3F*C@BoR+*`u`+z4-u;Z6lRu8}ZL;mf9>uQ*rDEz?{FeeHi{ zR(fn5(iqyf8L1PmCdZ~Cf>APi>wny>nzqw*F7JyMtRF3&KB-oX{-LRw%HgtNuDV;r z*{TLCZPO+P?Ya<`z{SM^mW+~qiN7&OolUeNkQpv{Z+D`5#z@J*#(C@4Xi|3SF;1Jwu7F&n%!h5pLxlt9e51SfuA zWu+oUBbQH}!ZT3WY5sDszb2QPlENNeB8Ia9f@{_QASOD{Xlulo2!UlEd-x; zt6+rk&|AMe((OZ^XMCgrkfE|*#J$>Djjqdoz1O&7Rxh*19%U@NwzuFH*X9Y=b?)8) zgV(pHAN{?|eQEycduthIQ&T_8vhVDy=Z~9LCZ6zq@8DU~FMsW{(PVU-ie8~JQ;)qW z{7Q$*!-umd&k)@I*P*WMQKbjLNfB{_&ji8iinl&vD{#3oy7tMm!V-=gb#DH``#OMp zR)4OGybwUlgUGV38<(sT4;%C2M+c00eY3;{3V#k#wmnQ~^DRqZqRcXN#F+>PMn z1AyG`TC}ssVLk|l=xgqdPc8+LI4{Lj`luVE1O|f(5_-M%G+-~1G-GIayTB??GA4ep zbmbagkSky-MVuAHaB{?({JOnE3=R*Zx2OqSMdF`cIjtv9{u>#MWV%7k$SLocvFoE$ z_3sxWV;4p!{9RO3b8pwh@91!JeoTVoYs4Am*$M@9#cp#f=;M-zHjIM2Jrx*;XTZMA z{GYy1c+)xGrI+`=cP!478@{=*PiB>^01gh5+v^^mU3xlsFHkmSzM&__9w`RS&8rf2-vCXJu+1IXfs(Qi0FeKI z)S?Q=tP;8g;AUztiztb6iJlMr?Dc`JuKQKGGGK;uJnu#Do?|ZJb2V*>ta8Li1N0Cj zOLft?kdQz$@{sB5Ny<63a?5dHvzG5O@7Wzjai!=Wo{x}kL5%X@Nqno4x&122*T$WJ z+WI8^zfolo_1!Qpeh9*atauQpG9Q?CU|gJgf-JUcQZN?LjbR`Vf*UoFQV{1|Hvb52 zl>e+N^uG0hiLdVA$`T<+tO(RiYEZM2CJiR-wa+r)Ar_4%Xb$L-8oZOzR$~D4>9!Ji z1D!afUmtz6ZZFR4ukcY_CO;n@7RGD+x_-2c32}vD+5YZ}7ibYRURL@kQtZT$88J|+ z(99He?PfgGn+nEP_M%YNeK{hHI{n{26PIeYsyz1*uWH*78fUjkN^7qD`w$v_I z`_~Sj=W(<&z3ym3f-}gt-d&ggUrd<=09QlsB$Bl&33}iO2I`qqZ0G z9YFI8C76TJK6SV4g$vdXt+H`LPNBe@E$70z4{aZzpC?bhi_k`4G5I~FPrA)eWrB3e zJU;ah4ziF|5S9#knEmTJ6rp9N#6@m}qwGo^F->qxyo&FEbXY_MHR|yDk8G+-w=&(i z!XGZSlo1-#2`bzl6&-wb>d;HDtxG>7yg4|-AG*k7a3*!#=ikI*YDiAp-uJX0(iKiQ zkJNX`Kk=b8FGS(jqC){-cQw>AkC%diUxdOpR++(bun@tIi$rd}hsuX3wQgHZYL_5Mi3eQ~+*!4_IZ=!a4asR0Rf` z&MK#-R2D()Sbym5cSB+ZSNBU5O@e$YK+^eZ_M-$aK_^i+d>qfg?)N<#9KfE24?(7a z;vKqFl@%fG62k18j*nl@`1Bb^FR~U+eK>Mf6s$2X7g7apSOg|I&uszjIgNj*a-Ky= zU-s>x2e?t&wj~meflio=&CXK)+@=}%(AXGea= zamntBh1(Yc$96Qvr!dPK6nL(``Obx5gMOF$pi;MOa8oCvK)9%AcNN61cMibrfp83h zr9kG3y^8C{0>?|d4uGqrS8N~$z{Ks?oQ2vV%W@ZVo(QYV^SA;L4ZZB-REk@OEzrdj zhXGXqE#PHtUI08K9WP!os>k?9Z-kTy0_A9%9x~&)Scs$O{RM4_kFkQ}%#bQF_}^AT z&9np;srA_JEQ(M7i!}cdb`iP3>+;`_yDV{h?$3zx4WK9wAQ%Pr9fFWOP?SRRoV+_B z(x%}B5kXNkl?X~BH4eyX`y50wn(O{OQ3pLzf300HX=wY}n!7f(s0a|cL zsMM5m@LJ)WyKeD-9a?%AaTR)e#LA+p12C9ffoqXW zl)KDI={v5v3G&x&2U%L-ydzx|BMFiqYta0WxJjMZ5DMRx=uB}hQ20@pG?P07dzc#4 zOhvNxftrG-6hdBXy7QN;s!(ZnfnCC8^y|D-V0iJ>*%N`Y!Q+hZx8_v zao99|YaT_kY9$Y`0dorH4fYga^uUA_sDz|VYya>WLqinAo1~7Nf^bTbNm5^zi*wf& zV^F|Ly!B)YpU|C^iC33+E}TycenrPoQjj66q;ld92VXr;y%~z$j#wOM^`~7 zP+jMaOrN;Yc1K7DA~*cd5Chjp0wmPQMmQ%>$MmeA3`S^=B7{PBU0MEjCw;Nvfp2i& zR+W9_p*y?1nr&tAa`x3O2~31FB^&!jG^l$pfQWj1(x`{C{;plSAWLboISq+L$)gNm z76zy{CM(Gx{|^TdcF}*Xv)5~oR%w{9{w)5(?C@dCarThhNY_=BgK~9RujXBhr3`&u zM>Rz8QOVbT4bz3L#5=Ob$G<8+yVneX1vKSSW?TBokv34c+n^55@&WAE z=gXb@_cvTUJh6p);oDQ4zwR7*Is8RIyW{xE4nM^Juc_Dfe(LI<-jU!*dpSX8SwFW! zcbP4t1`(G&)c4B!&_pG>&*#M{M2Xo31|HK6g2`Toc#JzeWYNwn3RF&HeD+y=j>7B7ZG|Iu~mE z-1L9t6RCcZCwP0eEOB;VSw3sIf&*T;)Rie~DdZzcI2!nuc<4?Pj$JQQR7K;EB8_yq z5Hty04_EoEM`rQX%uP?`quzpY+=>FRt)FbBhQ9?@xMCeEY~Xjg#-XQ?({*5aL8WJ8 z97h%Q3R7ERDbEbg?liKrMr^U+ru=~n95~C|`agaYJd4K{hPNBVM4avLx&(AXeoo@R zqYYaPq2)4OB1Z{i_~en|R}eLf)$i<WOaGGC&-}&F?bay`w zz7?cvH|tq`Ahv2dxN9Ci)*cpQ<+@mFmmKd)QbRu&nVJ|rF2u&n9~%n>BxeY%(eH}i z>(mFCQGmoHbc-tZ6eU|4%C0Ml9HS5-wF}(AXg=T3COn#CIt@K$wNY>j9@uc}0Tr$P z);*N5O%EPEL;F`)@Z44q|DjKMqDnV&Za>J^5-D#y_W(+!!7Kz<%*kGxZ(@R7)Mz%0 zXOy9A`A^#QR(YULY=6uicEf4_FbgB>b01$!eF2WdJ0G{dI%(9Z>viiOpcd;_L)QV5 z2%F|{BS%)kZ2MKc3@g1$M<>ykWtF&kOT%oWI}msCP|M-VXbm)LkPM!L?ZWZ#q1AMr zNoMYks}XnIqriYN%w+hW7se;~-Yj|OL2GxEQKrwln z$FvM*8D)lNXg!Anq(pYhV&~TSqz2B4s^zzQR;oy}4wwnVh+S{*;Z@5Sslk7-cp5g3 zd{__v7{11XCRhf9bf!Y|ty{N*qf7hCDqx>J8$+*&1Qzrf@OdupItT>?=jOxfV06G> zpmndolj0@S+FAkp>F+-k0!!ZaTE{Q`@*(5l|5h|;h>~BTZ!MPkPT|^vgY$uAKw~4S zWxGvHtrKEv+HAra#R(ju_i)@}?;RW5tFV{=$=1=`5cgAG6&~*S{MBkyZcJs{@Mw_v z1`IRqV&9QcApm+)gd=?R_j*0Wp+R}EC=FO2UXF|e2DVzTGfny!DDx#z>VwgBrXN$j zBZx-y01Q27PZv$tHXMT}8|78{&PY(c+1fF7QF3;B+4vfTfbr*d_BV<95=;_d- zUx%pr;H58r3E5BfD z1^hS@WjzqLZ#D1~h#8Gm`oR(DJf?zdnY66wGiH$W8}`wr;mI^ud5pG$(7Pprc%Y%3 z7@yIbB_dwiW1v$Ob(>A*_4>*S7|1;`77Em0kmC>SOrmB8gCW|7w02k55D5A2{|Dcw z!R_{x+7M>>q7*h6=aEJqh@6BAaYJ zI--6ghu{F*eg^-cr;xfQI!#h;C+dMk1N@1Z&?H=ZosZ^wk(aR!{07v?S50X+#1>1x z8KbY8J~!Yd^GZn>Kr^S`viUgMS$DrH53=9Q&OJXSB|N>W^~!_$8+zZGhZoMuT<(GT zsg+WYTKa8twE5?c?G!W%S7Tmm_%TTTNhryeBl})nS3cqk^%x3*8q8(-?DF!D`28z* z_1Qa+lG5b!_=WMe{<(OIM(%x@s|d&YZ3Q?x)V-(6oPvkYZY+e*tAJlM2nQK0%N+jp zaXy6ai(qyMqzIZSTd?Be*oD`}yhT|I1nB_!DUPm3&q%>;v>%IRRt+RD<(k4e7hT03 zR6l^|tH=O7>WHnatt5uV?t^c^yVKSMblIezLZLYfH$J2UQ>AV09*tiY+tzkixTTNm3g=bg+eyK9VwKzpbY`#g_ZA85bpON9&W@X(eC-5 z~&E{#6lIZWwL>?F8Q{dO~S}?7$DCQU(H$|KxAfp6;`WM z7Ac1nGqGr>0sd2&O}PeDa=`w-?r zrx?ZywCk#9Wq}vb@&szxEYJq`kV85z`qT<6;?g!b1{7gLsiEBsf=r@|wEk1S6;SCW{-mwT&!Hu(0B@KYHc@^dA+fiPuoVo#4RhMO(iLkOcDJmhr|i7) znm;I*@m(a_U$rA!`Yxjs zZ7R^)XCqqCel#vh@!(Bpzh~Q^em7;34JqOoGOO`e&X;AmREh-pbHH(@tH-PE0i1** zMY5L@cZfEbySp%QQqZbe|Jt=*{*i?6B{yhT+RRz7iM@(zmfPzxuWeyb3I@`t&t7tj ztnd1Sley3_YEty0F+?-U;=H`mK-bogS*XS07e>^O0&AlBD*!|OKp-yU+mDl;h$y^L zixw?PvJ}Elk0F6jDSa?Lw1uC4)`)OC*exVCmeb-UUjG9lpY%})w9|hR{tC>AQUpca z@i__g1gu4ivT$*r)fx3`28_Fyc?q1RqY&^xQ>OfVoGJ8fD;H`_^zVWS&;Bi*vIl6H z$)QW!x`G@3q^0-ANBhjoOiq|5l6^gES!t;njI8ytj6?vD2(zUiy@>HEW(3Yz4%~{q z+-T+`AAUU;h2u5}hb6Pti=BvKPScL#%jo+WsF&YiM|soz;s(P z-E98|IQVSwK`B0-r6HP`3kc3CiU-;3_uEoH;-Wfj@&cG-hOmly zLLB8l-nNk28=M|aE3@h$DJVI|Ddr;5>CwKO!MD3#RW%(&`o_VY3w0Y2Yjl!)jWCjp zzn%Imq<;KGEB2jG=~i_g(=Z{MBpS&9n9$;je{t{}V2kPcti}NQDt=Gw#UAz^Y)@N+ zHrLj&VD4hmzJ6f%g9c1P_}d3z))Td%1!LwibXyDtvSHZKr`2g{DYcbU0|lAsmu~~~ z(*2)RBkVhg4&nP!$~lhqQ>uK*aMA%zo?=;nHazA0EcIhw zY6nncVD6lvKe3u`Fjd`t+`aWJv+jiU()if3fw!h=F1cCUt*L7g_6c)G@|@`+C_;;$ z4g#1nSQl4|@harffbd5kp`y(S4?~up!Ig^joX7ZzFl{l#?Mp=rnBdeS>*9CB>;E3) z`?sjobY*Rw78R>{)gKDND^2|8bIqExS7Vu^N&ABCFSG-^Q#iT(!aQGIyq0^y)nv?aPCC&K43Dn<*kz~OMb!O!bw`oYZfhCO4ghNg^CVA^-DGnSj*B2uD6rI zi9ZX)#K5Fu{+u}~xHRq`9xYzK@8vT)+XfMG!J)Cg8Upv395OSePk)9|pbGvAL;IiQ zNZ)@n1*sJZ?XdKWb@I5w+b&sycp>Jz*cD>-W1xy9(2R86(Aa7V?0G=8u-J!KMz>3Q0Gxa6F| z69)=xAwbV6oCujsly^tgD&UrR+k3*zQPi1&6ETgP&=zF#StDJJg;=SZ(zXF9a4T?1xnA6s9qbubR0yay+Ye`FR zV5W2Rt+_(D)ut5T9a(@V?q)OPSh|8DHQ^NqjQGP66Pxy~XYf}&G z60XC=s?n97m4z5QT;pVH1XB3{9+dWtQ%VeHFdgw|uCuLr(1+YbpC@Tw$NmdHwQd~$ zh(HFaw_n`RG7+|*WHJ0F%{4j(;cK`PTZwLlQ&7~L*Ekoefk9uy{Ds?}f?fxVUVh!% zOaxI=Kr^`=klRP0U9g9_i;E~2`h>wD;WT_9jY~#0#9qNT-O0mKjUedXSLBq7Fmfgb zCjxD3@YcpQCKKaBeN01!#st_}QI1$bB@XuNi1LDIvA`&~@Ipbqgn@%Jp1HR>c#= zV`&&((Y0x9_%rBjdk;eZM$=Onz%?7{Ha5XtlOk^93YZxb$b|ROLML2B_4HEq#b@rs zBsx|mPaC*7!tJ`3eY^6Zp?;UTIJn!aS=QQ9RPeIYChAd$Gp?CvYZ}Zd^nS)QnBg>( zBw(%!H;2oI^}^)}MN+|0kS@OPq>-rctt)|nGb_eB=b}K)f-8fpOX0uPSNc0R*cYdJ z$DJus*q2)*@lhGs82gueTyf0&u80nhtIOhU-BGYlJvyNI|9r|J41?at?b3mqA3Hx=k* zV?ZvxKC4_FIq~+>b<5GpbfHAndAFlwQl2gt7QHA*qE|WvPX|R~1i=8u$jGR)-){j< zy>x9S^;U}S(@5ls!b63})Fe3Y%$fd3v!8NU;#>i3$2p91??8hz3_H9UU@ai;IuKzQ z)c~MQgJZCAZE}Ukn>=6G&@De2UY||2XtN$5t?KEJY&+~ z`>&hpUI~|J7n0n}emDomC^~VW@+){lF=z`1y@ieinAy6v@w6QYq82CC1AsaB@$s~; zZ-2&!uv%4r&wlw^i0`@laGBxW3K?%H`fBmTwnSQ@n$ajf%M!gna8hTivj>Vq7JKDHcUyH!zwE zgKKkufnUHQN7;{}8kZ(4ZXDpnD|U@_xxA+^3PzIqa*|Zzzs{GUtx}vk4m*|SF>p$q z1`v>0jR!y7o$mwosp4fi@+( zzg3(ZVFSRqewX4}?87fI(k+4O0G`$L`&01HjrV2e8`+@isKU%LUrKE&E%fuV2Ae4M zHm{qn0bL*{BA`wUvU1;0lOK8f0I+fK^5q=Xop5nLVCVW}=Kz!^mA}Gc+iVj3*aOE>O);YyyV6(n!)?70<4XC%m&Oy#A^6(u z=$OvB>F`$`S~SOmZ5Ll`@9MfH!{8Er+vjr1d>4b>a3&VmgvX)}6=ge&taAR1dDP#+ zKr@Rt*(6q12d=TeOt+W$h4hdulr&*y{KIFfZP4^IfZUTv}h7VeBCdvo6-^>hFq+ z<92vt%}d{3S?jxPhWwFDjM~fz-6Z9-h?_Ptj5|W}$h4IQlSiIud>i#~kq!0t?{Cfi zGG|^lCOaUAXNGAK+84ez>GEyG=Mg}#UC9W1pySq3K#tozJ=de}`icY|Qk?+lF!`~W z3n(enAXkC#1~iQPO%1849x*?VI#J!A^0{iN9?Nre&V^5v>Xd=AK$x!W5%Hz?;tJik%C_P*Z0Agf>ars!$-9)T4l&CvKIG6y%=7H%&`C39{* zRABSq8I02)0yD}U98ShwCm%1bvOo)Lc9d20y$Pm+tR}OX#Czx)`W0$!)4{&XIQWpB%34%Vu-J(4 zWC!Z;`_9e)bhaY4IK!&IwP_pZtSQ3i_YST>41aWQb4A4+Afz||ios~nTlh&={2JEE z{rR@YF_h;=1%xL~5Tuw4&Rey`a%56tIdPtV*eG7Z%*<)ST2=I9*i}jL*d+%~Tpl^g zrMP=7PMcwW3q`j)nxr(=LvXc*35`r&HZBP<^O^$~4Qby0IODe;IPDXOiHVv6s2W)C zT$(#R!znuH6~-Czof7ayPB8hV4VpcU8)r!s$Z@RLWmf5Xr)|tfl13)H%F`G`{-Eie zCtvfJ9NlpJGOKZYuDE(sNTyZ_*+uSTRg|tcZ7u-J0`IvV;P!ixmw&I^lcQNes5nO1 zA!uXINvx8x3(}w9xL>V1ahdz}#PnJDa~j;zI^XXLwXRuT?|sMb?I~Va$!4b26T16U z=1i>J!n|{@R%7?u(cF`B9=tBuf9U<^%At{jbysyvt(HfswKCh!YuUAb2^-t$AZK~W zPQ>cuP~yei-FrorH7b^(^XGmp16gZx3a_=w-9XJqmf>?nahOtY_> z9jb^ddDt?Mi8b0&W}H66{|m=p*y3Ix?|BymImFxbpIsW&NJD6TnYLx<{u2MRf8u8} zn2O@4z0|1j7ZI2QHi+1U^=~8~+Q3Qk5P;KryehakwxCWyr#EN$LGXmBJ-ZsEa`n+7 zWADuh3i{}^agLhxyGnZ?=NL!5%r0_53V4a)Tcq=gT!?vwh}^@CXuk2q6aS0DNTI#Z z{#+YV7+TWRJUmJQX?d3{yixXtUkPC=Qws2`+M+Mb*)c7y!GkApX?8=%hADX7&pUS-_@aVIE=G~oHO3?8ShQ0v8wbpI5FWLp%VZ%MZh<$^n8*9 zE^}Ht&EiM~)NK}T8Du*TTh8|wrRvOpo&oT5Z2EA?lS{1D*+52GL2d;9QgjHNxGf&` zfU^;8BZ)g=zPVsT)rYh0o!{Qi#dP|raMXbPGd-ePfBE(`G1u_jFxwaSR0jBFnW-+v zrth9UR-grEg1e0BQj>@w=XF|q_$15qc6sxihb0L94I4+%a0Wur$Yc(i{@V^vK}LS^ z@-G;LpDff8TP90S+YtQPaD<2P^__=(JBt=?! zOdHfZ+RY#i1gZn~AH()Y)Z5jcWrxuM?hzcYP7cAqy98lx%iNBEC|1_C3Xc@TJaq<# zE}Hb2&`30Ak~Dem=rVQ$>MUZ*b_g@CaoN+0`83_DiYpA3s_?kT@}9(w-fSBRJKAW@ zpMpch<&Ms-gD}cMMDpy;HltlyJ%}tv8eo(eGT${-uF7F>X2nHq=}U*tu^N{au;-Ds zU3e5QLj>HA_&NXC?~Ux6X2oW?*#;v>0K&d$sR9zA!VrZnm|v;Z^+sAAxVD7G9#)600J%@bd>YSVZd3Gu+W5(ksb8e%@huK655-tmx zs<}^1Jk#hbfHf{ulEp@a?5nZg%N9|rpyN0lK%u_xG==xsl*7 z_Lbej%)^tmmoMJTrUS(gpb&3)g_(^Jx^b_*TgQJ4%e%(J1P#^`{Ext`^zYT*)61Ds z8!!|_wLEljzznfSr%CpMd&d4s5?Fw8bLef4#TrTW<|(g%my6*Zx6GBMKIQP$=pLoT zz}lTK66L7&QmD+-VqYKi_{%-;uSd&zVKvfLK`$i3g$_dxuwMUN9SN0m-rT zs^08QvL{kevEazdVOaKo?AALQb1tE!KGU2GAyBlS!%5 z*p;%uJ#>jdRxcaKCs~WB-fGsPapM|xyY@6zeK?lOx88n66E3#(prP@An{`nj`L8#f=fjfCkET>4QPyF1F z8Z?#v>(Y_@nqOFD@{Z{eR+ihAfn%4!?02ufDLW)>g2w--f?({U|yz5sOi+w{{Xf&hhJ9+}zd%1$X#I>jU6KugD(+Fvl{x;<=o>{Mi~D zR{8F?;l(aL>WVMC#5p3jSnK+8FYD=@KfmF9moJN1iZ6t`!XRI^`g=UQho07|w+)n` zsW~T@#Wl?R6$&O0qx~w?garh)31nJ`pLn5%AO7s-LC5Z! z>Us7iu}GceMk; zrkgl&=UJH9P=s*L#k%v>doFq?7JM-`Ff<%>G2Hj_vGMZxA`l5uyj4Xjh}wlv^OQ7B z7&_uk!5NCnzqtAlCc%CySHqo0_V_uVg_cGw0cmI)Pq2{jHrjjI>u2D=5gBk~b|SEM%S{7pdQuZog=Dmd}OiT|Kbp0|T)Y zuljH1>IrzXJ`>S@_EKX>+U}q}Pn&!K`6!_zp^Z&T-ssR3w*KV|K%d!$4=&=e&$a>l zg!dVwUsB6pZzqn)x`P#vs9Kcn%WVFROLG^8m$40`-((UB>U6!!>dl)i7ZoAC{7$18 zTVHrz2?r8-ah+_@gD3y2i!AmDl{Q&ko~56{48)gbV=0k~U@GR=D7DT1j4x~`?7;HN zY|#emxVH%&c0=q@))4A8o2l*xcYk! zT4K_@o*d;ZU90GLdgG1<-*?*BBrA{Y^ze{^#*OJ=Q2D{TG(cakI8j`=+)%*RA?Lds zcFA+c^#6yYR%VTdj0c}RMgJJ^;DA`U23Lbjc3POhr@t5(nQFT8v<+s>%PbzO!A$55 zs_@$ybprM=(rEKVI8sybIu z(__~=hu6u`vMvcsu;?mU{)8-(D*<%WRZk7 z{)zmGi8)w1W?sHk%_b^;zT^?6#l3m{MG9B$Y#0+3P8UO`%(G0(y;;k9i)~Kw3A&dRFMOvHK4=$;6yciTDoc=?+&J-;H z$&|;Trltt165~d|y)R0y?)RQ*;0<0UE8D_93Cdi9f~1yOjU7DP5%Pfjr{O;9k4uOv zSGnpB(^AYSPZYQX4z4`&aiEg$*FR^|l->k#u+G-CT}Bqz@Vz6(;43kXB=;)-SLnl;!Jq#)coiHtKt)d+IfvVc}9EobSox5h73xzt50yzbJZHr554Cl zhy1~=g7}K$NF!7XFY&V5i37yGKu)p1zqr2ubqwxMEg!lV9%H{BpM9w+2BuJO#SGN5 z|Ngm{iRo*jP|bZc-tBvwr)LRlzv`v3j=7p?x8@6JqYHCtD;C33lAEW&;srY*t;vp_Y#>Bn+@x-#H6g^)TB>kcV&_TV! zUotF8vdn8DO(`{xHCRFeP`3W|>w63HUa>MU{p3^cjxJQ!%KA1u+?1(P&~OBD))$$%IavRh zhK5-W7jaw?u<^+LF_gM6b$*u^N8em9iD`v7&|V!4oyGv7o#*`uoU^LXvAQQerN!VH z761iutj5E?&33^4i0Ui9zpnr2g+zm?YT48j&_$_|22r$!z=$PrP~=#YXbP-kXFr8D zw6S_Rc;d#=7sjcNwP4n++Le|u{S(GO=;85TMIAosC1~~GRI2_#lRnn=#I%<&C|hdT zVWV>ET73;$4;`JtEFx|D;0CUGwnF9JP5>De)|q zXuNh!2^0f6iD%;}f!>;?6LHTo5VC3VATGfC0!k`h3A;H<^Iyb-UO1@rO z1GCQ5Q0~NWk%-zz>8_pT=J(p$+j#~d>&z2fUB;Jf?u|H~ zkEbd?m2zbJUPPnjgG!!>RdCY@$nuvYd{A0WM-TR`^H{~OZ%b{8`*HvSK!Ya)gw`U3 zXVG$e)HV%vY$W8A=DsdhEDHB^O}Mxvg6F@-0R64ou3(kQ3qfB^fhAwXMXxN!vk(d6 z#Oel!1XHjjg%^r@o>$5-fR3tNaoLlpVpzSwJI};&#%63**De$bBCMWGGHh9hSzSJ4OgOs--Drq>V)s*m3=PH_b9MH@< zL9B*YNND`<1p|O^L&MDncw=~@G^a73Z*APHqnuU&!Dt?*{Wx#yDjlJaI{B*unw*6Y#~KD>L|=$2+Imy71q^OvYcZhv z2Y}z3^Y%JBvjA*HhKtUDT%a0qfWGe~H9I}{z8C1p{FW_?d(*Zigl{}NDDc5!+jp`4 z+A5WR1toD`6PA}aHL95BZtegn?d8%B=CY1uP7~CDO~Q$Hu(wfw=#@KdU%!20p~)#-4O$D<@;9x&e3SK62OlOFjCjOJH)j>B=Yc7h#IO>Rj_RN<7Hw+V5{;ayc>{ zK+>$P=wRvVkc=rCOIZaQ8-i~+finGR0>`sn^L+oL=}NmuF|Ry;D|WOb4$+Ln!T7xx zY)6HkYg1nFne<6N-5x=uw+OK|O<5t}GWunheSi(&@~jpVRO^wwW{_D|p}k{Ai(?Rf zGIntRR&rF2DlCxxT!!(v(F-Y~s@YdRwI71zb)lP~aRS=+?BOw>`28JMRQVR?+I>SN z3wmCmdRK6)%n(Z}TLLY}<8XrhW2Pj)%7ivPcR0L(SdQoM1=C_5kOmNCz@knrk4n zB^@BcnJpgP%3DV^Uxt5RHw9-j+S3j-dS1_E=QsP^#I4h7i>h?Hr42tsH3LL~o;j5+{ z&eL%+d&WUrE1_v)a<_7`Ve%)Fmz!&?tgMVhUtZjUhQD}!hsB~+$4ZjH+E=0{(Hbnb z=|N>!uyElS+{MB#(`GP#dL5mHu!ubEaqO0{;(u(yyqg6C?X{&iY#klXpe38ziKUun z&fMi!-d3~vf{iWNzdiB8(Cw$7fUy$9UXAnQ0&tM&41_SSpvlQ?gHk`L)-HC7PkCWs zF6b5=djzTkR4d_~CGjzUfI8Ylogc0=4xI&gJgnVyoAK4UsR!9n>-VpQgdMd(==ZO0 zy2=6`wpnn)<8gRow{x#RhUFi zDgKYX%dj#9X$wl0TBo^A5 zIzqBPSQf{f35gP@_+mQi!gq61mX@fLJ2GewXDk<+6xzh|?FXa@Oq8ze+^pv0l=1FZ zJ}pk*96lNnQXKRAJ0hbtl)Mq_z|@KfvAocM6vn?c^TY3=XR1d zqh-M5yA3_XUSLjyI4H~m0s{xPHNuy5_*nMCs z0J+2`ARy503Zt3pbjCeQ%Ey6oU(zsc0@DJB6utgZ^1why+0Gw_-`zby*>1kT)5!2N-rE^LRu`SZ&pB(9BBNxbSZyfPU`FB;|+<>D*bJo;A);Wi5IhT@3 zH70S8C>a?=KD8a^CI?K`VE+2<^3v=JSc)LW62n_*>!3YW-iHWTtU56|m~ejUx9<8` zs7}gKuHL}?i1G`PApZd@{N@`Ui^Hm{`l2q?WvX)L@?)fZm$f~5SDT0#W8B$kHA=_w zVk@aT^nA1SLh*POD&dfJvpYv+08bm+K-<-L_$Per0ff$gB@aaxftO#jYE}Nw_mRZQ z*A=BT6S=qT#J)@N+e96dE%b--B^q*X(aEj@a7R5BegQJGp+zB}`V4T3cadb|e7%_Qg1I8rcl@KIdRS}BqF z3_ya@v3eBs5<@I)%^Q;_ETT|~n?X)mVC0`?&37H_xMlhSn`z>RYpSD)eR5|IUci&Hw1D$)3{jrcgHz_(=HT)N6W|1tIgoab?HJ!E(rnjoi>>> zSi;WSd?6&n*kqkd8MZv^N1bi?Tb2szDSiDl?HxV^(wkbZkD ztA{q~59_uW@q>W!pJhJr1gyqZ9XqZO`7Khc?{wn!4T1SF5z1}fMm?$;QsR>>^*5X> z-u|%+;fPTUGlBCWne2*MI}~_mNOJUo0X*vzSKZ>QQwnb7W1ov5e6H*d= zd{a@H#AhVV8TH0qa21XdV;jl}glU=QvRQFYp;p-A>?|_AIG$Y~1vQ6U^(cN04?hLK zD56K*jtlf-#mc{@sBVqL`9%_^KIkW34_2dLx)K~KG&`~XNqf-lcMXMiMTR(rf>7#g zQU-y1hms`!@!3QuWl<&hux!&lh~b!AW9_}v(Wm8#nO-^v9WNQ>g0RV`reqsD+0HL& zP=cO;3+;X~M!Uuee)wvvn`(sJl>!w6&qI7GOjzge0H>fK#l}aYQ;s>rQ@0H-e!D*5OI z*%15XdtE5a=xHmgE35!-Y4?S2gMJXuoxaPD zWs&f4?}!2xm(g`S7yjXi1_>yAPw4nMXf z6;f{Ru<3Dy;1k1v{jEWiuCFjvWH<*$PVlquG&9?cVG}V`Y~q{nyOxZdk~(TknQ79LHw9fmn#ux!#|cY z00tg-cXt|A*ZVdvk=lY-RNRapL1+fP#O@G{N(MqeyV&e=wnZnpVYdesnrBf-;=acH z{Wve?vi@~uQAxc4fAoPhANEu=V*k2Vs9&V&;B~}@zJs`()+EXgeYs*^vJpQ6X)xqT zHvX+a(Ks6UfbW6g8SM!ALH1|5pCA-a$cQ+`GuBx z(d4cG8akUNw@#my^`X1L<3kQ@0fS@@gRO>Ni1)0k*yrk6u(wqLin6ocqs+06K*?HB zb{RP3@NH(H`m5lS00l9$s|v1XGTuB{Tq+QK6__8R3sg z@ODMb389`iDFinulfSCGyxazzh)d!_$QVo4xJR0rz0##0+g4yEX z7WIL4>McLZasRI+dP3j!Udlrcf`_nNxrUX4Lm=a2?2&yoezr<&Z}mUA9J)lisNilT z_qK@J51>>Nf&-NN1nAEolf>iLW+s;*ETdX-Wy5Ky)L29s&nX93od3tydw^rzw{hc_ zl~7qpqKssxq7=zah){^qvMDOs$Y@c>y3DdAN@S*zlI&8btV%YKjO=(nU-i6q{g3zf zJD%gY@8`Mixcq+Kah{)b62-6e?pAmT$P86tam8)!>F@7Cs~6`R zgvtBbXE#xYW+L%)APkWV{{$*3d3Vf%=_82zAs*1-lNZ!HG=Tx(Mpea%$?iXn%YY!N zIzM}`1BgegXm;vet758w81Z(J^lDT_uRz2aU`dcBd3~v0nLX(qnUaYS6=fzFy-wxT z0{q|)uJs7MFXrrAZ7qOW;0VYYbAXSGq zvc^7g`~|9b21hF;Rx7t(uL8dGmr^LGK;Jm?o`zp=^@Tm@&zPbh=6rz{WNblF){Hq^ zqR2QItRFT$Wjv}6_x9N%?7`@BqRSI3hD4x9WLBfh8OY$MY0Y|W`MHVIMh>m@_+^}h5;IFew8{c(IZA%1G@x0M2!aV)8t%}Ql{ssv7?jCp| zha#V33=~5GbgB@@PdhwVdnX?-YVDkw8OZ-a1{W2Us+OKbIvB=%r@4t#N_>_51oehcs#%ifeM(!J;?WWxnxcdY^VKDltg*?%$7E@H@ zLwjEWpzQqvBy&IuD-nmYgA7oC_8%LpV(|JdKPQQPj$Z|trWI^bPkH7ybkW?fU^KMJTU{}{woCdu{uaAQ5 zCefl<4t5F{tqr#+8$yUQF`@m7C(boOC2dQo9!!BMzLe+?U83*QXB<+-YuP{9fPs)+US5qNRo2_T zjQjT64bM8*0g}?hPYb=dcu0Y!@8Qn5EU5PK@%oB12;R%sR7;oI8qY>5# zzT_G_+hhv#!o`aj0`u09aB8{9vfmoQ5`E=gNiNBk;Qk?F_m(3sRj17!@wGkQ4uZ{` zn4GjWd$ETb3zTpz8_xYW3}>N2)oFKk_pjaE*T7rxo?3L3j9Nv%!9~oWC~wF)(V0am z5`0dF{B+ol!qy#nza3&ml-;=I zNi9W6wcwBtnj~Y260B%V1Bf484@WE}@KuOWm0YqxbF`sQBO|2oQ&Yp4aNthtQ5lYVExM&xgd`$>+5lW8VpKb{3T%AB1^abI>jtd9#~Uoc#YHCRB;r^n zx}V{F3J5Mld&2bz69`E2`W%wh?e~mqy65ADJH?^_5qMmW8h zQ#SBFqL?YT4RH((G~Ch;2`OIm60ehJZRS;KtrN16ah@4LG{Uz)fT>ZIo6&A{AZayRk&kU7AJ zYEebJ5uO0#(uh{`M`=kGdC%v_j^&Nlih0rFQPz79_}%Bb$6nw8|uX4i}A|!V>lK&`RLGxQg4g z4ObsF-FBED_*Sm`+ShlTlmloF$sBY1rpLa2t)0UaQVK@xB*-BkDYOVufMf3R?b|Ey zp$+kBFe{i2RE;LsJ*<%gv5=eDQk^r!RO=9NIj1fmY*d~G^-~=t(d&vFOW&OqU zjEt68pcC++Ag{&~Xc~ISY&6yy=s!qLdhWu770GkZ2edpxJ(7P9D z1;pD-zhHqH!ja%lAp?hB#ImyUERnqUS7Mp}_aQrg(YIx&!I)Vs;MyC;g1c(gOF&G#jHzdyL_fGhA z6#Q0hU53pCEm$!yx5ZG;K>pQP{v?NaWv4M|j_^8O?} zPtV92st&d2sIxzjS*l5g(`iLpX$S?yfg{e$&3%7Y8J19r3UKQsi4b%B_f=_jKS3$= zKv;jrvBzFOc6b(Y{!YYn7DQ)pYwOu1=sGXu=58XCU=`%yKhR`a7yQD{z5Buv1q=;7iO?0gFDc-^caNR>|Yvx$njlP4J8&SA2 z0pH{4_6pS!#!D+?k6lc5(f_`J?CH0chXRE(3FRk1jDFO^KKJ)Z?D<>ZvEfSiPW^f^o@tw z4&mI+HOJ>+ZJs564!_^;#5s`og8=}*t-S$04cN;Q?l<(JLWH`c6+Ih?MAsZhJ|6wB z&lWq&0Nyc6rN#g3#zdAk1_OH*k?$*(A1qcoI1C`_e_siFKvy6m<%4Jj(?RRbJ%Q^G z_23O@1di0Ftre2tM~ZJrX(<@yGoYud=UdW0e>&k-du1Z4>9fJGrcPIz)1J5esZ8X^ zwOZ~r{=Xl9zgE5gmqcc>{5*qMDIk9~6#s9<{rN4gw)&jQt!la5A32J$qaf@`0pq`F z;Qzbi@B-4~e759PF&A`i{;GvPzvzbV-;+=O`ZuxlztL|`Bd+VPn#-%n#+UkV|E~wi5!@(hjJ z24`;c2I;do*k3c)x&N|hqqv8DUe49vimSm46C7D-{AaLhoE~E#73;s(+_V+!6lTH}_@dk>j?-L0HB- ztNvN3i|la6ZE>H1I|13&vFKkn(E(r)QXeg;D&GN->*9~diynv7beoiPZSTauls-gLE)=f znMUC%X%8G9{*3JTtHi~7)}HvL(otnm5Pe)Q#2@Ek`SO3CjWFPm5B6Kpn4rDEz%_CH z6cRrL;0P7yLNK1z<`PsPoOehWCj^Z1eu1?-8xK8mBeX|A&E>z}yI8l+FSZ1^p*>5O z6mL8vB}S*ypM(DQqmT)P&DpL{4{A}6E_47ZkfQi=J6;c5GK_9RuedSHqcYDQyOp#w zh*^4xYmB6rA#-;%Vhj;WF9}y!+|NgU|6CvE>!GddbE}jZ72( z`GJ7}l5dFgB97mU<5ShTX$q_tE~R*ZBQ$gJ^&lFC>00 z)XJMai)`A&g*Mq6SFk4y-4FB*E3A(}0*?tKf~cBEJplU!Z!-ViYh1|EmznumuG*b5 z=Vyy!MEG$11f4XEbfx^Yp3iFoRLT9^g=dXs`I3gvJ9}5hQ-F_1^ap_Ui*vuuA_@QF z-CzG~d7j-R-&D5PJZve{IP!ZPo5I-n-y$flhH*H4rVyZ|=0Me(H%mwqX<*n1oxgsx zMrd@2`$EGfQpOfE`Na(XJ%u2q zANc=#rl30@o|9(^RcPAhcH~^U#)wA(D9mQ`*?*r1f44|{(?;`wEW0OenK@Y-zuMvd z@_Sj?LMJd~PGT2`%#;AC;BH-5uk~b~0#7wF=rN}bB_1*CK|T`g`g@-BC=ZYnGL+~m zhQpzSf%WToT^%QYFg29IhmQnp?Y6R!Zpo z9RJ?n#1N((P;gi&%F7KwaK(x+(sy* zbnFjzGQNIzey`&Ul6VNnQBXvrRH}Vwc(@ondL~8y-2yiPa6uj5LAA^>vcxN+6ZUjA z{FI~l<;K@~?Dp1>$@2Ah>5!y(B0Psk9r4r>zQL{$ha|NK#q-VqzpACX04%NW*l}kq zfPV0YmRR~oIglcYNB7uLOMsq466Y~Di~7~4Y4AV}7Z_-WR@!kofx4sx`$(T^6xAsQ zs~OP;p;o_)^5`Y(MFN%;{cvqyGSpH)0Ea`zDimd6M9CtoFR8)#NrcrD0Hg=MxP(9~WWWL_6SB|}$MxwcU~$V(M;Ko;Kk$0|2oaT%iIN@8|gaoM}nHs6b()IhE;$}B>90^2~r_SUO83;AQi~;V=^gq znUrauqqmI-j7Vg31lc{1N06kt6LYif{!N&0_6lkUBD*5f9Z>q#pXak68Gr!o-G08` zt2$$7IY1XW2cdF0sxnW0%ez96Zbz)SWtUU@`+u$jGnYKHLnk0z+Cvq{Q>C{ z;wEeG>dulpiR~Y;#N}aKVqs)tO!T*hzQ*BreU+jK1^Z5}$yBTxj?EpwvQGd-q1bb6 zK?8XMeRS%lQiw*|i(DTT6`aC-3=n$t?CkV$RJM}s@I4X^1q|TOr?X#pN89OGm$C2UoL(Yfi5J1Z@t}H0dV|upwYg#jV#7|Tw+Ia zVZBLquk%A-S%DongNxOI>sEQ}{}4n~R+fc}LKR>S5a~O9=Pz8afIxyMM9A?{QldfJ z-K4k0NB~NbUh78akrWY%O%4wju|Mu9{{Sw4ZTWJ$w{kEjdV~9s;CxrB4GlURpNKeCA)!#)3)3kuSL(J!E=WP$QJXL-=N^VM`v&6SGAH8{&M9xN1y27Gg5ulznh+$8bO~zC*{jQ z1Cbc(T$})h0>GVq5OYVu0v`mK2GJ9dHx6pb&_GZJfDg3?CxuMAA-4m(3?Ck^J?$|b zHTxO^4wzt;E5;_JuR^81P+7T%@1$%m%)3K?jc6#uln(IEA?J3(H^gyY!Yp9_X(vo8 z1l>hXX~=WrMata$p}eGR2zmnDW-@8o{L6YFkN^U4gFj-VV6~J$a1;7oWuEKL36k%X zUA=BUi-^ZXO+2$JXxY$Vsqq{IDUVG=B5dC|Liz0l;erb4MoaAQGTiF^N(T>+!J^oW z#?yrwxQhrxlirNkuNz_Lh?{p(0T{djWZI@+01xFIaxloajx`5!9gIoXck=ZF5lCBv zv}SI}+AeuEH|uI@mKwW5A4Xv;YcfoYz6v(w0CbCXn*vUOGypCpML0k|`7K-GAf*9M z^PuuEj&BT~h~4!oaPk+n-QB$ztA2w%gj@#Wa7o0b^wle3Hm`KZ0agr==nI&I7Jp!5 z=ZX2##V6@GadUE7cKyA@BWprj@>{b81DiU>vPEC!vfU$%&iC+??+WH9%{VyUhxdP& zPg|Dj4H3)6u>z>rD<_)!wD#1-%cH!~*r?K`dAMjg`)4&`Isf$c5E)Wxo!$)8rQFo9 zp1*a3^sK0(Of!2YWfiDj#5+#I-A?EmomyMK&LH`u`h#D+)=LBMHQe3|LOO>4+AARTlHBd2YW z8mjaXT(|U9P}g4uSCu~fIrk_x$z}{5#iRq-83;5Z(J?LJbJ?Z zh#=nuEvf>j66P9aWc1oYEi{#PVZgmh}M6o-3(!xRrw~Axw{Hru{3ORsuQmk&0x_cEU&Rr6cN3pf-K9;|7 zvlAb1;1rH&Ncw*OMN?m5cpMFV8$WYWf;PqC0XhU zHxp5ZlJMM|rY;cf8b|^$vcQjR$UPcvGC+<&U^aV2IJe5n?_47sKun?CMJ{Q2tjLP8_F(6|v@r<)r*b;NFE!#DqYJC{X? zxZklHw*9;e*~~Zs@0FnDybSGzLrx*O3b5Tq7TCF_k58q(D7~8jk#`%>K@1NOPz{fd zCwU#reW)?Dz76z!NGH8pDxxVF@{TnojF{rHrT)}7f&3v7Stu|Ia2|b}`Rtd;1Q;;R zfrTXh#{GJ&^K}SuBJdcsLmy2ph$S)-mPDO{lq3V=$P@~^H%-KX5!KxyzAbD}>#C#q zF@S>^^S|P7SViC*!l>rEx?{R?ya4-(Nm|C6lz&EwC2guI*T+IuuvV6rMSbHGbd*z> zW?r6Ff;s7gRJimL^?SxG{~}}!DSSGm8G93wI~EePJ^T=GHaQVX*;C<(;sI4E?8A># z$H*4lQTd0Nna@E18(R=VrOvP%dBTP^O@AJ6E~;XZ?^lAE((%T;c&C>$GBR|IK?>o0 z=C!H>l?;EW99)8@C^;cztp)tH_WXhmSg|Y?uqqmgyt9XY&qTp-FSfF3KPtF=`R!nL z(QdTkr=oiD*<~5u(v3~GgXsQ)mFqZF>O6=@2{St|)S8|MeBge+ibqdEnF$*NZWE?b z>bI19x}-H4-BsbN;7B=)QvSU)dxu|@r5)<|YV(^TF?+CU21WW>O#Bk`fxVW#qM~9! zuO-%IC4C%{g`cAl5g6G0c@!sIn&Nlx$Sp0-A6_MzCbvMfggc~sQR1XNBuN-oX-cY7 zG)FS_UvPaIjvWAo9x|rawHX={}{50Q+iXnWgRt730DP}Q(^;}>v!}e z_aR&+Hjy>UkQa(g`)#X6;aZH#LNEY@f-dYZh-n2;8;1mxX9~w9#||99{0Yz!o182s zetabYUZT6jIq_}d68H{OrBGhnlOrV(D$K(O3s>;>a$bkKlw6sJ2us$fb-qA**Hp-^ zE4KQZjqa3`K^$cl#^1s5_K9SXYYaX8;cIu5P} zO%$KHP2(7@8|prCHNWQOy?gf#7a>ftR+kt=z}x74Nvb)eJ6pXU?6xn;4Qd0-B~0Ah z-096&zmWoYP`9t#VY3|ht7SkGs5grsb;SgM7p=cY5GtW0Agy~_=z8{c^Ux2rIsK>D znhq_c@RJTf2uHec2~Gxkb!qNZUvS`lOk0eHgxHwgdgacGIMP9aE4Y@+c8Q^}UybKoifK7PY~T(NXN{btD^z{4^wDYVzv?F`1WUKn{T=`5b>R zC@P8>KWcuwz_$hFeJPS z2y0j8UmfK~v=I&2wyfkeLxhRk35?K%P@ea(c!B8Wk}BXG~J6gz_=HZsBu8H#3%C(Nv_~P z`(|2x!oDg_ErWFB$Jm?mvR6w=N__xfUjw9}q4Pp$#hg9c1txFj^=yjoOtkqbqpe+eRpaJEw5C zkfFA?yRHH~DMn)jq)AI#o7lF9nvcvm`a>Z`JI-N%z;o_HZeCblM?kfb>5XK!z!-q8 z4p1l`gdoI&L25F*&KECV(!qsS{9Bx#QMFT&aBw7%lr-;vRLK^B}idvSFS)ja{cMilU^m=IK{-D&D5xmQFcT)z$4W_=tY-q=v8+8K% zHZqJEaCIU|>q?0j3uWlYkwUzhOnXM>*9MaJw^HPPD=@))otV%-Oy^RToo<E4uO0 z!5N@kNm}JFgi;@4CKs`Nm{v`49COW=>>;yxYj@ z&EAy)L|+A1l1wQlixkVHQ?mu)eA3$zks|b8)^9i9s9X${psdz@CMG5_Y>?!`{BL9z zg7;ZK&k;ToAW$(jNhmcCQ<#a@6gUtWRYMwiqIVcEg;?o285f5GviWpKNC=6eAepIe z_CF>%P=PbV%D}IDa4?UwwK$ASQ1zS4R{#3`xlq!FDt%yI_ZU$b1O~EE8*n(jL(1Ik z=6d4)H%fC2KnO0j6h^L{Lglv3=e(=y%d)aED@zy$o~d-p=JSKJsm7yl29e_r3<^3=2+%l~*kzjgY;7j=X= z&<3!;c4+8ZgprhZA$3!C(g0$-09HzA#fUK|c$Qn;B3=#{UWbQ(#?e=#HTJ&0$4#8B zdwC;Ym6au;u|*2hBON!?8Ki4ANb+$ga6uJ}{_ZgPG9;>SQCb1rqCTWUs=E(bd8@`l zUCi#J*8ze^|7|hKVeEw~xaNpP7>XI9NctTmGCyV))+V?TJLM29Lgp^v{J8u6Xj}$V zZp;?)n}$Zv4tYl)7GGv)ZTpvA03)9^ zbcK}?bbuD$4mB;u@^I!kgU4cmU_;^Xs!lZL4cCuUuN z9xhhZ+;Y6b-j;l*QdZ@6KW|b9-~9Pt2DQ^JBn~V@)%glrXN{H$hSqUF?s^#~4ACe`Y&Khke@>(`IG2#1 zl5-N`a8=#dzE!2p=q~X}SlX~f_lm5snc2G5EGsF?TSWm7DlSLU#Mym0c3wDZ#rSP? z_s!xh487lb$X?bhWFH(B0=?N_TS#HhG@^|jhM+&BKfvD-UqVeHq@b|Rk+k9H8kY&XBaoC4<}8CJB;gez5oY3W z!`5XNcK+so3=2$EDJEni%yQ@@I%Pm|5DhpHbD%-nU|%atb+pBy7#MvH=1za2G@RT5 zoE>Um1MO1;DoLohmKv;7w_#HD>;?Fx>{@VPb<4fVdvE2;uik|G70eEccY6wpJ-jJf zZ8TrctmFxyuxsekyU$A1yj1v*wf79s<4{|N7xDJ)U=w!L>&8^o&bnL zeZO_n(CjZ)VqvAULYD!1E02SZd@bO05;RFQ%{W+CFXC8*%;mwIO){1o@n zrNTaDW@b!EJCCaOyRx|#*}l_+`WnsOT{n#X@+cIYkfEaZV^-qNLo@+&k{cb0u!e|u z81&)>3}LlyK{^T%ZsL%{JhVTJ%b&jlIR)>rUU(C%!qY(Bc^Ss>3R&M+%3B!l!20fH zo5T5z0KH8PWc5}$#6mk-|4p;-mNc3NEPZ2NgzX(Qf6cD7bA8o0b>6@;mkxI&$vakH zfZgq_+~2={Z+x&76o4uTvApmzBOUeULJN8Ep*<)jAffcuP@XR_aAu1>J^-}v9gH+o zQz*l+OYZ!HbD|+`#vLthW@dRoN-SE;)d)RVBZm^v|6Vi<1xx{}aq)l*aB!36NQA2v z0Yg2*_x3VgOV5!{yG^sN`6+#A7s6FXx)vy}zrWa2hJK7+)cuYwOQK3VO0 z{ydX~McF(G(&^ZxGvBzk;G|PytIL`N-Lx7frP4%Ulzqlp39fU9&2j`WFsSh8? zXwu;ZOcLK2CbhwiA8!PDWZCr>XU;8JrMMi?XqSmt5ejNZqb$ zKstNYeY*%U>yt##qqdZ=1Vg0m;E<*oT$>dF`5G!&<~I2?LnA0pBQ_mfMkL*)A5cpi z3mE_~<_lTfy%KaOmm%1+HH+MkhyonQH=|0EUU-zSbQD5c_MRB&(xaNk~BcLIp`~Ln#xU2uaP7(6LFT(EaY5)kFx|BksQ1mEH3xFeq|;O0E6_b zr~w^vZ%2RwI~v-vn1V;Wv}BRtP{?oLOzFc>vqehD5?O~fFa}C4_1R_oyhS`*u)?|e z-15b?N13EH&a_zXlK#M0S34{WTY9QA*K~lqgl9&*W4GIS6jTqY}%>&}5Rp#VE5as^g=mh<*ix%rJzK z$?j8FcD5`gBl>{bm9)gR2gI_>h^yWRP!%x|3{9c5->p5Pi?#{fm%-C>CvQ)E)I|A+ zF^~dI{SFV!jBWk={kH=TCjsdw<6k(#1)>|Pv=R+UmE8GkG*sU7rI=_(^8YbenyP8} z>7gYfqWmZnEZ7~e?QU#(!)NlqT-*mV(ykQdWYi`G=RaZOG7Zm_>qQ_W~{;j7+ zY-%&1gz-Op1B|&r#>#26rO5rdVSEO+bna(MgYgUGSPHs`7seK3@!hDhWycZ$31b?8 z&BCu8=FW>}pm1O>8BPB#Huj17dt}2UGTf3s|LDgh@I`F8P;?c#bE0CWYFCg|1&$$Wv(+_hM4SBN|SKDmNdBS7a022ar0!=ev5wYJ*Pd$MvgiH{h zp9nxaRSoK!?xB7W+_=$*4P8>fu7OR+uv|05Nr9>$*`>`Ey$y2C?_c*eeZSb!=LTo2 zd zxm!ptstC~G@h4AL`GIr1KmLWJ(lcycwDmXgtdRQ=!3+qiqM-mkPa1iYBj5Gu)2AaC z@zl?~zIw>X(sH#=>egrTq@9mvPEAl`Z*+%fULhX49E@VX1#pfzktA)+!8(JBlbzhS z=S(IWUcX+96N&TJt&|La`s^?Qt)>W|?tp58^aZ4^B6J2`OrTCO36n((B9T{Ez+nL< zE#^hpe-TzuzHXzd<{l_9*xRWOCT>qBss&3Q6&UcMRQrKBEvTT0H63ZH%mh$y?(i`IQ%0sm z0BTDunZ+DG*tj<|J7P{i0Pf)55w0h*?#kn`KD5!xpnq^br$sYzvOp$oPZO~cm&QqNsBZ9$Wxi5;cfb~- zjFmtL%UttdozmJ3NX$9y)JRrnQjn62Iyt9^ru!_>`AmZSHD?;)NS>vjK&seW2$}k63 zPF)`(7o3TVo9lire-hi95&n%no2*NMLlAlF{$?} z=;r6uqhZPvfsWX{K5jEHR5u@)ilA<~{X6g5bvb0Z&^#ZZ2@-K`vt>{}#7miqW#!nD z^n-PZey&x2p}&r&k;pY_GK1oQl?GXHEIP}ay$UfCZDZS>JtvffmX5Dh8Bh}9JDV>4*HQwu{(NiXU z^TvaOr+UY{SGkJ@vNwN@h;1gC3RHhITGNXFg>;z@-PXkQ3ql}q*z6)GLNqHkd3I3m zz=jEyjB(!gKLJGsVZhP+lZ$CtOwDG7&#Wj@%wDsQpFi!6-|2W8nhH#FU1wYgJ%;^POd@P3x(Ulf$_It^pu z2Xa-pwJ+Yv9a>*epduKex{ULRNAq4UwWx%P<|c9{?CTe-Icy|p2aUaq0KFaBX)gq(bv}A;IMtko_mN}!8Lq^wA4H-3l}~|vHK2_ z<=#0G@kkPebgMv^0F9A#@WZ~!w`Erz54=8azPw$&PcnsXu$Rk1Mn)s+w_&gIfJMkP zKx*m|)ILRR(}@_`x}93EV(#4Y1`QjVNg6q@M!i{1wuAPyt7n|N2sGM>cxI; z_KesEN)54Sbja5+<{|nufYh0Q3uFWQoNvI!j&Z)cWV~*4N5z~c?2ZZj<*Stizur_1 znwrTyaisL9-(1lHgL0TErx%K!<$v+`7!&>sJQ)ku&3TRV0#x2loJfpep)d&78fjVWF1Pkg+w5G$ zMOjJ_em)nwZfWgOjoWi9hTU`CmOrnG$vH9|dwRns@76&?vl!%vUWspOBS_N36?pB-7X>glp&5kZo1e0!$K zcvE!)ByTFU!eMcDcQI$Xg7Kx48<#$0XqbF1dv&-aSN0Lx=&nrNc!Q)Ooys|VouI1B zxz{fJ9wU5uEL<=9rq&v6EDBLAvpN<(>s3DUQN)YZDa-0nMX;cY?BK7rR_Da|m0Lg6 z_WBgMY=87tHd??Mbr(NySSeK%--w@vj zGcsabL|@HQvxaZF+S^yJ_;|XQpCZ8}RW~^`)z=cE@EZra)IVq2pKkh42sgd`kBf^i zIfxd+vWPW{MPNW#g!F(=d_7WXA20azwLB8 zoIH`Sd;4VQ^6I%!`b``!gCs(DM|Vhb$M#(HS)~8*=%vx)0uo6p2F(K{sOn*Y4>f|K zn9uJP>R=iQ6fISci3l7!uBOWt#=@=jU zMv9Nidn3ipmOt#KOXb^bsuB}(EX`nf|NH_G7Ad=Evc4^sChpf{Yulyq37gmQ*1_Rw zG)a{mS~^rgL9^>gOT~kCTWRS8-PyK_DrhXSx9hdixs}(Cf4KEB`P$&=hMjF=6Uy7u z)tiljpYHCI5!Twn9v{-E{l@2SL0t#pK7t4w4@wv!* zt8+k??kN_1gM1SAEw6b)G>fQHoR$J! z<0>DchJ67Y4}}7^r3QL7Jq42k%cmY04(od`%9U%1XU%3GmXnPNX)JsmbBV(bic~r$starAp2ey$HOct z%uGofFJo~&$#`r>9AKQ5p-T-_ji%fRryrJ{iiIPcFLhIg_RzWMcKULQ1jD%I!<~IR zk`v{7>O>v|rc@q2V);tKW3;g{vYYN}fy((@0lA=rux?sUTreBtN3y+7W-O)*)G+Rt z9V_eNoYT8bjfsfjDln%hF!wSlKjLUjb95(*aI)6Wh*vX40;od(K|s>LDfHyB$`3X$Hm_8zOa_Pee3X zZ}@OVEcE7;6T{ate>ML&^8Qv1BeRO2-W8!W3=Tzx>tEP1#IX95n-8BtX8xIwY9cG6 zE`ws(6Xb>vLLw;Z!C@>FPk46UbyxCHV{J$wRCVuj#NDZP{MOZV$0fSp%46YY5Z!X# zESbOxCa^U`c$z#RI>`-L)-0q)p`PA6kI{9M2NfhRd&S>mIo%vR@(79rZsCh}Vi}ds z_P&pmo#G4rNLooh$9?jmF087O?^2y-2G2{W1-}lT?X^DY^_#>$D_ni?4d_M^_XDSn z`I=d{@Zr=qPLcca^!#d{-X@cS94M60wtNK^NU7y$07B@AsyyPnRUa23Cc?tPyqRM` zcUZTHrk;kwhiJznm|{s13KE?OJV=b@5O~3$S=liH`4`A9{hUJlmT2ABQCPi12SV5+ zGzBDv4iT<0Uu8*9z#i>_pRGl_o4J?;HgT1k8tMztNUg1%y+Ut)c9%FM(p>)Dwxr!E z(scLJX?*FK7z5PX4zotDI219}%NDe1(MhFDZ`x%B0u0MM>3d=)Xv9CrJ+fXmQ*_!< zSY&79jJB1~g00+QwQm@hmv@=R1?mXu@6yalb}a4jDB5SLVqwoSBT$EDB1}H2{N;3+)VY}X(INHeI>A=8WuyJ6kLV?i&mZLjWgkH!N-ME{7%=1l+ zmsoy#|?2mUK2ey2y-}i_N8UMUzTn4vnJ@0+E2X4ropjJFJ_qBDbey`Ca8Oi~rLsIM`Uu1n3|+7J zq+x%<`tFloK}DmEPsLR5QjZ5R{4YIEruEG`5Z-hhyB&7Q{y~Snh=8#6@`GKV zct-HwBh~2*8+|osLHu6ED9no06`Ti_(B?1jSb{UxN@=)UU#r1&l*MpO=ANZ(TKKGwxF2NZT!Nb$;B(2O(~g_!z=|d zFA@*+@1JPy*pX!F3@A

La1puc*-su6O|QQ=^PmvO%*$+TSwObkQ&AhV}7mZ=P+)c|+o3*)C z`|y!Lfye20x@ma_g@m{YXTJq>(@pVpmeercc_jCC%uQfzf57P-gOZ2tBpKOX4cDgS zm1HqB_2Djgc$J~UnPGR5b2%3?{v!;^$JUX-mwvA7v-`CjhPjTEBHN=YQcrOxc#kHC z73!3!F{&yE@o$$p>@KduzH~di;RR#1r5aHJ#wr&ESE|wWZfmqU+cj+&vLu9Au5E6NY#h18cq8xj%aP7Y2DM+@_-!jLCDA{19p!)N5|;2@t=f&vS=Do& z^fmL$jc-(z+!j_#tn1DGW&M3H`7NWX-j*rWs8ES(Y_ZFG|Hiq2%b6>A;^F7F3p9)i^ z_S=X8fvki$+~?;eJHv+nQt?!hym;Wb@t_zfo)CMghRAb%i(`#W$Ikr&*7gDe z_{Jm}@X5Cu0ReKn6TR1Ip5!?IdkR>!&B4gV$zUkEyu~&TvWv;LB&$TI^7tgzOhsHx zaVj8Pl4EB`x*@)_Zy+7C^z}DOkOmC=Zin576f@c{5DX(m#3G#@;GLGTHl?QGKqb8V-t9Vz#912p8r|`PK1qG}(*2;@-g1^y9PZU_5|1 zk~>7?mEi|3^hOq3gBsVUUOV`5=%M^RMmd_PV=K*82QGD1k*=w(KXOI)PR(#?9nHQ^ zb@%xtxRORsCCxnM`aJmbmCL>a+BZDEyo48Oh0}}0)pV?;80ZMqGVs&~FQMc7{?&D^ z+j(%WkJy(j-&zD#%7_W@Owk(KoY--2idH)$Y^~Sc0F`yBnOg#zGkwjMoI6M1;R%$f zrP028SNl@+OHPY@GOMa1{Y2HS-4`tmd?Ct`J@YR6PTUyd9e33;Y7dMXYq^akZPFY4 z4w^Oazr{Z}DEX+p<$26(Yu|Och65=wwY9mF(a2v}F(S$43$B=#|NQKuE25Gfs(LRZ zFrITU5A8N1=cMGLLoYvMM~s>5i5`5Y6@2;RjxhnVd;06CX|5|el7lPagDafVcS@JH zigO1_U)SP3%@$w7){|@?WESo9aL3r;o!3?|Og+1KTqo<*>8#*apBgxv8MK3c9DZZv zV_z{PpsN=p*t5qVjgl<$aXckEgDa|<$A>>J#@a(gW3n%DxpvRDZ#S4YMIsJ}BJQd} zH1<)!_6x7BN8VX_)89Y$yoYx1qR1uvWcqkW7Vd8%)Qz9YTJXi1D2^wlr?(m%Ix^DY zQWF^}zan)1@~0T*BVw&QH}OC13u`1xtfI{MeEyKU^hH6$gAgRa1s!?aO`geAMXo_Am7 zyvBBR#^>3V{R{XbB}SB-Y()4eS9O&%wwtN;v)&(P$jkn~EgYld_anXewauu7he}PF z_qp`e02eyf=}Tp0$Aw1yX3tl??adygnG#r+EHv(!*6+Am!pflXrzJ&0n}3vn(mklr z+DBJcA`>>l&3^UQkttW1-bk}4ihE%AKI!~>dJYAA5|OjdZte;Wl?9qC)PZq;qvcGV%2)xi+f*g&;#Mc!lL_Q3W}qM&=NXP zkxtMzr|&)k=u?(-AI$fX_r}YSdRLXy|Kd`@bfPWtaFN|-Ycz&8O=?r5+)*IZT%y9i z@gro0Gj<8;$V>wTe0cZw>KYRBiP03T2JUa(LgNbU>vAg0!pp5sq@@#yIHU{HOI8$MP)eO@H({rtd-*hN!PEigy~z=^e-x(%XDG?lqe9)OdJ4lVro zVgHi+^z}rD1WoXX_R_@^{Yy$v$~(BMghrIu-3erls-yXiJ3`kM&kZZ2egt0`|K35b z5`O7nqjg*d8V73#eyWpPYh4xv84!ge)NOI;@~a9U%)s}=$??mxtlG3$Z`7^5mG)m- z-QoOe*7Mo3Y8s8G)uJN}yM>%L*^V>rqnOn#l+3bjcc8B5J-6Doyp!4CP~fIk1(%BW zyyb=xUe#WeQ+`UG5%E`Uj$Jogz^^KONmu+@;HI|?}7w{ZF5XQ`-!xMj|i8LGU#nfqSBqytRL1m}V@~pVj z{6u16qbUm=1pUMVO-vc_x+!%>Fi1+XaRbYqyc#JIH3;dOevAM-&>s*5lq!FJ=(57puWr}A-Jh8!M1_p?pb z>;~z~%Cqjb)*OEz+UBcS?asJ$Lr=CH5#Eu(H;Gx$R*?xCavwp@9+4R`0MIaymU#CZ zqNb7Dexo`6XZH6>D;e0uiU(9PA!_D_sjKzJEU-x#ab)*IsDJ!2dTb#p>*kq(zKZ%7 zkJ- zr=hZIKvw#|j?(wh(#PKIsZ`h$ci-@RCgf~ECzVDDld8@PL{Zb#@0~u;pG0{Xz{BGy zpg!g6;;F;*qIl3|)q!T!u1@;vgcg8u+HJ3LwSqE?z_#& zxrMZhtUUe1%~*KZ$aYO#dYKqSZ|V2L9sSPQ#VkxGo$SL+0>9>D9Qw{{Ba!+pZuh?H zc#`#;)D`23g~vWWv)L_ly;oQCjq{bN&#wZLG9B;U(pmaW;N7M{S?zjOxiA^V#VJg* zyDIAC2Kl8N3=OkpZ&e60<;u96u>M6yF$|^n4}1}fd>JL{Do)c&QIrYq2&P|4zftQ3 zjZtzudq+>$G8zx@aF-sw12GYe*A@l}Xn6|w`lPn3{+M@rm%h4#iSiojj0yYL&?Rey z%UjoK+1(GOB)vSh(|v!)>WtRdeC2$3*?>*j-kvUJp2l#!T13C|e9Z;B8&AAxZ(8NC za=RPWtE`nD+*%pcF0)DInA@!T8uruM$8WK`Vv;crPQ@>HJ;F=I>B6?-l}pbFbBh&cP2hAnc2 z!Eep$ALXe=YEX7`t}1W}$C>}qr7>$r`)%yFb};?^C!CR#^4Ihad;;UD?z2#e1zsAL z3-%rs%f90krydwsrlgm-R)a=Wb`jw+D#6*zFN`pE~O9mD{aboAE5|N2$H_hspGdjD~^glAM9e`ZH#E z+3%cw8aXVj`l)K`G5hoM1@4;3M)r7R#Vp(uakie5BTBOW z+%|RnBi#?yioEJtwU5=Xgtswl4~37TlZ{gTs-=0a8JnT8%}d+XFIxTPmR}G0`^S1U z2Yy}E5qK)keJr{%C$p2ec!%`0g|Y++M%BH8_OiaWCs1UI8KRIQ0UKn zRglS{yIy)0)3%izhFEVHd zTBs5(*f{#>`y!cSN-v7?d;IvW1*%h#g8C(7$fgpO29J_L{&rniK_E%w zu^VLx;7FjrU!;$E(grHLVc|amRsbKv3{)GnrSmrc{1X5WMOtHTU?tc}eSpHOw;op&0Xh;94vGF3{;gI4O&ud~pvNk}a zWI5z;PZlX9z~T)b5W09NWP8woWqvu8Db^3DP=rGa*cvbsj+OSPRdI&tT&m`pGs&LQ$wTt=bV>WoCanisTIJm-~6JIjCNK;ql=u|>uD=6W^mOJ6LzH~g){{VxSBlX+p@&C;hS;bLjHG6Zv;8?0GLgNZ)M`!t@fyplByBSw;h z6lc~P@!X%Rj6VD6k{@-~D|!BJqE~Fh?@u(6GsB0}_3hmrp=l8UZc7>xA*xEMsuFrl zm7F`fY2O*Iuv#!42n!#Pwr43;6)LJN1@%rwDJOgxdFEl;pW~G*sNy|(!%gt&)pFKV zEe;hWT9@F3=XCgkdZ&mkhT>pCbL=nY5fzG6eU7cr=XxL1(SOmh?2=ABdz`6BVcA*F znU(Wp8S-@*0+5Py!yYlnK^VOCocCUD1?TE|s^%*n+7E8;ab$i*ozWhs%u?G|DXPVo{`eTqBhcU2k)(Nx_|R?8a`UK*b|J!+c!&N(*q!1b&^Cz$TRM6 z$FSip2v?-8HoT;@Asn1}sP4!i`+C3U?|tkilSQwvqG#+MpLt_@VV|PYBGay2W|%ywp5vRdsI!hqMxHXz#se?!tu~_PY(L~4@XI!L6@N`jkZ7@5jMiC;QTinuX4M z91RKEy+{&PY8Gj=EAb`zs9uLo@uI;huj%^MrY2*mzew-nmhxYo#Z+BfFNaI>nN-e% z+mC(b>+2xLbv11YZLgH?;{Eh`h1J8}WdBv|gQR)#U0b8m zuDn_gUzIOCIy5&+>tT{?Z_ZzL)U>}%?V0;~O62KZleKeEA0BHGbj-3Bg{3Yw{uE)1 zBxa!yjK#ls!rDY8-ZyXJrnG@izNvycx7CXryY9yX6x4FvUt2!`2oTu^`FlW%(lNA! zVCTS?5a6k@pN|;k^%^!dGI{_DXC!;7Wo;}Yg8_1asrK7}CkS&MzX0k>jX+#7*VX}j zMF7XOOgd64c{5GCzJ2c^PnFG2e~lCy4J~Bl228PRUZ7^p$CY$!{T?_0yusbxQi*-Q z*iTMAbWKGtGl0WR?sAvDkoLRFB`HD@oE^6HfKWW(eTJ?r>>q0h#F7K)km5ruDhvcE)KihjCfin?1#nYWOp4mE z5{Bc-_)Ogx>%YKsw@x?dL9 z_y=Je`0N__n2;`BWrz^x=i-wqPboDf8`j^sW&mOu5Z94wP~Gd29908e?0flBWNwuL z%>#m&Bz;HRqsUG?kd#80X4^4QZf+tNPkijXvEj{x1f03Fnz!QYU%W`@e)RmgI8b$B z)$(mZ;UySJb-=p|wD24Fqre9|je}1jfcrs@MTHV%&>lq1;9-FKV?lW~AsKEp>~w-n zW#7PPTIA`tMgI}Zt3LsenxrGyeJ|&3ocD=02{_Kk;JGwssYD8a<$FsSbdUSsH^^-9 zLha6{Yzsh;BYyJ0VMIhk58#W_J>LTq6Q19C{pm0C3m;lc)nxn>n-zfxe56RuZ+Isg)`!L?yD+(LYcD zb##OrN-qYQ!$oH_jT^~RX3(=A)86JU;9U>$3<}Cuh(g_5KH1hQ> zfj|=#97n`!0%K3aYPlML3xg|Oa127gy_|K>%SRe04=Vw}gut|)MbJNk*@9BT+hn(` zV^STc)U{ja^upc!39IjBpr)KO25b)u;DkW+#c1;)GK>Ti{9~SdG)Y@Tk4BIe1mfv| zmnF#i7dCf5xv)?AZT$hJ94Vk_RpGY(A$1YyaRWocvVir%idg;Dc47&jtO*eQ4=B;W z?a9zxqH*4QOUdT$#Ubf$`=cPuL_T5(u<1j)jZ3$=sL

  • Joog*5LFIIC2v&sI&z^0yrsg0=1S-bbTTMz!^%_O|P-L;r5HgrWZfSs0>mcz#h z$lv-*#U%*jq0taYeX#pwQ$eEl+h46SK2k3~gi7rZf&~atlfumTVD>i`0-&aw^dXb- z)XNw7egu_8ar_|W*nqZ>B?tgi$ye94uq*%oXkDnW!!Wf-ux zXFr&_n zKx5Y;1}vE2Sw`!_nv3mKi`({~CgBTksF{y$H*Sys`w{UC(hu#B)dxVLae98x!_Z3R zGzDHz!#V9cac(QNmnka;YdHVxj^PUWB)f7(DoEvMb5*Wc#tW@#dE4M$WZ}6pec(zN zPPBDGd&5l2(C!D!C$htM3cZry9i<_-ge4;<=iRmkJ1ntFt3u@>Mlp6(pltDtDj0Fy zVAYEt-sFluvC`r0316}925uotN#ubH-8mR1#HygD_hz784MbiJAlV>2d?0ukae=~` zr2FCKZJ3cDA9NpJ#WP5|2SWvX2G0t6Pc{fXPdRrh=tgc%`pEY)D3V+h1l|6-sFJ_Ht=I+w+M_RNeV!MCGYJDPvSJFRRl{c?-lzV98x zE-;>TwmRCb`^yaWHo(2Sh-;7pMzIjlSP+ICDJcUn9`wo^5PbrOr|E|?wqnSQsatBF zcj(a}@D(eiK7f-+tP$mx4s&2W+d$wVgK*Xa7;G#VX)b5D3M3qZ#?#t)cPN0#jlLhC zux%zk;awdzv4JOd1-P1Ke{^GPXM1zqT*aF$lB`J2PWUh6@?2Nz>Yb*Pd z7P($UWP~rh+r_R@(CMWxEncvAqL|>d$vNc?!pCXY*IT+dDdJk+eDumTYxTq=E4Qpw z(Qc4DSW!{f&8)|Fm%5Hb4d9JK{%5doEBXk1o&$0L0dLch97~Y-Lx4`C#78E5&=Yo1 zhDs4J;DELvQkATk({yE}+UM`#iib%Fj+D7S8Dj`MJNkPq;7|@gQ9MXU?X%I9U7*@! zNwqT%Oy2VG=jR#qrwssdjL4{ehE0=^iH$#&4T228i^RJ;1Oi!5p%DOU%>K64xv7~M zKUnIWL(*g*89?GA56;M)CU$L_AXtM$RDsCvTlMC*Ah1nD^*{_mm_Xt z#p@rcOt!JS0_)FCGLNKKwfQxMfldJ@6R$XTUA&CRRVxO6F6zw(lp%8&a_z6(yejLv zug0~rx3HvDzl`7>dtS}rVI`v-IFD(4;OftWGx09x<~PQ$D}k7TW=Vw<4(7UeIX{vM z+dvqB<5p59cYCuPx9#l@1frleZcM`G0Pv3LGf~X=7d52l_%A;I6q+S7p z$rdP^kYN!_+nL0~XdxwY=@zr0pnwu0u&GIQIwzrxRs=o7lN~5v0Gom|mGCd-JIHCB zm3&TxSsm1WI`igLSs^i;7C^Qjjtb)H!#gMoMS`oFn+7<%qnH4XK?VxGd=q`{Y&aXB zqg@12VrM}!4n#2^0wen@kl)b&33ud!jh>qM`x^Yrz8X>dyOXd+1tG?qhn0X;MS2OK zg|=373ocwiJGRL*uoB-xaBh8=U4;^9yn>d{1SA_s=OUmema3VfjyzewFa(7SK;){! z$Ux%U0vv7>oT0KlnW-5B5Q>TTr?r!tstjm*3m+K?Tmhvc7~(RkxHuhf{(&Im1)OsD zR7lYjm@UX($Z0+^rUwAJTvQ2mp^NLF^Z+KH&DM;OiM$*(K~aU=+HcjX(r&$r;&Gv( z(=&EtQKzeGCL{|3zO>ws_P~SIzsPyNT757VZ?og1#kiF5I%%NBa+~+>fhu|@dM7Sb(>lyF4eH^ZK+iP3DD*fn4a@yiu^JeOkRr@}|rF@sG28Apo%(R|d zzkP%T;$+Xz>b2m=ezq8@5RR1twY>R@K5TbdiWUzum!!br&|%f`-I&vP zK4R51-{;GS`H^H$aL3TyZ)sUy`RL?z*Tv$?)$Z-mv%PBe<9pujVs@X9XT6Tdy>{)s zK?VKeJN(Jv!OJS47|fH*v-h419Y&wg=w!^2e+L&iruJiZ~)}`eLW`%Cs)Jm~N5`QGE_$EBU)8y04yT z-fp2);WKXZ=>I{M$DOoexLYC zeo~g@P3L#heeH&meq{KW{%I9v`IZrFgy!5MPCRHr@2&QHc}SwlLB?=!R!i`JGnWJ7 zNy-q$6u_upula3#j9Vs5Or+~Pjo>1+gync`NK^=2Wpz@QEd$Rexy4`iWsc1HepUIY zzrLKp-j>N;QxT+=VZWwm<`rc^e7pm`jEF`FXJc<~JmyUOBuRg-n_T6kXgDt3+90D* z%w~arixty$!;NH~9$h!d1xH3W*%WKF2)#K-xs#Pl*W5Uzs;&@G|zS6 z)VXD{MH{Lo5|kGEA(U)HH4{lI4(B|7;EmJ`oxiFl?2jM8rn@9*>!Oq#QuaEf#Ja#$ zS#zQy#ha<&?OfuZH@-3MwvpWr0_r3gt9}AiJR(Ws<@tW9F!hV;2QoofvMKX4A7UDI z?5x5L7epg>kLu}Fyg%)oNYZV4oXJRB5#Ddenx@K5T?NGkuIZGEKRHLk90>54723{4FEsym1LdB;I~+mAM<|Qk%{%p@#OG&_)_4g019IlfTAChN{d)thzYJKF0RwfTy z*uR6#^k&zJ3Xe$qij*?3hDpD&634f`#yhtkNGHpgj99SEPkbDvw2i>g>;#I3)xwK$X*e0R!91!z}_fCbgK25g@{(AUg9dTEdg+qVk$yMG&JfxaA!Js(KS z1ABfDyqTK%oaG|`#k{}Om<40gu{=2L9WuzVAbmcJyrPhZFPn-tlm##$761f#$;jKc zZ;|-o)tfi{*;L4Jk#oo=2(i5&t^o~u{=d3q(MN^j6=SJT7$LlM2uJ8G1f9a=4 zjL2Z*nh&o`z=BzqCyikB{WPh*B|@$*_v&zExMO5b9!O|)@BQoWBzf3F1he##@CLdg}Pu2c1?Zz238K+XO z_b0EkM%lJ%?}gXp)4Y;-kWU^zBCD-V-Fj4i<30vMS1GmgsrN{xvq$b)clGw;xf4cC z84M&`Un`fpkLsPJc6KpVQi9UVO0%cWKeR936B)2uY-6<_E$W@xTbB$-i+Ep$!{;hO z-D-|^I)NVJyhz5zq#B7;dGqf`T`b?kdU8y%a%tV8$mJJlzNNvP_4{-fT^u4z}06Q+H-Qjg&Tx^s%^`{LRY?^4`I;F?d0j;!vA^P$|9#l!CsMte~iSw1o)1G#zkBW06uRsFjRdpI#sC+#hm zcxMu?@8MikH|_`tztr<5PuWvmHrdaQVtm)pmkyK#Nptz4us{ zW0Tv?N$;ttiaUi9Ja2Rko*pIb=r;{L#G)8}$x0SvfCO$qN%S<-cvu)1jv_xj!$*Ag z18H=ijk%`~W^XZAZoBTz^y{VomB9yEJrPEIROKo7-R+uC!*`>k2xr~fUU|Bs z-+I6dIMkP@T1O+j;zJPV!UCP(#w}f}l;|Vlfw;|W_^XFptSrx?Rob}2H2ZlAVq%OY zIH_HK|9Z9QLFg@Yg%cAetRIX$Lov=>DOOvC4Eom;Wu1a&yhbtVgCPy0 z)2?01WK>S#6<1$o4UrK@UcWrvDkpR5dH0mKgEjm1CEpjm89irm7u@6$JZg2-_puL| ztQsTaE!$Y;*{&LX$a~~O_aGu8`>~y*pz$wvN+uJNacA2p8bf~RPObew;uqfE7%!Jx zz--7etKle@Y~r=+ISw=)F|AN)^@S(Ii4B}}DWJCEY|=HjofDhPe8=CS<)~hSxUw^B z<`iZ+Zd>`9@@H1AuD#7dF}+0Gi$YA-bHa?r3}qo!j2N`E&Mwd%=@{c1&$AKDrR+*Fqw8+-+JF$}?|JvN&h8t- zbGSP#Y~RN?JmGPQ`J2`#@N4Gk@F8V-kkZF^nhzDE!qN^97~QkcVrq~HK&1f}vkH=< zP$92XDk@a!f3)WY4Tr~fkp3ksBXMY-;=)*pLW98=&tq_1OK=W+5zcA?vQF5nr=IK1 zDbLTedPrIZWEAON8{>Jt*^e26Z-#V(ha|{Z(&UtaOQp!~>#+2w@-f>cRNFdp<(iU` zYqomjVZG2xbQ``>Ea+xp%pOU!w};`%z3mVG24{H!ae5&azB`Rk*CH8J1g`NfCKU=# zk@b&L@7hn7zgFCL7?dcD_!H@sY?PG|5M9!7UP4>Fib<=uWFOlvat~XUzdYjN?P9SX z$&dvvJthykRG}*~sNO2#sAU2CkcGo`quyd_6(ka9O=wR-4t?gG#yc>5^ zEV!Tfa&KSCR#pHvq>Nji;X(|rxm|o^0EP1DLZJFQ zfSQ5hFPhXk?t^yBPmmlb;kGl?5txVROd-f5n~Ej|X7^CC@{u*2Ho`WN#j>(E8U6@Y z*7J7VP*Ruwdu=*=cG-9_A$O~i+LvkWRe33DvOPmMGU~Y-n?m}R8}=Spc`%YWy`zTz zZe}|8NG6OedsVnl9y^TLh%|y~`p$y>pT~)cVQepYBtAa1sS&S8+ozLPl+(nP(pUYTltGt zr{U>q=&0}GyhU0E;#W-zD>RX^+a_{VR!VEVr^Q;X1c5 z)oT@aB)LZM9P}(wk8h{CvJ+yrtL+gBl0B8d7(F3lD)9&x?AuIUcdgI~i*MW0mlkGR9Ay#{!+aMdd|m7U1| zMv@MYPI1&)2s{hw8T=R-nARb%7sU3M&W-<={oq}LxiB&)j`V;jQE5dt=%ZSLKzKC_ z&y|Md?2d9l)Dxn6FsupWmVIf#-0%f);_G@f-3Ojp#bM-?KD<59(^f5<#>GB(3qahkLDy!rL-{oH|=EYrDioQ?gQBvQ=g@BVYeG9KH~Ts&cUCx7v`SR~`g z-P^~xq|oTeLg9%oDE~Hb^D_^VQi0<-tL^*XR_nm|$23E^@;p^Vm$a$aW+`{(dAcr( zS}Wd%fsYXn*~^8@QtiMT?l|45(lC3y!@vFgn=_Ad!kV&%T{gVV?X^&6SrH}X#U5H3 zMoaTd5gU3u_FaAAUX#JB?`~RAuHld)=_%i0NtG-Sbf-tKM=}BX=Y< zBCI(tc1`WQ>)e?yM3C2DI~>3}dNax72q$lrjE`Ao7|(@87byDc`08-VasK|BoJt)I zf7bISHT)$dDC-%Z`7rPjeSeMAwY?Dr+(h=KmecF;AB0M~ucrza?e(irYL@C{m z3UhX%6ZDY#I@3|+eSq(a&_ZzLQB4audk|!a%ClLzY_>Q+QAL{@sK8oa=(koS zR!ONy0h%`W7$n>S1}Ybae}QaT18l>v=7i$Gy7lF<1xvU*!ajmg!VNHgW?+bZN`;s& z=!;qe5ea~AY6B*#XwrqecY}hwz@Zo*`T>x3Qb6)#ckBjB8g`prvzl&@jOYhnt`+SI zU;UyIyrX_RGa;SOo-c7UE89ECHvd>j?K%~)%pc*2;at!MKkFi_Y zeOt1JozHZpcqM<+{^os*pSW^B7~kA=D(0YhvF%n_Qf~e6muA(zO&e=6ADfG|uB!dL zU^2&~#Z97ngl+D3S%*^tOY^}#j^B4%$8LjtY%I^tj0;yIcyPE$x9~9gJ`#nF`Rc$u zQ8D}!aVq>>*+H#gb9Xg&;SjO2xTv+N2UBE{hzh?-4-t0zXSNgtS3#D;YUba0rUP04 zh&DOl#4w!6uQ%XO%{Z?$xq-F@t8jWjEpoKH4vKEhkz!J>q zV5ogu?7=VmS}?>1Zr-K3cv%JQ>^YV^Jok_MIH$sMv-N988b(fV(|?e?rZz-i({8-S zd(QAzU4oI|p){(AwA6DZ2FkDaNVO?AkqEid(1dIe=xKQCIEe@9v$huYoyTp_?r!!a ze52msl`L4s8TI)(I^N%cX!SBALP{#eIWsCcM#5t3a9-W?j-p+jIH;9rJu7)A{0VT7 zgglqn5_NtQEcQO|#Ex?V$( z9nS4-0{;gWG`zV^GZD!&5`-3I-MbZ-_IO4x4pVuSnCZ&Hglm3FMV4vK?OGxX^n`m66M!K*inMCQN!5P)zsHIpMDRKy{FCedhQaH zt+a>4!QLq#Opr%iBP7n0!U!|I2R#24o_Fm9vyBO&qsQvh;u?UvSKx1~S4(qE(aD8f zg-Azhs|+mBkqagWmrlSW8OceM#tH2s+j~$#>H48WIUM*;=l0J-jY?!w(GhZQr`=KU zi~8;NQC*uq6j(1TKljcZPH_62mHFkFlz@|NtFH5&?(=q=63@U%7=gNT`+ zkdANRp94l4!;fTgds)mCrfy7DnuE0>p^! zw8$36wv(L}>{lc7GfxfVV{h;sk+z9Ku&j2Q)&6|SH zd^rL=$p`0EA`+ti^y^Jz1sHf0kAGf#OsA`E{hr!FS`;(d4=_*r;gGu=;#e~gS`=k3fgK0ypN)rZ7EV|dIz6U`xb|V{;^GXMr?kl7 zC*`Xw0#঍cZwzsy{!`|+pCOorepin2ksP~^khyH*1Y;AI|55FLtp^cq0TPB z@d|`?6pGxA;AFgrnnSOfju5e{cMR$6GxVpSoW6QXTPY%q18Qz8 zS!Q2F@ieIhM!%oN0Ffj}<%SQ3ys1r%fwsCRQ=SZwNiv7J9xc@9Up>9~K9PyA)mh>7jgTQ8ozH=Eo2#~M z#nmhFe%_EY-?^61w4GLCdD21GbZ%6asern8o1pAzz|RNiPln$#9eD;Oy!1*|Fp`5c z7OV}Ba21lz2Vr!yc>wGP;@<YUg|W{N?urNDS@Iru1Xm;u*;vsryFxNmP*FmhsfZ-@r>KBayM{7$r}mxcSa7NqtxBLjOy? zMM=?b#b(kG{eq)?r!m)@T&Uy|>$+Gso7po)D||Or1Ath@%yp}$&CSNLCuXw3vb;dw(>~9oxplpCjIW@?w5=U>aU5s=5*<@PAA&B+{YA3 z7jj56@3CE+d2xmFr|GR9nD_ z<)7l@-(RVzVE=ur4@7ldhXmF}yQ8qyeja`Je1gt>*kfSvQYth!Ss8IubH9o`ig$Tl}|rRE+=Po7MyUZJ*#(tVdfVNeE&)%%_rgolEJcf z?9sqS=x?%b>kbvyw4lYo;;q&%M&`muyIeAVe7^B$g#Ph; z{^v5ODPc+20-}O8AifR)QXmjZXJcc7bjUyz9BeYwp~DBD3pR*P3Vwa!;4T^mTe`p( zQBesyILQ zC)FUz5g~AUqDZk#`IE1}wD}k~_dHr)_5au*W@BCk2RDIOSSX;fh4@T-Qgel5DdQnjPH`h)lR<4C6%~@14^eR^>}gW8oHVo)S;C z^|G=6CrXVYb?zBQRmxLu5&}syN-Jt#ystZ@r-*Kf_T|>KDy-w%^Up6v*QgX-k9KE4 zg&PT;1Z8J)U5zl>AakNyjk8NsN^bzEV0BPW-k9sf0hj6BU2AkxvIz^}I{c5XLvBUa zfODG%-_Iiq+DX48emZ^$EX6IwOFx_wPRQct3FEtDl*V){+LJ(hd5NzFCyvQvN;&g!@ZGuG;w?( z=nwEmEL+geMCLNEWfvmeu~*o_^gt9!M>@oyB@?NC16^x3wmE#?6bmLCY1nhPI1RxZ ztn$UOIUzNX3R!yIzmHc-^c1gJg8Jv7IwU*P)0Gm zzMP`0ZT3t(wSy-a)x9U8A3*0U+qy9NPszLYbtB)8*Bjd8T>t%;Gem({1zI5^Y!m$* z9VgIU7#dsv-Z@BYkJ^D?yf4U2S$V_<}M{2pN*{P)vX1;oTdSl#=lsHsFCM+JnO2f0tCuTMJSWMGgD z(^RyI2JUh?pn;sg^9T!r92efIC5Hejnf|vskf@N$1h>}PiX*S%XB@uTdTqjVScVZA zoYqTyjSMmo3NIH18b}V<_8}8f?$Dl{YmSB|MokKlk%5iq!;{v^ou90~mA$|hGn21`AFY6hZ%d@Yj_n$`$5S72`Sm+KW4GqCoDs8SLk@cYD#2g? z#D~l>8wCO3$>Ff>ILET-^9S!WaWSP=SPY4Go&tH4LvjF1hJ{plSYY-<7#mS&8YM(5 zm>c80>A6BP#C?FB%Jpluc~JdfOn9Cb$Dr+7BYYHDYU`u1qftY*Pfe6uJ&i0 z?G_D!;Os;hm|k=DyW@iZQHANB z8;7nDzGh0Qo+X<^gVx^5>!G&*I2gsJPXkyHr51Kbrh(yu1XCT?1aMAKXgCgHOH)FeWPO;y6R%a_tRAIcr4F$o>p4&`kw4^D)4vV9Wj{I_+akW^wpltzj;E*EI8HT zO9sCPfxBMEj_&87AH5t1azsI`SA1ZFLBIRwtG9$-N@{%d83-qKgvK}oFCJgQ91Aau zCM6`9oLnl4E-5JBC70EA_j!$nb>Ko2YTa!rr7}|R(>Lf2PByv#u}i8U!3d7|ixBJc zL&W0@*QnMthYe2uo0Mt)I}S_r&)fUg-QpP`_;i_P;Y=FW$AdfY6T)FuxJKzkj*Blq zL1Aplw_0Km778J7n(j@Hi_Y<&DvMd$=nmNdiT$JN=<}ZE6^BD5=p`lcs?wuvTpIp9g18^n>eln!X;TaEnp2kJKce?JhWlZ`)sCTcxj1lsag z8dO*qR6@)b!D(aRX2mhIsQ$dU7I8LEO(E*8wj2+zdOvS&k^JJ|$?jv&BRw$spjI4H zW|54U_=3)jwnB#K964>Wp^aPR)Mtx=1s%D(&kmUqHIwPu!viAdgQlf<{#T~k%>&go z|2n{m1;cMDr!RxD%V#)rCp!QiZhL&}1uwR*$;f%4&tO{|-9Uh8hYEojYf#YrozMAy znj}BC7Ahm`>W-bN_ZK10@KZ6wTR6B4%gh=bEV# z>eg$kesdu+p^&hr`!lLE9tVbpSFjwRppK?I!Zz}7%$r(bJ^q!==w z*}M6jlLsUZCpd>&puxTU*rPRy_&D3PI($mJtkP)-M=h7?L}4YvKeqsSh2!h_=NG(s zfC~VJ0#{Z>Pmd1JipaKO0))w(--&{p9bkdw;eSZ33**T|h%_?1z0Zt7P+;i2Hj&lY zLhsFq6B`&xzlyK9~zU2D5oLXat7LbQjwE}j5KjMRLH*nRwolM9z6 zJRjGD&kna-50}iS(Q(%3ZTPPj1RJd|%)Vw*VB8+OWmCCRVsa9k+`Pcq)DV~)$a9SO zQ5HM&Uc|mBVOc7W@rGszm%+bxbA`@oD|_fg|S92 z7uxZ^AD7B~zT+iOpBnV?Ev2NfilO@SI9O{?(pc{5H6&Ri2hGzdyv>AM`@csgqjd%U zKa)=iig8!7R16jdqoN?IO%X2j%?>swNGk>E#3zJDU!Rl#sQd!p-^{-i0BG|+MU13m zYOfh`b@%l>wzAdBA5?$Ors98CEcl`;UX%=UfOgj|2L-Oh^TQkH`p>`=Dk#F2#Yul6 zvkUuu$BT+}JU?3Cm6!PuORGeLZS-7g?j}FJ`rd~SX@_N=#xGPtZRsHSpQQZazn{GV z6j()IcY=WQa3j5$Fiv#UahuQnah*H4UX&N(Yxxj0n{q1pDWQywb@`@z%W3{7vKVLSD zh}9=5q8TE>@KCRpWa<8MGW>b#=w<%TOQ}`^n#wyrL!~EHR-Q)X3(ZQ)FfPVzUMODz z=rM2x1wc&u!1)0LUe64bfY>lI$bh&6Q>Q45PgBHTCz`o?Q^1MMG3${iP57gA&S3Zz zG#^adU)R`JF%#!H*Hu|qc<40y%Rr6|#)`G|-Iw8oa6avmCHGjZ|2XWvATc@Mtw&1p zU_+%hW&$1&vEmM(f1*uzx563=LBc<(0t*Tl0E=&F#0n6&*yC^QfF(pSiW zpuWgJ8sRxTAOGq~=!ga_7Gy>RPt9!XV_69d8_)zcpR6h7I4oSfQ#u3l0x15?df>IL zxCw==+sRax28au=3%IRf!pjOVkeRpL8HO!We5Med=pXziJgJ5g9*}@9JS=u8z+@Bf z{9uIz^i3QoDJeoQM~Ams0|Ya`A3_ku99E9t)`*;}b;@&~08S-@)YZNWe3@pbHuJ5t z(v?o)yKAN*C-3UNNBf9CanEI`?7)gt*9Nfcs9pyA(G{c?tql!rT|7K~?Fnf9CV+Z& zj1Z-yO!;4gC|LS<-r(q1;SkRNgYz9I&tA2INWC9`-76Mj)3{Jb*a41CSVRQ2jK}?1 zn4$4sF}VrE0q}FiMaCZ>iVAjfR3H`yE3Kvz7pgIteValzO>45?GlEW1KxwJ)&hBml zSdIY;Kpu+wRGr+r{$BlXwMux%sLCZ^m$}U=&V;O4uwd*V(Udd z?YHjE1TpaD!;4)f4yrBLVU{B80kaeovw5Bn8&71hsUUF?klYV~K8J~ir~U0A0A7*9 z6fy#Yw@VH%T@;j*Q&WTDR)CjAA?RcW@)3ebK}0BD+Q9}8j+sQZ=JS*w$uvPAT`N-D zZHZpYD)_`()g1yB3{%j@i}JcSIWh6_l3-ya$Oa=rdgS=&xFQPsz&!A5{IwK7LhB8x zPqfhs(DVWvdD!8G%U&mdh0@>{I1VJ=1{b$_!0e)Xjwuw^2*{7K;BAvy6}tdLWdtP7 z$jYK`M?ew~v7gQvhliK~T@vY1ynek;&5y+B@m#>MVPjxX{l!{pJYAX0B_7E!O#?v% z!PtQAb@}-Qmx6|H)m^}v`~jbYshaI^c}S>Zqt{wMq5D3EY;plGaV~-V-)Puo&lpez zeSous?C5)*l$n(O+1ykF=HH(N0>%^|5ZshJf^%L76zDv#YkRh$#}G`60lqS*(>H=2 zR}Wl5w)R=yyWfbsJw?ZzaGqBG!3X|LD0KXj0FDA;HC0+#T1u}O$w>Q*Ezqn|fTe1|KFDW@UOidwXd>&4Tn6KDpOTt*NPLJ=enwa`B8{9fwXE z&>rCZ#$#lhH6@7$7IbgTCg>e9UB3Knz9sdOJb)pze$Afn`jM!hpv0itHl-!f%GtfW z90ch?3jbpU?#l(q*guhrQD^BM*(9oo-4q0UeMM!b(is&)sK--v+AZHHN3e}vD@^!P zLi}%f5X$Spb5FW#gAFUBV3p#ss`j+F6L$M!@r)gWMY^Zk%+g(X-28kbRkS`kd%Dk6ORev_?BTu&46;0u(J=zimvLnoMu5xR8C8N6qH{2+S9T_Z+ zRXtONr;8XrQ9QSZA#3<3rOSd_HYmvX0f*!fL@8vUpz<~g%wHzq(?Mxr}+e2sTh2=qOrx>v9(o;FQj626TkBe>5(fiDKtHZiJx6=qgOm7nw>}@qw&~Xs3lRF0_VRGg@ddU-M3zr^xA#Axb?UE|0-ZolVGT;M$Mqo{r>W9SigKBV3!QCrhz0{%(<;X>}tOrjq8PJ1-(de;V zAN=-Cl_MX3iGgGd4Uf&QPFh4L0u71OpPcOMsW4YW4@sjE%s9aum4i0|jzF$4&mOIS%;elfl2=oWG zZK3Lim{<GBH4j`RKUx0^IhHhYKR4 z+KZpV92yCYkB=kSj**e4FCnK+!Dn^cwdpjjq{78Q=@it*7S?{^$k^MLs`ShPQ#KUJ znOLJyb8zZLs#1V+PX)%_)oXoZ_6U~>St9_Ztz*kftQu6ku-1-D=|*UIFwqbeBin#H z4z&Uj3^^us!Uz^}DP|6*;%MdX5gGVMf*)w|-6bX{dm*_1!KwjNC4<`mCifD!awk9> z#ZNE48OX|r^#uM8ZL4GU^L^|{%Np*664VRl#E+mdTK#VRp4QmP9i%Y@V1S9h^^=p6 zU<8H-r3DV=D&#lta$-`^Oxnu_0njP9!~QdnP}XaK9ME(X#!UarF<|9FVZ%)`1O@vG z@6v#0yaigXNxf3kKcapqQ;9<^#!5WLoF@6fP2uB=eJ5(BzT4K(;QZ*#K&a^X3A5EZ zhmuT==U>#^Fb?zN1IdGzU~~U9dl5}7fd~EgwtymluB}%mWYZU~LSa382z6bB?aYhM zn-G2N9+_tsn!)YX=6S8M3$6aSg8sf*7<67FsV%*&sTuKb!U^<3*VyOQ0ZWF|XPK+6 zg3Td-|BB@zEgSV1t&a|zvrNB>->^tjW{lOPq^gi;0aaJ+ai zTIeRZMlTgq7q{;@f99Ig;*UA5IKhS<>H1W!wVwy48g|6lgiEJJ7X@!1$%rYQp^5Rk z58FHN){7ADfjK1?WE5#+Kn<`9B_OW-fv4~@Qcdcj1?vkI6hWXaxw2956cQs6ek?Qq z?Tm8wQ1u4(w;6IbKAf#*gXuO!cz8=uo6hkIgAF^rfd=ZaK~f&N2nHqHyDPBNgViuB z_3|@dcKY_MzQO(G5OY6$9YJ>;u3rS1H>_@t{L|1z$WiQw0Y5VxLjd{($igwKV@W!0 zdv&!Qju`T!g-wobGZAoD|o7_4+t;@z^23iU>8A} z462=a!z#zmLAhZnNYMe`)bfqzGI)9-4&|$Mq*VmMzVsSYsJe|@15PFO=a(ZQm#v|Z z;uzxU?d|38YTj7X1Fkr%aICg!loSKt^GY}g029$dyB37^ket92+YPvNEpYgembrW! zWLMM&L7_7|;18P5tP&EVg$5-is;Edy$)!OW<1mI5Rw(oJa7mbEoygZQx2Z|T${gPA2(9mir_%QZzhyiTT75Qmw^PD}q-N{DE2cb8sqxGCKWotg zb7iw+=&wBj#ueWU9@$~@oHaBwL}11AVn|wPa5*AN7YMP@qt=F%y%%iAF6X~;c7W0c zxlQ}eK-f+L8Y{n8G}jA^C$LB-pzBBUd4uS?UlW3ZNz#MuFzPS@sRp4R|UDt3i6o-+XeWL)k>dXipDv2_NtOv6r9$=kE|4`-bL$hwcBdvAo zH9x!_ec^sc-O*l0b{>#oAc>k4?E3?33zDV?&-EKOn!o|*a-DOv=MX|2u^byoMKXy1M3+6@4mY+F`(n*2T*o zi%m~Ihvq!Lpu7cQG!_OYzEKO@q+);XBOwZNUlU|`eR0$!`LQ6FGWHg4wJl^_=Q zs?1d@DKI;`B9Z(h+0jUV?E+2e&yZI;8`I1dwJta~%j z-%R|4n!~_R0!Yh9!UM>ELT$dkN#XIHXOM7upbee{0wqKK(I5ynW@bx*LAK*?A58m? zAmJse=mO>%N{WYe^q5$;BSdhHJ=1}8K|$Ldt+^qaitvDaDn}&soqni-pw#@Hy$IWZ z9T23j`0fGvDgH!J7@17XxSHT0dD$LtqBzOSwY-bHr z@jntm8|a6TCcNhN@9wbWPAxwl{oE2PnJfL_#=xTNf5r$;c57d%36yleTCbPFWJWL5 zHxoY1(m=_McSnn^$k#KBirxXeQ2p4K~}+R2%RqgO#%Q6-F!R( z87u^p&Cf(@X=?b(AvE4>55wD`9c;U9%_Id=$W*5JH^imK8JkwyT>*8*|@ZQV@uy~qwAxd?E-glv6n4B`d{ zl#Kx}pcAv4xI#fK35Qo1#z)BiJc|FWcwM|aKLWfUDGUr)YWZQ|;9~@mbCjtR(F4n0 zO8?YgFsSBIVh6qow6MOz#ULd?2n`D0s2ThLh&%|790Qt zj2!8%IPyZ1vQX*>zMH5LR5FI5CGTsTNKhJSI%Et81?8GCSQCIax+2zes8w1 z&tni01oFB(J;2nkiuhavL2`9_yS$3u?ngJhh=p~baTmzTIKVtLgT=&QG3p#`u* z8 zrI1hBHVGS@ecxlu*ozPW&b#ODbZim*i=+y7(UKIaH=xOc_%4>Y3|H99y@`>5WPv0h zK$z+0!S1@#+B6ZoDNHdPpr#!FXAR9yv$e8F^*&exp}c0%{I>c9NY_9xK`0R@=O}=y zxVo{S5Jbt2B%P2f#@vrOY3OPCL*hWd4aR^EVDyMM(@4$-4u_MAOFI1PDAJ&B3w(sh z%$R$&dOC#vkEZK@%DHdw8_FbtR}1?H29|3osN>^gcJR3Y7eDv;)@IR9xsf z9!g%Uk)_+Jz@Wh}n&C$iI37&-1d=6y=tlBu(hxN$2Cqi!SS1g~#MD%6$r<5cAjG8B zlW72r=c+q*?%?hp$3&%pPLQN9kqi!u?RM$oI1flRGTsa_9P~oX1i_*bgnvXQgS;h3 zRal46Z`WV_E`WKKgoQu=<*+nsM{-4RNp3w%MQ+q%d>w)-C3=oYrtq}I=2-nisC@SM zBfc2-lHvGtn;yFNX%@zy_do?9Wov4i9Qw2q4fVQfD>EEqzXQZypqt9d6mVQ|V}SX9 zM%HFM^N?T|ulxrL#3UY!bl4$O0ZEMA9V-oAi+>)-M(^O8U*G*$#MBd9ZGtb@)& zjWYCZpKDK{RNyJ%5A5@Z?Nyv*-Wn@QHu&PL4X-lCgpyh@C3}7 zK#O&MBp2O1Hm1;0X~6dY^sepa=&x@tcYe(_xvW=u?XMhkiAhIhq&BSUA5c=-EH(D+ zc7b!q*kI$Ac0)~FovdE>$D^}jZ}l>>IIvJyS}SqCiDrVTQ9cWhsVSNW%;itde$T<} z@`BfmFL&0;+?;G7CS3q9BLW=Y{MgY@sRp=crXY?1M3K_QvDm>lqfNFP- zj)o8!EwUufKdSi_9XFCahgX>_>&j@$Hl(b_tN*%C4QXb~TTBU~35{@^`C4jUFiP0> z_5(-@no-*SSW&&qB~s)?ZNecaRN#$_ZT@SEWk-J7Oi7f|Av5JHS~aJs`QK(_cp)&B z(x>T4fcmQe7j*;nnMczzf!T-5efQC%Tx`ioNHLR+d;M@f#V{15@<-5t(u3azL3EJJ zyrZ-Of+}iigkvDne{Sp~DkE8Lizn3#l*VRZ^VR6q1|zqP;Nw0w$Y;e!_ZF95l|kC- zPG~4Wl?g!r7?>H6aNa5KF#)_jw{b1s_N_daDdv%KUY%=M|Bj&jBrI&8GTaC^gDiw=zQ|&s z-zw=eyf4SRVeNyc*jzH|UQYrbcAY;^TrHK*dJPtMFR^ge_N+m?1$u2h3zRsAOI(u| zNaNi-4q}HZ;b;kpeyYYJ8r09ruNrXv9zvLDikjQK3J@dz@jz;wwFY^%Z^6m>;o5Q4 zkO`n_y#SDH6ep0#lCRaM>KJ^-zrPNGYC_8#t%LK$MyqH&HBPC~WtM;!Bl^LEK%BFWKy|X_f6~N4=y$+dnW*koo9h)i<5*h1?{@rx z2cw@as$4IWKYW!{qaMY$oqQH>|K%02Kzby+cWPon0hrcER?vtmg5vN>lWEx++v9ilEh>Fkj(uuHI|R?4nLB4`dsgZx;r))L5GHB!yVrFZB%1`jDFpw zgd6D=D|T6fI>mrNPnP=Jb=vX2O7VexUIgmqU-u&srfynwcY7873)mzJ1=(J5Vv)Q` z#zjHx^o<^~BX{s(pGO5B0^%*8^W6H?WrP-ztTA*MkMKY720goK!s7$OkGQ^ZfSl3@ zFnx!WTwCQj0YI?C^5m@YjuzBkPZF#FWs-7@1LK2rcO~ZX2~Y=*38E=-xy=lNr!{uH zt2A1Dos#oecKZ(iymjPJ8D0j0VAsVRZg{!M;62IIMPwoJRueQEQ_iF*fdQC+A&*QT zL#??fpHzpdtE=y0sdl<B%)q7|w_bk|iZPoS9f5`L-3;76@`91=MJSX_ z{Ix_cm2c0DzZQz4L&|FeC?4T&^zv+DHM>6%)EziGp&{LdGxLdXK6wSZEAF62{DF*5 z$N6trFL01z*BIh1EBcvFaN!2Fc4v<0ADI#m72OCqMj0+rh@Tw2q5|G4oX#4AW