Skip to content

[GRDM-63383] S3互換ストレージのCI用MinIOをソースからビルド - #55

Merged
yacchin1205 merged 2 commits into
RCOSDP:mainfrom
yacchin1205:feature/build-minio-from-source
Oct 7, 2026
Merged

yacchin1205 merged 2 commits into
RCOSDP:mainfrom
yacchin1205:feature/build-minio-from-source

Conversation

@yacchin1205

@yacchin1205 yacchin1205 commented Oct 6, 2026 •

Copy link
Copy Markdown
Collaborator

Purpose

Docker Hub の minio/minio イメージが pull できなくなり、S3 互換ストレージのテストジョブ(User Tests (MinIO) / Admin Tests (MinIO))が「Start all RDM services」で恒常的に失敗しています。

minio Error pull access denied for minio/minio, repository does not exist or may require 'docker login'

(例: https://github.com/RCOSDP/RDM-e2e-test-nb/actions/runs/36359861144 。2026-09-21 以降の全 7 実行で発生)

MinIO と mc の最終リリースをソースからビルドし、CI で使用するように変更します。#53(RustFS への置き換え)の代替案です。

#53 では s3compat(SigV2)のテストを無効化しましたが、これは WaterButler の s3compat プロバイダの get_full_revision が ListObjectVersions のクエリを二重に付与しており、署名検証が厳密なサーバ(RustFS、Zenko CloudServer で確認)がこのリクエストを拒否するためでした。MinIO は SigV2 の署名検証時にクエリを map で集約する(cmd/signature-v2.go の canonicalizedResourceV2)ため、このリクエストを受け付けます。ソースからビルドした MinIO に対し、CI と同じ niicloudoperation/rdm-waterbutler:latest から s3compat の操作(フォルダ移動、ListObjectVersions を含む)が成功することをローカルで確認しています。これにより s3compat(SigV2)のテストを従来どおり実行できます。

なお、minio/minio および minio/mc の GitHub リポジトリはアーカイブ済みのため、今後のセキュリティ修正は提供されません。

Changes

  • docker/minio/Dockerfile.minio / docker/minio/Dockerfile.mc を追加: minio/minio の RELEASE.2025-10-15T17-29-55Z、minio/mc の RELEASE.2025-08-13T08-35-41Z をタグ指定で clone してビルド。setup_minio.sh / setup_minio_buckets.sh が前提とする curl(ヘルスチェック)と /bin/sh を含めるため、実行用イメージは alpine ベース
  • e2e-test.yml: 各ジョブ共通のイメージ(Elasticsearch、MinIO / mc、custom WaterButler)を build-images ジョブで一度だけビルドし、artifact で各ジョブに配布する

Ticket

GRDM-63383

Custom Test Configuration

  • RDM_REPOSITORY:
  • RDM_BRANCH:
  • RDM_MERGE:
  • OSF_IMAGE:
  • EMBER_IMAGE:
  • CAS_IMAGE:
  • MFR_IMAGE:
  • WB_IMAGE:
  • EXCLUDE_NOTEBOOKS:

@yacchin1205
yacchin1205 force-pushed the feature/build-minio-from-source branch from cd62ee2 to d940567 Compare October 6, 2026 07:57
miyamoto83 added a commit to miya-biz/RDM-e2e-test-nb that referenced this pull request Oct 6, 2026
@yacchin1205

yacchin1205 commented Oct 7, 2026 •

Copy link
Copy Markdown
Collaborator Author

JupyterHub / Wiki / Flowable Formsエラーが発生していますが、以下のように、本PRとしては問題ないと考えます。

@yacchin1205
yacchin1205 marked this pull request as ready for review October 7, 2026 09:02
@yacchin1205
yacchin1205 merged commit c2a7b4f into RCOSDP:main Oct 7, 2026
13 of 16 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant