Skip to content

Commit 2dbadc9

Browse files
Automated translation updates (#1803)
Co-authored-by: github-actions[bot] <github-actions[bot]@users.noreply.github.com>
1 parent 464d965 commit 2dbadc9

11 files changed

Lines changed: 223 additions & 262 deletions

File tree

website/i18n/ja/docusaurus-plugin-content-docs/current/aiml/chatbot/index.md

Lines changed: 5 additions & 4 deletions
Original file line numberDiff line numberDiff line change
@@ -3,8 +3,8 @@ title: "vLLMによる大規模言語モデル"
33
sidebar_position: 10
44
chapter: true
55
sidebar_custom_props: { "module": true }
6-
description: "Amazon Elastic Kubernetes Serviceで AWS Trainiumを使用してディープラーニング推論ワークロードを加速します"
7-
tmdTranslationSourceHash: 220afe5f35f32481c86cd27864418036
6+
description: "Amazon Elastic Kubernetes ServiceでAWS Neuronを使用してディープラーニング推論ワークロードを加速します"
7+
tmdTranslationSourceHash: dbd830aa0ebaeea17492897a84a2d888
88
---
99

1010
::required-time
@@ -25,15 +25,16 @@ $ prepare-environment aiml/chatbot
2525

2626
:::
2727

28-
[Mistral 7B](https://mistral.ai/en/news/announcing-mistral-7b)は、パフォーマンスと効率性のバランスを提供するために設計された73億のパラメータを持つオープンソースの大規模言語モデル(LLM)です。膨大な計算リソースを必要とするより大きなモデルとは異なり、Mistral 7Bは実用的なリソース要件を維持しながら、印象的な機能を提供します。テキスト生成、補完、情報抽出、データ分析、複雑な推論タスクに優れています
28+
[Mistral 7B](https://mistral.ai/en/news/announcing-mistral-7b)は、パフォーマンスと効率性のバランスを提供するために設計された73億のパラメータを持つオープンソースの大規模言語モデル(LLM)です。膨大な計算リソースを必要とするより大きなモデルとは異なり、Mistral 7Bはより実用的なパッケージで印象的な機能を提供します。テキスト生成、補完、情報抽出、データ分析、複雑な推論タスクに優れており、実用的なリソース要件を維持しています
2929

3030
このモジュールでは、Amazon EKS上でMistral 7Bをデプロイして効率的に提供する方法を探ります。以下の内容を学びます:
3131

32-
1. 加速されたML(機械学習)ワークロード用の必要なインフラストラクチャのセットアップ
32+
1. 加速されたMLワークロード用の必要なインフラストラクチャのセットアップ
3333
2. AWS Trainiumアクセラレーターを使用したモデルのデプロイ
3434
3. モデル推論エンドポイントの構成とスケーリング
3535
4. デプロイされたモデルとのシンプルなチャットインターフェースの統合
3636

3737
モデル推論を加速するために、[Trn1](https://aws.amazon.com/ai/machine-learning/trainium/)インスタンスファミリーを通じてAWS Trainiumを活用します。これらの目的に合わせて構築されたアクセラレーターは、ディープラーニングワークロード向けに最適化されており、標準的なCPUベースのソリューションと比較してモデル推論に大幅なパフォーマンス向上を提供します。
3838

3939
私たちの推論アーキテクチャは、LLM向けに特別に設計された高スループットかつメモリ効率の良い推論エンジンである[vLLM](https://github.com/vllm-project/vllm)を活用します。vLLMはOpenAI互換のAPIエンドポイントを提供し、既存のアプリケーションとの統合を容易にします。
40+

website/i18n/ja/docusaurus-plugin-content-docs/current/aiml/chatbot/mistral.md

Lines changed: 4 additions & 3 deletions
Original file line numberDiff line numberDiff line change
@@ -1,7 +1,7 @@
11
---
22
title: "モデルの提供"
33
sidebar_position: 40
4-
tmdTranslationSourceHash: '19c1062b963727f2866b6dc90cfc71bd'
4+
tmdTranslationSourceHash: '8be737eefe98f295a58cdb1a8ad5c77b'
55
---
66

77
[vLLM](https://github.com/vllm-project/vllm)は、効率的なメモリ管理を通じて大規模言語モデル(LLM)のパフォーマンスを最適化するために特別に設計されたオープンソースの推論および提供エンジンです。MLコミュニティで人気のある推論ソリューションとして、vLLMはいくつかの重要な利点を提供します:
@@ -18,7 +18,7 @@ AWS Neuron専用として、vLLMは以下を提供します:
1818
- 効率的なスケーリングのための継続的なモデルローディング
1919
- AWS Neuronプロファイリングツールとの統合
2020

21-
このラボでは、`neuronx-distributed-inference`フレームワークでコンパイルされた[Mistral-7B-v0.3モデル](https://mistral.ai/news/announcing-mistral-7b)を使用します。このモデルは、機能とリソース要件の間で良好なバランスを提供し、Trainiumを搭載したEKSクラスターへのデプロイに適しています
21+
このラボでは、`neuronx-distributed-inference`フレームワークでコンパイルされた[Mistral-7B-v0.3モデル](https://mistral.ai/news/announcing-mistral-7b)を使用します。このモデルは、機能とリソース要件の間で良好なバランスを提供し、Neuronを搭載したEKSクラスターへのデプロイに適しています
2222

2323
モデルをデプロイするために、vLLMベースのコンテナイメージを使用してモデルと重みをロードする標準のKubernetes Deploymentを使用します:
2424

@@ -44,7 +44,7 @@ mistral ClusterIP 172.16.149.89 <none> 8080/TCP 33m
4444

4545
モデルの初期化プロセスは完了するまでに数分かかります。vLLM Podは以下の段階を経ます:
4646

47-
1. KarpenterがTrainiumインスタンスをプロビジョニングするまでPending状態のまま
47+
1. KarpenterがNeuronインスタンスをプロビジョニングするまでPending状態のまま
4848
2. initコンテナを使用してHugging Faceからホストファイルシステムパスにモデルをダウンロード
4949
3. vLLMコンテナイメージ(約10GB)をダウンロード
5050
4. vLLMサービスを起動
@@ -99,3 +99,4 @@ INFO: 10.42.114.242:50134 - "GET /health HTTP/1.1" 200 OK
9999
```
100100

101101
これらのステップを完了するか、モデルの初期化中に先に進むことを決定した後、次のタスクに進むことができます。
102+
Lines changed: 10 additions & 9 deletions
Original file line numberDiff line numberDiff line change
@@ -1,10 +1,10 @@
11
---
22
title: "コンピュートのプロビジョニング"
33
sidebar_position: 30
4-
tmdTranslationSourceHash: 13f766113a1438b0acc552e45a497040
4+
tmdTranslationSourceHash: 915504d242c85876aecddbded1a5714a
55
---
66

7-
このラボでは、Karpenterを使用して、加速された機械学習推論用に特別に設計されたAWS Trainiumノードをプロビジョニングします。TrainiumはAWSの専用ML高速化プロセッサーで、Mistral-7Bモデルのような推論ワークロードを実行する際の高性能とコスト効率性を提供します。
7+
このラボでは、Karpenterを使用して、加速された機械学習推論用に特別に設計されたAWS Neuronノードをプロビジョニングします。InferentiaとTrainiumはAWSの専用ML高速化プロセッサーで、Mistral-7Bモデルのような推論ワークロードを実行する際の高性能とコスト効率性を提供します。
88

99
:::tip
1010
Karpenterについて詳しく知りたい場合は、このワークショップの[Karpenterモジュール](../../fundamentals/compute/karpenter/index.md)をチェックしてください。
@@ -18,11 +18,11 @@ NAME READY UP-TO-DATE AVAILABLE AGE
1818
karpenter 2/2 2 2 11m
1919
```
2020

21-
Trainiumインスタンスをプロビジョニングするために使用するKarpenter NodePoolの設定を確認しましょう:
21+
Neuronインスタンスをプロビジョニングするために使用するKarpenter NodePoolの設定を確認しましょう:
2222

2323
::yaml{file="manifests/modules/aiml/chatbot/nodepool.yaml" paths="spec.template.metadata.labels,spec.template.spec.requirements,spec.template.spec.taints,spec.limits"}
2424

25-
1. このNodePoolは、デモンストレーションの目的でPodを特定のターゲットにするために、すべての新しいノードに`provisionerType: Karpenter`というKubernetesラベルを付けるよう設定されています。Karpenterによって複数のノードが自動スケーリングされるため、`instanceType: trn1.2xlarge`のような追加のラベルも追加され、このKarpenterノードが`trainium-trn1`プールに割り当てられるべきことを示しています
25+
1. 実行しているリージョンで利用可能なものに基づいて、`inf2.xlarge`または`trn1.2xlarge`のいずれかのインスタンスタイプを使用するようにNodePoolを設定しています
2626
2. [NodePool CRD](https://karpenter.sh/docs/concepts/nodepools/)はインスタンスタイプやゾーンなどのノードプロパティを定義することをサポートしています。この例では、`karpenter.sh/capacity-type`を最初にKarpenterがオンデマンドインスタンスのみをプロビジョニングするように制限し、また`karpenter.k8s.aws/instance-type`で特定のインスタンスタイプのサブセットに限定しています。他にどのようなプロパティが[利用可能かはこちら](https://karpenter.sh/docs/concepts/scheduling/#selecting-nodes)で確認できます。
2727
3. Taintは、ノードが一連のPodを排除できるようにする特定のプロパティセットを定義します。このプロパティはマッチングするラベルであるTolerationと連携して機能します。TolerationとTaintは連携して、Podが適切なノードに正しくスケジュールされることを保証します。他のプロパティについては、[このリソース](https://kubernetes.io/docs/concepts/scheduling-eviction/taint-and-toleration/)で詳しく学べます。
2828
4. NodePoolは、それによって管理されるCPUとメモリの量に制限を定義できます。この制限に達すると、Karpenterはその特定のNodePoolに関連する追加のキャパシティをプロビジョニングしなくなり、合計コンピュートに上限を設けます。
@@ -32,16 +32,17 @@ NodePoolを作成しましょう:
3232
```bash
3333
$ cat ~/environment/eks-workshop/modules/aiml/chatbot/nodepool.yaml \
3434
| envsubst | kubectl apply -f-
35-
ec2nodeclass.karpenter.k8s.aws/trainium-trn1 created
36-
nodepool.karpenter.sh/trainium-trn1 created
35+
ec2nodeclass.karpenter.k8s.aws/neuron created
36+
nodepool.karpenter.sh/neuron created
3737
```
3838

3939
正しく展開されたら、NodePoolsを確認します:
4040

4141
```bash
4242
$ kubectl get nodepool
43-
NAME NODECLASS NODES READY AGE
44-
trainium-trn1 trainium-trn1 0 True 31s
43+
NAME NODECLASS NODES READY AGE
44+
neuron neuron 0 True 31s
4545
```
4646

47-
上記のコマンドから、NodePoolが正しくプロビジョニングされていることがわかります。これにより、Karpenterは必要に応じて新しいノードをプロビジョニングできます。次のステップでMLワークロードをデプロイすると、Karpenterは指定したリソース要求と制限に基づいて必要なTrainiumインスタンスを自動的に作成します。
47+
上記のコマンドから、NodePoolが正しくプロビジョニングされていることがわかります。これにより、Karpenterは必要に応じて新しいノードをプロビジョニングできます。次のステップでMLワークロードをデプロイすると、Karpenterは指定したリソース要求と制限に基づいて必要なNeuronインスタンスを自動的に作成します。
48+

website/i18n/ja/docusaurus-plugin-content-docs/current/aiml/chatbot/setup.md

Lines changed: 5 additions & 4 deletions
Original file line numberDiff line numberDiff line change
@@ -1,18 +1,18 @@
11
---
22
title: "Neuronプラグインのインストール"
33
sidebar_position: 20
4-
tmdTranslationSourceHash: ca9a05d53409b6d28986cc62f0620f83
4+
tmdTranslationSourceHash: 1899107d1121abd3081665e847b56da9
55
---
66

7-
KubernetesがAWS Neuronアクセラレータを認識し効果的に利用できるようにするには、Neuronデバイスプラグインをインストールする必要があります。このプラグインは、NeuronコアとデバイスをKubernetes内でスケジュール可能なリソースとして公開する役割を担い、ワークロードから要求された場合に適切にNeuronアクセラレーションを持つノードをプロビジョニングできるようにします
7+
KubernetesがAWS Neuronアクセラレータを認識し効果的に利用できるようにするには、Neuronデバイスプラグインをインストールする必要があります。このプラグインは、NeuronコアとデバイスをKubernetesクラスター内でスケジュール可能なリソースとして公開する役割を担い、ワークロードから要求された場合にスケジューラーがNeuronアクセラレーションを持つノードを適切にプロビジョニングできるようにします
88

99
[AWS Neuron SDK](https://awsdocs-neuron.readthedocs-hosted.com/en/latest/)は、AWS InferentiaとTrainiumチップ上で機械学習ワークロードを実行できるようにするソフトウェア開発キットです。デバイスプラグインは、Kubernetesのリソース管理機能とこれらの特殊なアクセラレータを橋渡しする重要なコンポーネントです。
1010

1111
公式の[Neuronデバイスプラグイン Helmチャート](https://gallery.ecr.aws/neuron/neuron-helm-chart)を使用してNeuronデバイスプラグインをインストールしましょう:
1212

1313
```bash
1414
$ helm upgrade --install neuron-helm-chart oci://public.ecr.aws/neuron/neuron-helm-chart \
15-
--namespace kube-system --version 1.3.0 \
15+
--namespace kube-system --version 1.5.0 \
1616
--values ~/environment/eks-workshop/modules/aiml/chatbot/neuron-values.yaml \
1717
--wait
1818
```
@@ -25,4 +25,5 @@ NAME DESIRED CURRENT READY UP-TO-DATE AVAILABLE NODE
2525
neuron-device-plugin 0 0 0 0 0 <none> 10s
2626
```
2727

28-
まだNeuronデバイスを提供するコンピュートノードがクラスター内にないため、現在はPodが実行されていません。次のセクションでTrainiumインスタンスをプロビジョニングすると、DaemonSetは自動的にそれらのノードにデバイスプラグインをデプロイし、Neuronデバイスをワークロードで利用できるようになります。
28+
まだNeuronデバイスを提供するコンピュートノードがクラスター内にないため、現在はPodが実行されていません。次のセクションでNeuronインスタンスをプロビジョニングすると、DaemonSetは自動的にそれらのノードにデバイスプラグインをデプロイし、Neuronデバイスをワークロードで利用できるようになります。
29+

website/i18n/ja/docusaurus-plugin-content-docs/current/aiml/chatbot/testing.md

Lines changed: 6 additions & 7 deletions
Original file line numberDiff line numberDiff line change
@@ -1,7 +1,7 @@
11
---
22
title: "モデルのテスト"
33
sidebar_position: 70
4-
tmdTranslationSourceHash: af0040001c87c5506ca861b7bb118e59
4+
tmdTranslationSourceHash: ed526e73ddd313e6ade14a3384c2caac
55
---
66

77
現時点で、Mistral-7Bモデルは利用可能か、または利用可能になる直前のはずです。以下のコマンドを実行して確認できます。このコマンドはモデルがまだ実行されていない場合、実行されるまでブロックします:
@@ -61,26 +61,25 @@ $ kubectl run curl-test --image=curlimages/curl \
6161
より対話的な体験のために、デモウェブストアにアクセスして統合されたチャットインターフェースを使用できます:
6262

6363
```bash
64-
$ LB_HOSTNAME=$(kubectl -n ui get service ui-nlb -o jsonpath='{.status.loadBalancer.ingress[*].hostname}{"\n"}')
64+
$ LB_HOSTNAME=$(kubectl -n ui get ingress ui -o jsonpath='{.status.loadBalancer.ingress[*].hostname}{"\n"}')
6565
$ echo "http://$LB_HOSTNAME"
66-
http://k8s-ui-uinlb-647e781087-6717c5049aa96bd9.elb.us-west-2.amazonaws.com
66+
http://k8s-ui-ui-5ddc3ba496-1812344516.us-west-2.elb.amazonaws.com
6767
```
6868

6969
画面の右下に「Chat」ボタンが表示されます:
7070

71-
<Browser url="http://k8s-ui-uinlb-647e781087-6717c5049aa96bd9.elb.us-west-2.amazonaws.com">
71+
<Browser url="http://k8s-ui-ui-5ddc3ba496-1812344516.us-west-2.elb.amazonaws.com">
7272
<img src={require('@site/static/docs/aiml/chatbot/home-chat.webp').default}/>
7373
</Browser>
7474

7575
このボタンをクリックすると、小売店アシスタントにメッセージを送信できるチャットウィンドウが表示されます:
7676

77-
<Browser url="http://k8s-ui-uinlb-647e781087-6717c5049aa96bd9.elb.us-west-2.amazonaws.com">
77+
<Browser url="http://k8s-ui-ui-5ddc3ba496-1812344516.us-west-2.elb.amazonaws.com">
7878
<img src={require('@site/static/docs/aiml/chatbot/chat-bot.webp').default}/>
7979
</Browser>
8080

8181
## 結論
8282

83-
これで、vLLMを使用してTrainiumインスタンスでAmazon EKSで推論を実行し、さまざまなアプリケーションで消費できるモデルエンドポイントを提供する方法を正常にデモンストレーションできました。このアーキテクチャは、目的に合わせて構築されたMLアクセラレーターの能力とKubernetesの柔軟性とスケーラビリティを組み合わせて、アプリケーションのためのコスト効率の良いAI機能を可能にします。
83+
これで、vLLMを使用してNeuronインスタンスでAmazon EKSで推論を実行し、さまざまなアプリケーションで消費できるモデルエンドポイントを提供する方法を正常にデモンストレーションできました。このアーキテクチャは、目的に合わせて構築されたMLアクセラレーターの能力とKubernetesの柔軟性とスケーラビリティを組み合わせて、アプリケーションのためのコスト効率の良いAI機能を可能にします。
8484

8585
vLLMが提供するOpenAI互換APIにより、このソリューションを既存のアプリケーションやフレームワークと簡単に統合でき、独自のインフラストラクチャ内で大規模言語モデルを活用することができます。
86-

website/i18n/ja/docusaurus-plugin-content-docs/current/automation/controlplanes/kro/introduction.md

Lines changed: 2 additions & 2 deletions
Original file line numberDiff line numberDiff line change
@@ -1,7 +1,7 @@
11
---
22
title: "はじめに"
33
sidebar_position: 3
4-
tmdTranslationSourceHash: 59f42c036157964a2d6c6987fb563967
4+
tmdTranslationSourceHash: 38be1b73207e74a7b4e3a0e965e3fc63
55
---
66

77
kro はクラスター内で2つの主要コンポーネントを使用して動作します:
@@ -16,7 +16,7 @@ kro は、プラットフォームチームが複数の関連リソースをカ
1616
まず、Helm チャートを使用して kro を Kubernetes クラスターにインストールしましょう:
1717

1818
```bash wait=60
19-
$ helm install kro oci://ghcr.io/kro-run/kro/kro \
19+
$ helm install oci://registry.k8s.io/kro/charts/kro \
2020
--version=${KRO_VERSION} \
2121
--namespace kro-system --create-namespace \
2222
--wait

0 commit comments

Comments
 (0)