File tree Expand file tree Collapse file tree
Expand file tree Collapse file tree Original file line number Diff line number Diff line change @@ -109,7 +109,7 @@ PyTorch에 포함된 분산 패키지(예. ``torch.distributed``)는 연구자
109109 print (' Rank ' , rank, ' has data ' , tensor[0 ])
110110
111111 위 예제에서 두 프로세스는 값이 0인 Tensor로 시작한 후, 0번 프로세스가 Tensor의 값을
112- 증가시킨 후 1번 프로세스로 보내서 둘 다 1.0으로 종료됩니다. 이 떄 , 프로세스 1은
112+ 증가시킨 후 1번 프로세스로 보내서 둘 다 1.0으로 종료됩니다. 이 때 , 프로세스 1은
113113수신한 데이터를 저장할 메모리를 할당해두야 합니다.
114114
115115또한 ``send ``/``recv `` 는 모두 **블로킹 ** 입니다: 두 프로세스는 통신이 완료될 때까지
@@ -195,7 +195,7 @@ PyTorch에 포함된 분산 패키지(예. ``torch.distributed``)는 연구자
195195 dist.all_reduce(tensor, op = dist.ReduceOp.SUM , group = group)
196196 print (' Rank ' , rank, ' has data ' , tensor[0 ])
197197
198- 그룹 내의 모든 Tensor들의 합이 필요하기 떄문에 , ``dist.ReduceOp.SUM `` 을
198+ 그룹 내의 모든 Tensor들의 합이 필요하기 때문에 , ``dist.ReduceOp.SUM `` 을
199199리듀스(reduce) 연산자로 사용하였습니다. 일반적으로, 교환 법칙이 허용되는(commutative)
200200모든 수학 연산을 연산자로 사용할 수 있습니다. PyTorch는 요소별(element-wise)로
201201동작하는 기본적으로 4개의 연산자를 제공합니다.
You can’t perform that action at this time.
0 commit comments