Translate prototype_source/semi_structured_sparse.rst #889
Conversation
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
rumjie
reviewed
Sep 11, 2024
| Semi-structured sparsity derives its name from its unique sparsity pattern, where n out of every 2n elements are pruned. We most often see n=2, hence 2:4 sparsity | ||
| Semi-structured sparsity is particularly interesting because it can be efficiently accelerated on GPUs and doesn't degrade model accuracy as much as other sparsity patterns. | ||
| 반구조적 희소성은 2n개의 요소 중 n개의 요소가 제거되는 독특한 희소성 패턴에서 그 이름을 따왔습니다. 가장 일반적으로 n=2가 적용되므로 2:4 희소성이라고 불립니다. | ||
| 반구조적 희소성은 특히 GPU에서 효율적으로 가속화할 수 있고, 다른 희소성 패턴보다 모델의 정확도를 덜 저하시키기 때문에 흥미롭습니다. |
There was a problem hiding this comment.
"가속화될 수 있고"가 좀더 자연스러운 것 같습니다!
line 84에서 수동태로 사용하신 것과 통일성도 생길 것 같아요 😀
rumjie
reviewed
Sep 11, 2024
| answers = [] | ||
| # Loop through all features associated with that example | ||
| # 해당 예제와 연관된 모든 피처 반복하기 |
There was a problem hiding this comment.
TRANSLATION_GUIDE.md 에 따라 feature는 특징이라고 번역하는 것은 어떨까요?
hyoyoung
requested changes
Sep 19, 2024
| (프로토타입) 반구조적 (2:4) 희소성(semi-structured (2:4) sparsity)을 이용한 BERT 가속화하기 | ||
| ================================================================= | ||
| **Author**: `Jesse Cai <https://github.com/jcaip>`_ | ||
| **저자**: `Jesse Cai <https://github.com/jcaip>`_ **번역**: `Dabin Kang <https://github.com/dabinishere>`_ |
| The natural handoff point between these two problems are zeroed-out dense tensors. Our inference solution is designed to compress and accelerate tensors in this format. | ||
| We anticipate many users coming up with custom masking solution, as this is an active area of research. | ||
| 이 두 문제 사이의 자연스러운 핸드오프(handoff) 포인트는 0으로 된 밀집 텐서입니다. 이 형식의 텐서를 압축하고 가속화하도록 추론을 설계했습니다. |
| # 평가를 위해 비교할 배치 크기 | ||
| batch_sizes = [4, 16, 64, 256] | ||
| # 2:4 sparsity require fp16, so we cast here for a fair comparison | ||
| # 2:4 희소성은 fp16이 필요하므로 공정한 비교를 위해 여기서 캐스팅 |
There was a problem hiding this comment.
여기서 캐스팅은 변환이나 형 변환이라고 의역하는게 좋을 거 같습니다
| 반구조적 희소성은 특히 GPU에서 효율적으로 가속화할 수 있고, 다른 희소성 패턴보다 모델의 정확도를 덜 저하시키기 때문에 흥미롭습니다. | ||
|
|
||
| With the introduction of `semi-structured sparsity support <https://pytorch.org/docs/2.1/sparse.html#sparse-semi-structured-tensors>`_, it is possible to prune and accelerate a semi-structured sparse model without leaving PyTorch. | ||
| We will explain this process in this tutorial. |
|
|
||
| By the end of this tutorial, we will have sparsified a BERT question-answering model to be 2:4 sparse, fine-tuning it to recover nearly all F1 loss (86.92 dense vs 86.48 sparse). | ||
| Finally, we will accelerate this 2:4 sparse model for inference, yielding a 1.3x speedup. | ||
| 이 튜토리얼을 끝내면, BERT 질문-답변 모델을 2:4 희소성으로 가지치기하고, 거의 모든 F1 손실(밀집 86.92 vs 희소 86.48)을 복구하도록 미세 조정할 수 있습니다. |
There was a problem hiding this comment.
이 튜토리얼을 끝내면, ~~ 하는 모델이 완성됩니다. 정도는 어떨까요?
| @@ -1,31 +1,31 @@ | |||
| (prototype) Accelerating BERT with semi-structured (2:4) sparsity | |||
| (프로토타입) 반구조적 (2:4) 희소성(semi-structured (2:4) sparsity)을 이용한 BERT 가속화하기 | |||
There was a problem hiding this comment.
semi-structure가 반구조인지 반정형인지, 조금 결정하기 어려운 문제인데
DB용어라면 반정형에 어울릴거 같습니다
https://ko.wikipedia.org/wiki/%EB%B0%98%EC%A0%95%ED%98%95_%EB%8D%B0%EC%9D%B4%ED%84%B0
어떤게 더 나을까요?
jaeseong98
reviewed
Sep 22, 2024
| 2. At the same time, semi-structured sparsity tends to have a milder impact on model accuracy compared to other sparse formats, especially when accounting for more advanced pruning / fine-tuning methods. | ||
| NVIDIA has shown in their `white paper <https://arxiv.org/abs/2104.08378>`_ that a simple paradigm of magnitude pruning once to be 2:4 sparse and then retraining the model yields nearly identical model accuracies. | ||
| 각기 다른 장단점을 가진 여러 가지 희소성 구조들이 있습니다. 특히 2:4 반구조적 희소 레이아웃은 두 가지 이유로 흥미롭습니다: | ||
| 1. 이전의 희소 형식과 달리 반구조적 희소성은 GPU에서 효율적으로 가속화되도록 설계되었습니다. |
There was a problem hiding this comment.
가속화하다와 가속화되다가 섞여있는것 같아서 둘 중 하나로 통일성을 주면 좋을 것 같습니다!
9bow
approved these changes
Oct 14, 2024
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
5 participants
Add this suggestion to a batch that can be applied as a single commit.
This suggestion is invalid because no changes were made to the code.
Suggestions cannot be applied while the pull request is closed.
Suggestions cannot be applied while viewing a subset of changes.
Only one suggestion per line can be applied in a batch.
Add this suggestion to a batch that can be applied as a single commit.
Applying suggestions on deleted lines is not supported.
You must change the existing code in this line in order to create a valid suggestion.
Outdated suggestions cannot be applied.
This suggestion has been applied or marked resolved.
Suggestions cannot be applied from pending reviews.
Suggestions cannot be applied on multi-line comments.
Suggestions cannot be applied while the pull request is queued to merge.
Suggestion cannot be applied right now. Please check back later.
라이선스 동의
변경해주시는 내용에 BSD 3항 라이선스가 적용됨을 동의해주셔야 합니다.
더 자세한 내용은 기여하기 문서를 참고해주세요.
동의하시면 아래
[ ]를[x]로 만들어주세요.관련 이슈 번호
이 Pull Request와 관련있는 이슈 번호를 적어주세요.
이슈 또는 PR 번호 앞에 #을 붙이시면 제목을 바로 확인하실 수 있습니다. (예. #999 )
PR 종류
이 PR에 해당되는 종류 앞의
[ ]을[x]로 변경해주세요.PR 설명
이 PR로 무엇이 달라지는지 대략적으로 알려주세요.
prototype_source/semi_structured_sparse.rst 문서를 번역하였습니다.