Latest News
DeepSpeed is a deep learning optimization library that makes distributed training easy, efficient, and effective.
www.deepspeed.ai
https://github.com/microsoft/DeepSpeed
GitHub - microsoft/DeepSpeed: DeepSpeed is a deep learning optimization library that makes distributed training and inference ea
DeepSpeed is a deep learning optimization library that makes distributed training and inference easy, efficient, and effective. - microsoft/DeepSpeed
github.com
1. What & why is DeepSpeed?
The DeepSpeed library implements and packages the innovations and technologies in DeepSpeed Training, Inference and Compression Pillars into a single easy-to-use, open-sourced repository. It allows for an easy composition of a multitude of features within a single training, inference or compression pipeline. The DeepSpeed Library is heavily adopted by the DL community, and has been used to enable some of the most powerful models (see DeepSpeed Adoption).
2. How DeepSpeed?
pip install deepspeed
ds_report
https://www.deepspeed.ai/training/#memory-efficiency
Training Overview and Features
DeepSpeed is a deep learning optimization library that makes distributed training easy, efficient, and effective.
www.deepspeed.ai
3. DeepSpeed News
https://it.chosun.com/news/articleView.html?idxno=2023062801503
인텔, ‘가우디 2’ 딥러닝 가속기…AI 벤치마크서 경쟁 우위 자신감
인텔은 ‘ML 커먼스(ML Commons)’의 인공지능(AI) 성능 벤치마크 ‘MLPerf 트레이닝(MLPerf Traning) 3.0’ 결과에서 ‘하바나 가우디 2’ 딥러닝 가속기와 ‘4세대 인텔 제온 스케일러블 프로세서’가 뛰
it.chosun.com
인텔이 제출한 ‘하바나 가우디 2’ 가속기의 성능 결과는 3세대 제온 스케일러블 프로세서와 ‘하바나 가우디 2’ 가속기를 조합한 환경이다. GPT-3 성능은 파이토치(PyTorch)를 기반으로 하며, 마이크로소프트 AI의 일부이자 널리 사용되고 있는 최적화 라이브러리 ‘딥스피드(DeepSpeed)’를 사용한 것으로 알려졌다. 테스트에 사용된 데이터 유형은 BF16(BFloat16)으로, 3분기에 예정된 FP8 지원이 적용되면 더 향상된 성능을 제공할 수 있을 것으로 예상된다.
앤트그룹, 2022년 총 6만 8665톤 탄소 배출량 감축
https://www.it-b.co.kr/news/articleView.html?idxno=67586
앤트그룹, 2022년 총 6만 8665톤 탄소 배출량 감축 - 아이티비즈
앤트그룹은 2022년에 총 6만 8,665톤의 탄소 배출량을 감축했다고 25일 밝혔다.중국환경통합인증센터(China Environmental United Certification, CEC) 인증 수치에 따르면, 앤트그룹은 2021년 최초 탄소중립 달...
www.it-b.co.kr
가령, 앤트그룹의 파이토치 익스텐션 라이브러리(PyTorch extension library)인 ATorch는 대형 GPU 클러스터 구성(large GPU cluster configurations)을 통해 AI 컴퓨팅파워의 가용율을 메가트론-딥스피드(Megatron-DeepSpeed, 오픈소스 딥러닝 최적화 소프트웨어 제품군) 대비 두배까지 높일 수 있다. 결과적으로 ATorch는 앤트그룹이 고객 경험 향상을 위해 AI 기반 제품 및 서비스 컴퓨팅을 반복 처리하는데 사용되는 대규모 모델 트레이닝 중 에너지 소비와 탄소배출을 크게 감축하고 있다.
“AI, 입맛에 맞게 조련하라” 프롬프트 엔지니어링 활용법
https://www.itworld.co.kr/news/283801
예를 들어 금융 서비스 산업에서는 플랜-UL2(Flan-UL2) 등 사전 학습된 LLM을 가져온 다음, 금융 뉴스 기사의 데이터세트를 불러오고, ‘트랜스포머’ 트레이너를 활용해 모델을 세부조정해 해당 기사의 요약본을 생성할 수 있다. AWS, 딥스피드(DeepSpeed), 액셀러레이트(Accelerate) 등을 통합하면 학습을 더 간소화되고 최적화할 수 있다. 레이예스에 따르면 모든 과정은 100줄 이하의 코드로 완료할 수 있다.