NVIDIA NeMo 프레임워크
명세서
- 제품 이름: NVIDIA NeMo 프레임워크
- 영향을 받는 플랫폼: 윈도우, 리눅스, 맥OS
- 영향을 받는 버전: 24 이전의 모든 버전
- 보안 취약점: CVE-2025-23360
- 위험 평가 기준 점수: 7.1(CVSS v3.1)
제품 사용 지침
보안 업데이트 설치:
시스템을 보호하려면 다음 단계를 따르세요.
- GitHub의 NeMo-Framework-Launcher 릴리스 페이지에서 최신 릴리스를 다운로드하세요.
- 자세한 내용은 NVIDIA 제품 보안을 참조하세요.
보안 업데이트 세부 정보:
보안 업데이트는 코드 실행 및 데이터 유출로 이어질 수 있는 NVIDIA NeMo Framework의 취약점을 해결합니다.amp에링.
소프트웨어 업그레이드 :
이전 브랜치 릴리스를 사용 중이라면 보안 문제를 해결하기 위해 최신 브랜치 릴리스로 업그레이드하는 것이 좋습니다.
위에view
NVIDIA NeMo Framework는 연구원과 개발자를 위해 구축된 확장 가능하고 클라우드 기반 생성 AI 프레임워크입니다. 대규모 언어 모델, 멀티모달 및 음성 AI (예를 들어 자동 음성 인식 그리고 텍스트 음성 변환). 이를 통해 사용자는 기존 코드와 사전 학습된 모델 체크포인트를 활용하여 새로운 생성 AI 모델을 효율적으로 만들고, 사용자 지정하고, 배포할 수 있습니다.
설치 지침: NeMo 프레임워크 설치
NeMo 프레임워크는 대규모 언어 모델(LLM) 및 멀티모달 모델(MM) 개발을 위한 엔드 투 엔드 지원을 제공합니다. 온프레미스, 데이터 센터 또는 선호하는 클라우드 제공업체를 통해 사용할 수 있는 유연성을 제공합니다. 또한 SLURM 또는 쿠버네티스 지원 환경에서의 실행도 지원합니다.
데이터 큐레이션
NeMo 큐레이터 [1] 데이터 마이닝 및 합성 데이터 생성을 위한 모듈 모음을 포함하는 Python 라이브러리입니다. 이 모듈들은 확장 가능하고 GPU에 최적화되어 있어 LLM(자연어 학습)을 훈련하거나 미세 조정할 자연어 데이터를 큐레이션하는 데 이상적입니다. NeMo Curator를 사용하면 방대한 원시 데이터에서 고품질 텍스트를 효율적으로 추출할 수 있습니다. web 데이터 소스.
교육 및 맞춤화
NeMo Framework는 효율적인 교육 및 사용자 정의를 위한 도구를 제공합니다. LLM(법학 석사) 멀티모달 모델. 컴퓨팅 클러스터 설정, 데이터 다운로드, 모델 하이퍼파라미터에 대한 기본 구성이 포함되어 있으며, 새로운 데이터셋 및 모델에 대한 학습을 위해 조정할 수 있습니다. NeMo는 사전 학습 외에도 LoRA, Ptuning 등과 같은 지도 미세 조정(SFT) 및 매개변수 효율적 미세 조정(PEFT) 기술을 모두 지원합니다.
NeMo에서 교육을 시작하는 데는 NeMo 2.0 API 인터페이스를 사용하거나 NeMo Run을 사용하는 두 가지 옵션이 있습니다.
- NeMo Run을 사용하는 경우(권장): NeMo Run은 다양한 컴퓨팅 환경에서 실험의 구성, 실행 및 관리를 간소화하는 인터페이스를 제공합니다. 여기에는 로컬 또는 대규모 클러스터(SLURM 지원 또는 클라우드 환경의 쿠버네티스)에서 워크스테이션 작업을 시작하는 것이 포함됩니다.
- NeMo Run을 통한 사전 훈련 및 PEFT 빠른 시작
- NeMo 2.0 API 사용: 이 방법은 소규모 모델을 사용하는 간단한 설정이나, 사용자 지정 데이터로더, 학습 루프 또는 모델 계층 변경을 직접 작성하려는 경우에 적합합니다. 구성에 대한 유연성과 제어력이 향상되고, 프로그래밍 방식으로 구성을 쉽게 확장하고 사용자 지정할 수 있습니다.
-
트라NeMo 2.0 API를 사용한 빠른 시작
-
NeMo 1.0에서 NeMo 2.0 API로 마이그레이션
-
조정
- 네모 얼라이너 [1] 효율적인 모델 정렬을 위한 확장 가능한 툴킷입니다. 이 툴킷은 SteerLM, DPO, 인간 피드백을 활용한 강화 학습(RLHF) 등 최첨단 모델 정렬 알고리즘을 지원합니다. 이러한 알고리즘을 통해 사용자는 언어 모델을 더욱 안전하고, 무해하며, 유용하게 정렬할 수 있습니다.
- 모든 NeMo-Aligner 체크포인트는 NeMo 생태계와 상호 호환되므로 추가적인 사용자 정의 및 추론 배포가 가능합니다.
작은 GPT-2B 모델에서 RLHF의 세 단계 모두에 대한 단계별 워크플로:
- SFT 훈련
- 보상 모델 훈련
- PPO 교육
또한, 우리는 다양한 다른 새로운 정렬 방법에 대한 지원을 보여줍니다.
- 정보보호책임자: RLHF에 비해 가벼운 정렬 알고리즘이며 손실 함수가 더 간단합니다.
- 셀프 플레이 미세 조정(SPIN)
- 스티어LM: 조정 가능한 출력을 갖춘 조건부 SFT 기반 기술입니다.
자세한 내용은 설명서를 확인하세요. 정렬 문서
멀티모달 모델
- NeMo 프레임워크는 다중 모드 언어 모델, 시각 언어 기초, 텍스트-이미지 모델, NeRF(Neural Radiance Fields)를 사용한 2D 생성 등 다양한 범주에 걸쳐 최첨단 다중 모드 모델을 훈련하고 배포하는 데 최적화된 소프트웨어를 제공합니다.
- 각 카테고리는 해당 분야의 특정 요구 사항과 발전에 맞춰 설계되었으며, 텍스트, 이미지, 3D 모델을 포함한 광범위한 데이터 유형을 처리하기 위해 최첨단 모델을 활용합니다.
메모
NeMo 1.0에서 NeMo 2.0으로 멀티모달 모델 지원을 이전하고 있습니다. 그동안 이 분야에 대해 자세히 알아보려면 NeMo 24.07(이전) 릴리스 문서를 참조하세요.
배포 및 추론
NeMo 프레임워크는 다양한 배포 시나리오와 성능 요구 사항을 충족시켜 LLM 추론을 위한 다양한 경로를 제공합니다.
NVIDIA NIM으로 배포
- NeMo 프레임워크는 NVIDIA NIM을 통해 엔터프라이즈급 모델 배포 도구와 완벽하게 통합됩니다. 이러한 통합은 NVIDIA TensorRT-LLM을 기반으로 하며, 최적화되고 확장 가능한 추론을 보장합니다.
- NIM에 대한 자세한 내용은 NVIDIA를 방문하세요. web대지.
TensorRT-LLM 또는 vLLM으로 배포
- NeMo Framework는 모델을 두 가지 추론 최적화 라이브러리인 TensorRT-LLM과 vLLM으로 내보내고, 내보낸 모델을 NVIDIA Triton Inference Server에 배포하기 위한 스크립트와 API를 제공합니다.
- 최적화된 성능이 필요한 시나리오에서 NeMo 모델은 NVIDIA GPU에서 LLM 추론을 가속화하고 최적화하는 데 특화된 라이브러리인 TensorRT-LLM을 활용할 수 있습니다. 이 과정에는 nemo.export 모듈을 사용하여 NeMo 모델을 TensorRT-LLM과 호환되는 형식으로 변환하는 과정이 포함됩니다.
- LLM 배포 완료view
- NIM을 사용하여 NeMo 대규모 언어 모델 배포
- TensorRT-LLM을 사용하여 NeMo 대규모 언어 모델 배포
- vLLM을 사용하여 NeMo 대규모 언어 모델 배포
지원 모델
대규모 언어 모델
| 대규모 언어 모델 | 사전 훈련 및 SFT | 페프트 | 조정 | FP8 훈련 융합 | TRT/TRTLLM | 허깅 페이스로 변환 및 허깅 페이스에서 변환 | 평가 |
|---|---|---|---|---|---|---|---|
| 라마3 8B/70B, 라마3.1 405B | 예 | 예 | x | 네 (부분적으로 확인됨) | 예 | 둘 다 | 예 |
| 믹스트랄 8x7B/8x22B | 예 | 예 | x | 네 (검증되지 않음) | 예 | 둘 다 | 예 |
| 네모트론 3 8B | 예 | x | x | 네 (검증되지 않음) | x | 둘 다 | 예 |
| 네모트론 4 340B | 예 | x | x | 네 (검증되지 않음) | x | 둘 다 | 예 |
| 바이촨2 7B | 예 | 예 | x | 네 (검증되지 않음) | x | 둘 다 | 예 |
| 채팅GLM3 6B | 예 | 예 | x | 네 (검증되지 않음) | x | 둘 다 | 예 |
| 젬마 2루수/7루수 | 예 | 예 | x | 네 (검증되지 않음) | 예 | 둘 다 | 예 |
| 젬마2 2루수/9루수/27루수 | 예 | 예 | x | 네 (검증되지 않음) | x | 둘 다 | 예 |
| Mamba2 130M/370M/780M/1.3B/2.7B/8B/ Hybrid-8B | 예 | 예 | x | 네 (검증되지 않음) | x | x | 예 |
| 파이3 미니 4k | x | 예 | x | 네 (검증되지 않음) | x | x | x |
| Qwen2 0.5B/1.5B/7B/72B | 예 | 예 | x | 네 (검증되지 않음) | 예 | 둘 다 | 예 |
| 스타코더 15B | 예 | 예 | x | 네 (검증되지 않음) | 예 | 둘 다 | 예 |
| 스타코더2 3루수/7루수/15루수 | 예 | 예 | x | 네 (검증되지 않음) | 예 | 둘 다 | 예 |
| 버트 110M/340M | 예 | 예 | x | 네 (검증되지 않음) | x | 둘 다 | x |
| T5 220M/3B/11B | 예 | 예 | x | x | x | x | x |
비전 언어 모델
| 비전 언어 모델 | 사전 훈련 및 SFT | 페프트 | 조정 | FP8 훈련 융합 | TRT/TRTLLM | 허깅 페이스로 변환 및 허깅 페이스에서 변환 | 평가 |
|---|---|---|---|---|---|---|---|
| 네바(LLaVA 1.5) | 예 | 예 | x | 네 (검증되지 않음) | x | 에서 | x |
| 라마 3.2 비전 11B/90B | 예 | 예 | x | 네 (검증되지 않음) | x | 에서 | x |
| LLaVA 넥스트(LLaVA 1.6) | 예 | 예 | x | 네 (검증되지 않음) | x | 에서 | x |
임베딩 모델
| 언어 모델 임베딩 | 사전 훈련 및 SFT | 페프트 | 조정 | FP8 훈련 융합 | TRT/TRTLLM | 허깅 페이스로 변환 및 허깅 페이스에서 변환 | 평가 |
|---|---|---|---|---|---|---|---|
| SBERT 340M | 예 | x | x | 네 (검증되지 않음) | x | 둘 다 | x |
| 야마 3.2 1B 임베딩 | 예 | x | x | 네 (검증되지 않음) | x | 둘 다 | x |
월드 파운데이션 모델
| 월드 파운데이션 모델 | 훈련 후 | 가속 추론 |
|---|---|---|
| 코스모스-1.0-디퓨전-텍스트2월드-7B | 예 | 예 |
| 코스모스-1.0-디퓨전-텍스트2월드-14B | 예 | 예 |
| 코스모스-1.0-디퓨전-비디오2월드-7B | 곧 출시 예정 | 곧 출시 예정 |
| 코스모스-1.0-디퓨전-비디오2월드-14B | 곧 출시 예정 | 곧 출시 예정 |
| 코스모스-1.0-자기회귀-4B | 예 | 예 |
| 코스모스-1.0-자기회귀-비디오2월드-5B | 곧 출시 예정 | 곧 출시 예정 |
| 코스모스-1.0-자기회귀-12B | 예 | 예 |
| 코스모스-1.0-자기회귀-비디오2월드-13B | 곧 출시 예정 | 곧 출시 예정 |
메모
NeMo는 확산 및 자기회귀 아키텍처에 대한 사전 학습도 지원합니다. text2world 기초 모델.
음성 AI
대화형 AI 모델을 개발하는 것은 특정 도메인 내에서 모델을 정의, 구축, 학습시키는 복잡한 과정입니다. 이 과정은 일반적으로 높은 정확도에 도달하기 위해 여러 번의 반복을 필요로 합니다. 높은 정확도를 달성하기 위해서는 다양한 작업과 도메인별 데이터에 대한 미세 조정, 학습 성능 확보, 그리고 추론 배포를 위한 모델 준비 등의 반복 작업이 필요한 경우가 많습니다.
NeMo 프레임워크는 음성 AI 모델의 학습 및 맞춤 설정을 지원합니다. 여기에는 자동 음성 인식(ASR) 및 텍스트 음성 변환(TTS) 합성과 같은 작업이 포함됩니다. 또한 NVIDIA Riva를 통해 엔터프라이즈급 프로덕션 배포 환경으로 원활하게 전환할 수 있습니다. 개발자와 연구원을 지원하기 위해 NeMo 프레임워크는 최첨단 사전 학습된 체크포인트, 재현 가능한 음성 데이터 처리 도구, 그리고 음성 데이터 세트의 대화형 탐색 및 분석 기능을 제공합니다. NeMo 프레임워크의 음성 AI 구성 요소는 다음과 같습니다.
교육 및 맞춤화
NeMo Framework에는 음성 모델을 훈련하고 사용자 지정하는 데 필요한 모든 것이 포함되어 있습니다.자동판매기, 음성 분류, 스피커 인식, 스피커 일기, 그리고 TTS) 재현 가능한 방식으로.
SOTA 사전 훈련된 모델
- NeMo Framework는 최첨단 레시피와 여러 가지 사전 훈련된 체크포인트를 제공합니다. 자동판매기 그리고 TTS 모델과 이를 적재하는 방법에 대한 지침도 제공됩니다.
- 음성 도구
- NeMo 프레임워크는 다음을 포함하여 ASR 및 TTS 모델을 개발하는 데 유용한 도구 세트를 제공합니다.
- NeMo 강제 정렬기(NFA) 토큰, 단어 및 세그먼트 수준 타임스탬 생성용ampNeMo의 CTC 기반 자동 음성 인식 모델을 사용하여 오디오에서 음성을 인식합니다.
- 음성 데이터 프로세서(SDP)음성 데이터 처리를 간소화하는 툴킷입니다. 이를 통해 데이터 처리 작업을 구성으로 표현할 수 있습니다. file보일러플레이트 코드를 최소화하고 재현성과 공유성을 허용합니다.
- 음성 데이터 탐색기(SDE), Dash 기반 web 음성 데이터 세트의 대화형 탐색 및 분석을 위한 애플리케이션입니다.
- 데이터셋 생성 도구 긴 오디오를 정렬하는 기능을 제공합니다. file해당 전사본과 함께 s를 추출하고 자동 음성 인식(ASR) 모델 훈련에 적합한 짧은 조각으로 분할합니다.
- 비교 도구 ASR 모델은 단어 정확도와 발화 수준에서 다양한 ASR 모델의 예측을 비교합니다.
- ASR 평가자 ASR 모델 및 음성 활동 감지와 같은 기타 기능의 성능을 평가하기 위한 것입니다.
- 텍스트 정규화 도구 글을 말로 표현된 형태로 변환하거나 그 반대로 변환하는 경우(예: "31st" 대 "thirty first").
- 배포 경로
- NeMo 프레임워크를 사용하여 학습되거나 사용자 정의된 NeMo 모델은 NVIDIA Riva를 통해 최적화 및 배포할 수 있습니다. Riva는 버튼 클릭 방식의 배포 단계를 자동화하도록 특별히 설계된 컨테이너와 Helm 차트를 제공합니다.
기타 리소스
- 네모: NeMo Framework의 주요 저장소
- 네모–달리다: 머신 러닝 실험을 구성, 실행 및 관리하는 도구입니다.
- NeMo-Aligner: 효율적인 모델 정렬을 위한 확장 가능한 툴킷
- NeMo-큐레이터: LLM을 위한 확장 가능한 데이터 전처리 및 큐레이션 툴킷
NeMo 커뮤니티에 참여하여 질문하고, 지원을 받고, 버그를 보고하세요.
- NeMo 토론
- NeMo 문제
프로그래밍 언어 및 프레임워크
- 파이썬: NeMo Framework를 사용하기 위한 주요 인터페이스
- 파이토치: NeMo Framework는 PyTorch 기반으로 구축되었습니다.
라이센스
- NeMo Github 저장소는 Apache 2.0 라이선스에 따라 라이선스가 부여됩니다.
- NeMo Framework는 NVIDIA AI 제품 계약에 따라 라이선스가 부여됩니다. 컨테이너를 풀링하고 사용함으로써 귀하는 본 라이선스의 이용 약관에 동의하는 것으로 간주됩니다.
- NeMo 프레임워크 컨테이너에는 Meta Llama3 커뮤니티 라이선스 계약에 따라 관리되는 Llama 자료가 포함되어 있습니다.
각주
현재 NeMo Curator와 NeMo Aligner가 멀티모달 모델을 지원하는 기능은 개발 중이며 곧 제공될 예정입니다.
자주 묻는 질문
질문: 내 시스템이 취약점의 영향을 받는지 어떻게 확인할 수 있나요?
A: 설치된 NVIDIA NeMo Framework 버전을 확인하여 시스템이 영향을 받는지 확인할 수 있습니다. 버전이 24 미만인 경우 시스템이 취약할 수 있습니다.
질문: CVE-2025-23360 보안 문제를 누가 보고했나요?
A: 이 보안 문제는 Or Peles – JFrog Security에서 보고했습니다. NVIDIA는 이들의 기여에 감사를 표합니다.
질문: 향후 보안 공지 알림을 받으려면 어떻게 해야 하나요?
답변: NVIDIA 제품 보안 페이지를 방문하여 보안 게시판 알림을 구독하고 제품 보안 업데이트에 대한 최신 정보를 받으세요.
문서 / 리소스
 |
NVIDIA NeMo 프레임워크 [PDF 파일] 사용자 가이드 NeMo 프레임워크, NeMo, 프레임워크 |