01 / UNDERSTAND
仕組みと使いどころ
NVIDIA NeMo Curatorは、複数の形式に対応するデータキュレーション用ライブラリである。テキストではフィルタリング、形式調整、重複除去、画像とテキストのデータでは埋め込み、分類、意味的重複除去を扱う。動画では分割やシャーディングを含むGPU対応パイプライン、音声ではASRモデルによる文字起こし、品質評価、フィルタリングに対応する。対象形式と目的に応じてワークフローを構成して利用する。
02 / IN PRACTICE
NVIDIA NeMo Curatorの活用例
たとえば、こんな場面で
LLM学習用テキストの形式を整え、条件に合わない文書や重複データを除去する処理を組み合わせる。音声データでは、文字起こしと品質フィルタリングを含むワークフローを構築できる。
03 / GOOD TO KNOW
使うときのポイント
対象がテキスト、画像、動画、音声のどれかを明確にし、使用するバージョンの公式ドキュメントで対応する処理を確認する。
参考資料
NeMo Curator Documentation | NeMo Curator （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。