01 / UNDERSTAND
仕組みと使いどころ
Neuron Runtimeは、カーネルドライバーとC/C++ライブラリから構成される。Neuron Executable File Format（NEFF）のモデルをNeuronCoreへ読み込み、モデル実行、メモリ管理、NeuronCoreの割り当て、デバイス検出、資源管理、複数コア間の集合通信などを担う。PyTorch、TensorFlow、JAX、Apache MXNetなどのフレームワーク統合を支える基盤であり、通常はフレームワーク用プラグインを通じて利用される。独自フレームワークや低水準のデバイス制御が必要な開発者向けには、直接利用できるC/C++ APIも用意されている。Inferentia2で実行するモデルは事前にNeuron向けへコンパイルされ、ランタイムが生成されたNEFFをデバイスへ読み込む。
02 / IN PRACTICE
Neuron Runtimeの活用例
たとえば、こんな場面で
PyTorchモデルをNeuron向けにコンパイルしてNEFFを生成し、Neuron RuntimeがInf2インスタンスのNeuronCoreへ読み込んで推論を実行する。
03 / GOOD TO KNOW
使うときのポイント
利用するインスタンス、Neuron SDK、フレームワーク統合の対応状況を確認し、モデルに必要なアクセラレータメモリとNeuronCore数を割り当てる。
参考資料
aws-neuron-sdk/neuron-runtime/index.rst at master · aws-neuron/aws-neuron-sdk （新しいタブで開きます）Use AWS Inferentia instances with Amazon EKS for Machine Learning （新しいタブで開きます）Optimize AWS Inferentia utilization with FastAPI and PyTorch models on Amazon EC2 Inf1 & Inf2 instances | Amazon Web Services （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。