01 / UNDERSTAND
仕組みと使いどころ
NeuronCoreは、AWS InferentiaやAWS Trainiumを利用するNeuron Deviceを構成する実行単位です。各NeuronCoreには、テンソル演算、ベクトル演算、スカラー演算などに対応する複数の実行エンジン、DMAエンジン、ローカルキャッシュがあります。ホストCPUとデバイス間、およびデバイスのDRAMとNeuronCore間のデータ転送にはDMAが使われます。NeuronCoreは単独でも複数連携でも動作しますが、その構成はワークロードの性質と、モデルがどのようにコンパイルされ、NeuronCoreへ読み込まれたかによって決まります。
02 / IN PRACTICE
NeuronCoreの活用例
たとえば、こんな場面で
機械学習モデルをNeuron Deviceで推論または学習させる際、コンパイル済みモデルの処理を1つのNeuronCoreで実行したり、複数のNeuronCoreへ分けて実行したりする構成が考えられます。
03 / GOOD TO KNOW
使うときのポイント
利用可能なNeuronCore数、デバイスメモリ、デバイス間の接続はインスタンス構成によって異なるため、neuron-ls --topologyの出力で確認します。
参考資料
NeuronX Runtime — AWS Neuron Documentation （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。