01 / UNDERSTAND
仕組みと使いどころ
Neuron Explorerは、AWS Neuronに含まれるオープンソースのプロファイリング・デバッグ環境です。PyTorch、JAX、Neuron Kernel Interface（NKI）の実行を、ソースコードからハードウェア処理まで階層的に追跡できます。System Trace Viewerでは、システムトレースや複数デバイスの動作状況を確認できます。また、収集したプロファイルを分析し、処理上のボトルネック、シャーディング方針、カーネル最適化に関する提案を示す機能があります。対象はAWS TrainiumおよびAWS Inferentiaを利用するNeuronワークロードであり、あらゆる計算環境に対応する汎用プロファイラーではありません。
02 / IN PRACTICE
Neuron Explorerの活用例
たとえば、こんな場面で
Trainium上で学習処理が想定より遅い場合に、Neuron Explorerで実行トレースを確認し、どのソースコードやハードウェア処理に時間がかかっているかを調べる、といった活用が考えられます。
03 / GOOD TO KNOW
使うときのポイント
最適化前後のプロファイルを比較し、提案された変更が実際のワークロードで改善につながるかを確認します。利用可能な機能はNeuron SDKのバージョンによって確認してください。
参考資料
AWS Neuron - AWS （新しいタブで開きます）AWS Neuron SDK 2.29.0 now available with NKI and Neuron Explorer out of Beta, a new CPU Simulator, and an expanded NKI Library - AWS （新しいタブで開きます）GitHub - aws-neuron/aws-neuron-sdk: Powering AWS purpose-built machine learning chips. Blazing fast and cost effective, natively integrated into PyTorch and TensorFlow and integrated with your favorit （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。