AI LAB / KEYWORD DICTIONARY

基礎知識

Corpus(コーパス)とは?

コーパスとは、機械学習モデルの学習などに用いるために集めた文書の集合です。対象分野の文章をまとめ、モデルへ例示データを提供します。

仕組みと使いどころ

IBMの用語集では、コーパスはワークスペースに追加され、機械学習モデルの学習に使われる元文書の集合と定義されています。文書から学習用データを準備したり、必要に応じて一部を訓練用・テスト用などの文書セットに分けたりする基盤になります。ただし、コーパスは文書の集合そのものを指し、正しい注釈やモデルの精度を自動的に保証するものではありません。

Corpusの活用例

たとえば、こんな場面で

特定分野の文章を理解するモデルを作る場合、その分野の資料をコーパスとして集め、関連する語句や関係を注釈したうえで学習データとして利用する、といった活用が考えられます。

使うときのポイント

コーパスを扱う際は、収録文書が利用目的や対象分野に合っているかを確認します。また、コーパスと、注釈済みの正解データや訓練・テスト用の文書セットを区別することが重要です。

参考資料

Glossary | IBM Cloud Docs (新しいタブで開きます)

用語の説明や活用例に関連する参考資料です。

READ & LEARN

用語を知ったら、活用を知る。

AI LABで、AIの動向や業務に取り入れるヒントを読む。

記事一覧を見る