English | 中文 | 日本語

はじめに

ModelScope は、"Model-as-a-Service"(MaaS) の概念に基づいて構築されています。AI コミュニティから最も先進的な機械学習モデルを集め、実世界のアプリケーションで AI モデルを活用するプロセスを合理化することを目指しています。このリポジトリでオープンソース化されている中核となる ModelScope ライブラリは、開発者がモデルの推論、トレーニング、評価を実行するためのインターフェースと実装を提供します。

特に、API 抽象化の豊富なレイヤーにより、ModelScope ライブラリは、CV、NLP、音声、マルチモダリティ、科学計算などのドメインにまたがる最先端のモデルを探索するための統一された体験を提供します。様々な分野のモデル貢献者は、レイヤー化された API を通じてモデルを ModelScope エコシステムに統合することができ、モデルへの容易で統一されたアクセスを可能にします。一旦統合されると、モデルの推論、微調整、および評価は、わずか数行のコードで行うことができます。一方、モデルアプリケーションの様々なコンポーネントを必要に応じてカスタマイズできるように、柔軟性も提供されています。

ModelScope ライブラリは、様々なモデルの実装を保持するだけでなく、ModelScope のバックエンドサービス、特に Model-Hub と Dataset-Hub との必要な相互作用も可能にします。このような相互作用により、エンティティの検索、バージョン管理、キャッシュ管理など、様々なエンティティ（モデルやデータセット）の管理をアンダーザフードでシームレスに実行することができます。

モデルとオンラインアクセシビリティ

ModelScope では、NLP、CV、オーディオ、マルチモダリティ、科学のための AI などの分野の最新開発を網羅した、何百ものモデルが一般公開されています（700 以上、カウント中）。これらのモデルの多くは、特定の分野における SOTA を代表するものであり、ModelScope でオープンソースとしてデビューしました。ユーザーは、ModelScope(modelscope.cn) にアクセスし、数回クリックするだけで、オンライン体験を通じて、これらのモデルがどのように機能するかを直接体験することができます。また、ModelScope をワンクリックするだけで、クラウド上のすぐに使える CPU/GPU 開発環境に支えられた ModelScope ノートブックを通じて、すぐに開発者体験が可能です。

代表的な例をいくつか挙げると:

大きなモデル:

Yi-1.5-34B-Chat
Qwen1.5-110B-Chat
DeepSeek-V2-Chat
Ziya2-13B-Chat
Meta-Llama-3-8B-Instruct
Phi-3-mini-128k-instruct

マルチモーダル:

Qwen-VL-Chat
Yi-VL-6B
InternVL-Chat-V1-5
deepseek-vl-7b-chat
OpenSoraPlan
OpenSora
I2VGen-XL

CV:

cv_controlnet_controllable-image-generation_nine-annotators
cv_tinynas_object-detection_damoyolo
cv_unet_person-image-cartoon_compound-models
cv_convnextTiny_ocr-recognition-general_damo
cv_resnet18_human-detection
cv_resnet50_face-detection_retinaface
cv_unet_image-matting
cv_F3Net_product-segmentation
cv_resnest101_general_recognition

音声:

speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch
speech_sambert-hifigan_tts_zh-cn_16k
speech_charctc_kws_phone-xiaoyun
u2pp_conformer-asr-cn-16k-online
speech_fsmn_vad_zh-cn-16k-common-pytorch
punc_ct-transformer_zh-cn-common-vocab272727-pytorch
speech_frcrn_ans_cirm_16k
speech_dfsmn_aec_psm_16k

科学用 AI:

uni-fold-monomer
uni-fold-multimer

注: ModelScope のほとんどのモデルは公開されており、アカウント登録なしで modelscope のウェブサイト(www.modelscope.cn)からダウンロードすることができます。modelscope のライブラリや git が提供する api を使用してモデルをダウンロードするには、モデルのダウンロードの説明を参照してください。

クイックツアー

様々なタスクに対して、pipeline による推論、Trainer による微調整と評価のための統一されたインターフェースを提供します。

入力の種類（画像、テキスト、音声、動画...）を問わず、推論パイプラインはわずか数行のコードで実装することができます。:

>>> from modelscope.pipelines import pipeline
>>> word_segmentation = pipeline('word-segmentation',model='damo/nlp_structbert_word-segmentation_chinese-base')
>>> word_segmentation('今天天气不错，适合出去游玩')
{'output': '今天 天气 不错 ， 适合 出去 游玩'}

画像があれば、ポートレート・マット（別名、背景除去）は次のコード・スニペットで実現できます:

>>> import cv2
>>> from modelscope.pipelines import pipeline

>>> portrait_matting = pipeline('portrait-matting')
>>> result = portrait_matting('https://modelscope.oss-cn-beijing.aliyuncs.com/test/images/image_matting.png')
>>> cv2.imwrite('result.png', result['output_img'])

背景を除去した出力画像は次のようになります:

ファインチューニングと評価も、トレーニングデータセットとトレーナーをセットアップする数行のコードで行うことができ、モデルのトレーニングと評価の重い作業は traner.train() と trainer.evaluate() インターフェースの実装にカプセル化されています。

例えば、gpt3 の基本モデル（1.3B）を中国語詩のデータセットでファインチューニングすることで、中国語詩の生成に使用できるモデルを得ることができる。

>>> from modelscope.metainfo import Trainers
>>> from modelscope.msdatasets import MsDataset
>>> from modelscope.trainers import build_trainer

>>> train_dataset = MsDataset.load('chinese-poetry-collection', split='train'). remap_columns({'text1': 'src_txt'})
>>> eval_dataset = MsDataset.load('chinese-poetry-collection', split='test').remap_columns({'text1': 'src_txt'})
>>> max_epochs = 10
>>> tmp_dir = './gpt3_poetry'

>>> kwargs = dict(
     model='damo/nlp_gpt3_text-generation_1.3B',
     train_dataset=train_dataset,
     eval_dataset=eval_dataset,
     max_epochs=max_epochs,
     work_dir=tmp_dir)

>>> trainer = build_trainer(name=Trainers.gpt3_trainer, default_args=kwargs)
>>> trainer.train()

ModelScope ライブラリを使用する理由

統一された簡潔なユーザーインターフェースは、異なるタスクや異なるモデル用に抽象化されている。モデルの推論とトレーニングは、それぞれわずか 3 行と 10 行のコードで実装できる。ModelScope コミュニティで異なる分野のモデルを探索するのに便利です。ModelScope に統合されたモデルはすべてすぐに使用できるため、教育現場でも産業現場でも、AI を簡単に使い始めることができます。
ModelScope は、モデル中心の開発とアプリケーション体験を提供します。モデルのトレーニング、推論、エクスポート、デプロイメントのサポートを合理化し、ユーザーが ModelScope エコシステムに基づいて独自の MLO を構築することを容易にします。
モデルの推論とトレーニングのプロセスでは、モジュール設計が導入され、豊富な機能モジュールの実装が提供され、ユーザーが独自のモデルの推論、トレーニング、その他のプロセスをカスタマイズするのに便利です。
分散モデル学習、特に大規模モデルに対しては、データ並列、モデル並列、ハイブリッド並列など、豊富な学習ストラテジーサポートを提供する。

インストール

Docker

ModelScope ライブラリは現在、PyTorch、TensorFlow、ONNX を含む、モデルの学習と推論のための一般的なディープラーニングフレームワークをサポートしています。すべてのリリースは、Python 3.7+、Pytorch 1.8+、Tensorflow1.15、または Tensorflow2.0+ でテストされ、実行されます。

ModelScope のすべてのモデルをすぐに使えるようにするため、すべてのリリースで公式の docker イメージが提供されています。開発者はこの docker イメージをベースに、環境のインストールや設定をすべて省略して直接使用することができます。現在、CPU イメージと GPU イメージの最新バージョンは以下から入手できます:

CPU docker イメージ

# py37
registry.cn-hangzhou.aliyuncs.com/modelscope-repo/modelscope:ubuntu20.04-py37-torch1.11.0-tf1.15.5-1.6.1

# py38
registry.cn-hangzhou.aliyuncs.com/modelscope-repo/modelscope:ubuntu20.04-py38-torch2.0.1-tf2.13.0-1.9.5

GPU docker イメージ

# py37
registry.cn-hangzhou.aliyuncs.com/modelscope-repo/modelscope:ubuntu20.04-cuda11.3.0-py37-torch1.11.0-tf1.15.5-1.6.1

# py38
registry.cn-hangzhou.aliyuncs.com/modelscope-repo/modelscope:ubuntu20.04-cuda11.8.0-py38-torch2.0.1-tf2.13.0-1.9.5

ローカル Python 環境のセットアップ

pip と conda を使って、ModelScope のローカル環境を構築することもできます。ローカルの Python 環境を構築するには anaconda をお勧めします:

conda create -n modelscope python=3.7
conda activate modelscope

PyTorch または TensorFlow は、それぞれのモデルの要件に応じて個別にインストールすることができます。

pytorch のインストール doc
Tensorflow のインストール doc

必要な機械学習フレームワークをインストールした後、以下のように modelscope ライブラリをインストールします:

モデル／データセットのダウンロードを試したり、modelscope フレームワークで遊びたいだけなら、modelscope のコア・コンポーネントをインストールすることができます:

pip install modelscope

マルチモーダルモデルを使いたい場合:

pip install modelscope[multi-modal]

nlp モデルを使いたい場合:

pip install modelscope[nlp] -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html

CV モデルを使いたい場合:

pip install modelscope[cv] -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html

オーディオモデルを使用したい場合:

pip install modelscope[audio] -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html

科学モデルを使いたい場合:

pip install modelscope[science] -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html

備考:

現在、一部のオーディオタスクモデルは python3.7、tensorflow1.15.4 の Linux 環境のみに対応しています。他のほとんどのモデルは Windows と Mac(x86) にインストールして使うことができます。
オーディオ分野では、wav ファイルの処理にサードパーティ製のライブラリ SoundFile を使用している機種がある。Linux では、SoundFile の libsndfile(doc link) を手動でインストールする必要があります。Windows や MacOS では、ユーザーが操作しなくても自動的にインストールされる。例えば、Ubuntu の場合、以下のコマンドでインストールできます:
```
sudo apt-get update
sudo apt-get install libsndfile1
```
コンピュータビジョンのモデルによっては mmcv-full が必要です。mmcv インストールガイドを参照してください。最小限のインストールは以下の通りです:
```
pip uninstall mmcv # mmcv をインストールしている場合は、アンインストールしてください
pip install -U openmim
mim install mmcv-full
```

詳細

私たちは、以下のような追加書類を提供します:

より詳細なインストールガイド
タスクの紹介
モデル推論にパイプラインを使う
ファインチューニング例
データの前処理
評価
ModelScope に自分のモデルを投稿する

ライセンス

このプロジェクトのライセンスは Apache License (Version 2.0) です。

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Uh oh!