✨チャットボットで日常をカラフルに✨

Colorful Scoop

Colorful Scoopは、
楽しくおしゃべりできる会話AIを
開発しています！

convmodel

convmodelは、Colorful Scoop が開発している会話モデルの学習・応答生成フレームワークです。

特徴

コード・ドキュメント

GitHub PyPI Document ブログ記事

サンプルコード

>>> from convmodel import ConversationModel
>>> model = ConversationModel.from_pretrained("model")
>>> model.generate(
...     context=["こんにちは", "こんにちは！お元気ですか？"],
...     do_sample=True,
...     top_p=0.9,
...     top_k=50
... )
...
ConversationModelOutput(responses=['はい、元気です。'], context=['こんにちは', 'こんにちは！お元気ですか？'])

会話例

日本語会話を学習した convmodel を搭載したチャットボットとはトップページからお話しできます。

チャットボットとお話しする

学習済みモデル

自然言語処理向け事前学習モデル

gpt2-small-ja

GPT-2 の small サイズを日本語 Wikipedia データセットで学習したモデルです。 トークナイザには SentencePiece を利用しています。

用途: 文の生成

🤗Model Hub 学習コード
sbert-base-ja

bert-base-ja を日本語の Sentence BERT 用にファインチューニングしたモデルです。

用途: 文の類似度計算、意味が似た文を検索

🤗Model Hub 学習コード
bert-base-ja

BERT の base サイズのモデルを日本語 Wikipedia データセットで学習したモデルです。 トークナイザには SentencePiece を利用しています。

用途: 単語の穴埋め、ファインチューニング用の学習済みモデルとして利用

🤗Model Hub 学習コード

ソフトウェア

会話AI開発をサポートするソフトウェア

convf

convf は、会話データの前処理ライブラリです。

一連のフィルターと変換を YAML フォーマットで定義することで、読みやすく再現性に優れた前処理を提供します。 フィルターや変換は拡張可能であるため、必要に応じて自前のフィルターや変換を実装して追加することができます。

GitHub
msgflow

msgFlow はPython製のシンプルなチャットボットフレームワークです。

決められたインターフェースを実装することでコマンドライン上で動く物から Slack 等のサービス上で動くものまでを一つのチャットボット実装で作成可能です。

GitHub PyPI

ドキュメント

自然言語処理に関するドキュメント

NLPクックブック

NLPクックブックでは、自然言語処理で使う手法をすぐに調べて使うことができるようにレシピの形でまとめています。

NLPクックブック