{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "1a173b4d",
   "metadata": {},
   "source": [
    "# アノテーション結果の検証\n",
    "\n",
    "データから規則を学習する機械学習では、データの内容に従って学習を行うためデータが最も重要になります。\n",
    "\n",
    "あるタスクについて機械学習したい場合の多くは、公開されているデータセットをそのまま使えることは少なく、\n",
    "自分でアノテーションを設計・実行し、その結果を検証する必要があります。\n",
    "ここでは、アノテーション結果の検証と改善方法についてみていきましょう。\n",
    "\n",
    "今回は例として、公開されている[JRTEコーパス](https://github.com/megagonlabs/jrte-corpus)を利用します。\n",
    "タスクとしては、投稿される宿のレビューを分類し、効率的にネガティブな意見を確認したいとします。\n",
    "\n",
    "そのためにはまずは宿のレビューに対してポジネガのラベルを付与します。\n",
    "ラベル付与のためにアノテーションを設計し、マニュアルを作成しアノテータにラベル付けを依頼します。\n",
    "\n",
    "ここでは、JRTEコーパスに従って、次のように設計したとします。\n",
    "\n",
    "* 一つのレビューに対して3名でアノテーションを行う\n",
    "* positiveであれば1, neutralであれば0, negativeであれば-1のラベルを付与\n",
    "\n",
    "今回はすでにこの方針でアノテーションが完了したとして、その結果の確認・改善方法についてみていきたいと思います。\n",
    "\n",
    "```{note}\n",
    "以下でJRTEコーパスのアノテーション結果についてみていきますが、アノテーション結果とはタスクに依存するものです。\n",
    "今回設定したタスクはJRTEコーパスでアノテーションしている感情極性ラベルのタスクと一致していない可能性があります。\n",
    "\n",
    "ですので、ここでのアノテーション結果の検証内容は、あくまで今回設定したタスクに対してアノテーションが行われたと仮定したときの話であり、\n",
    "JRTEコーパスのアノテーション結果そのものに対する意見ではないことに注意してください。\n",
    "```\n",
    "\n",
    "まずはアノテーション済みの結果ファイルをロードします。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "f9e6c0a4",
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "\n",
    "data = pd.read_csv(\"input/pn.csv\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "a3701f3a",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>label</th>\n",
       "      <th>text</th>\n",
       "      <th>judges</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>neutral</td>\n",
       "      <td>出張でお世話になりました。</td>\n",
       "      <td>{\"0\": 3}</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>neutral</td>\n",
       "      <td>朝食は普通でした。</td>\n",
       "      <td>{\"0\": 3}</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>positive</td>\n",
       "      <td>また是非行きたいです。</td>\n",
       "      <td>{\"1\": 3}</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>positive</td>\n",
       "      <td>また利用したいと思えるホテルでした。</td>\n",
       "      <td>{\"1\": 3}</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>positive</td>\n",
       "      <td>駅から近くて便利でした。</td>\n",
       "      <td>{\"0\": 1, \"1\": 2}</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "      label                text            judges\n",
       "0   neutral       出張でお世話になりました。          {\"0\": 3}\n",
       "1   neutral           朝食は普通でした。          {\"0\": 3}\n",
       "2  positive         また是非行きたいです。          {\"1\": 3}\n",
       "3  positive  また利用したいと思えるホテルでした。          {\"1\": 3}\n",
       "4  positive        駅から近くて便利でした。  {\"0\": 1, \"1\": 2}"
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "data.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "43f03838",
   "metadata": {},
   "source": [
    "## Excelファイルで確認する\n",
    "\n",
    "まずはアノテーション結果を目視で確認しましょう。\n",
    "結果を確認するときは、全体をざっとみた後に、ラベルでフィルタリングして内容を丁寧に見ていくのがおすすめです。\n",
    "\n",
    "Pandasで結果を表示するだけでは、全体像を把握することが難しい場合も多いため、\n",
    "慣れているツールのフィルターが使えるように結果を出力しましょう。\n",
    "\n",
    "例えばエクセルに出力するには to_excel を使えます。\n",
    "\n",
    "```{note}\n",
    "エクセルに出力する場合には openpyxl のインストールが必要です。\n",
    "\n",
    "    $ pip install openpyxl==3.0.9\n",
    "\n",
    "```"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "id": "20f6e053",
   "metadata": {},
   "outputs": [],
   "source": [
    "data.to_excel(\"input/pn.xlsx\")"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "bb0a2f66",
   "metadata": {},
   "source": [
    "## 一致率を確認する\n",
    "\n",
    "アノテーションでは、アノテーションマニュアルがどの程度信頼できる質かを確認するために\n",
    "ひとつのサンプルに対して複数人でアノテーションを行い、アノテーションされたラベルにどの程度の揺れがあるかの\n",
    "一致率を確認することが一般的です。\n",
    "\n",
    "一致率を見るために`judges`カラムのキーの数をカウントしてみてみましょう。\n",
    "キーがひとつの時は一致していることを、2以上の場合は一致していないことを表しています。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "2d876047",
   "metadata": {},
   "outputs": [],
   "source": [
    "import json\n",
    "\n",
    "# サンプルに対してキーが一つであれば全員のアノテーション結果が一致していることを表す\n",
    "annot_consistency = data[\"judges\"].apply(lambda x: len(json.loads(x))).value_counts()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "id": "d5a6cff5",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "1    4186\n",
       "2    1330\n",
       "3      37\n",
       "Name: judges, dtype: int64"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "annot_consistency"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e111a8c8",
   "metadata": {},
   "source": [
    "一致率を計算してみましょう。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "id": "17ebef99",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0.7538267603097425"
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "annot_consistency.loc[1] / annot_consistency.sum()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c5da4686",
   "metadata": {},
   "source": [
    "この結果を見ると、75%の一致率、つまり25%程度の結果でアノテーションの結果が揺れていることがわかります。\n",
    "これは、4つのアノテーション結果をみるとだいたい一つはアノテーションラベルが揺れていることになります。\n",
    "\n",
    "この一致率をどう判断するかはタスクに依存しますが、今回は25%の揺れは大きいと判断して、揺れを小さくする方針を検討することにしましょう。"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "8687a1d4",
   "metadata": {},
   "source": [
    "## 揺れへの対策を検討\n",
    "\n",
    "アノテーション結果の揺れが大きいと言うことは、\n",
    "判断基準がはっきりしていないため人間がサンプルを確認してもどのようにラベル付けしていいのかわからない状態\n",
    "であると言えます。\n",
    "このような状態では、機械でも自動で判定するのは難しい状況です。\n",
    "\n",
    "ここでの対策は、アノテーション結果が一致していないサンプルを確認し、アノテーションマニュアルを改訂することです。\n",
    "\n",
    "アノテーション結果が一致していないサンプルを、例えばExcelのフィルターの機能で確認し、主要なケースを書き出してみましょう。\n",
    "例えば次のようなケースが考えられます。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "id": "25631c8d",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>label</th>\n",
       "      <th>text</th>\n",
       "      <th>judges</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>14</th>\n",
       "      <td>negative</td>\n",
       "      <td>と感じてしまいました。</td>\n",
       "      <td>{\"-1\": 2, \"0\": 1}</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>92</th>\n",
       "      <td>neutral</td>\n",
       "      <td>初めて利用です。</td>\n",
       "      <td>{\"0\": 2, \"1\": 1}</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>263</th>\n",
       "      <td>negative</td>\n",
       "      <td>天気は雨。</td>\n",
       "      <td>{\"-1\": 2, \"0\": 1}</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "        label         text             judges\n",
       "14   negative  と感じてしまいました。  {\"-1\": 2, \"0\": 1}\n",
       "92    neutral     初めて利用です。   {\"0\": 2, \"1\": 1}\n",
       "263  negative        天気は雨。  {\"-1\": 2, \"0\": 1}"
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "data.query('text in [\"と感じてしまいました。\", \"初めて利用です。\", \"天気は雨。\"]')"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "40873071",
   "metadata": {},
   "source": [
    "1番目のケースでは入力が文として成り立っていません。\n",
    "このようなケースはサンプルとして不適切なので学習データから除く方針が一つ考えられます。\n",
    "その上で、実際の入力に不完全な文が多い場合には別途学習データ追加していくことが考えられるでしょう。\n",
    "\n",
    "2, 3番目のケースでは、感情に関わらない事実を述べています。\n",
    "このようなケースではニュートラルにつけてらもうようにアノテーションマニュアルに具体例を追加する方針が考えられます。"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "5404e3ac",
   "metadata": {},
   "source": [
    "一方で、本質的にアノテーションが難しいケースもあります。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "id": "e644b0dd",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>label</th>\n",
       "      <th>text</th>\n",
       "      <th>judges</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>2285</th>\n",
       "      <td>positive</td>\n",
       "      <td>部屋は必要十分。</td>\n",
       "      <td>{\"0\": 1, \"1\": 2}</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2684</th>\n",
       "      <td>neutral</td>\n",
       "      <td>豪華さはありません。</td>\n",
       "      <td>{\"-1\": 1, \"0\": 2}</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2888</th>\n",
       "      <td>neutral</td>\n",
       "      <td>風呂も普通です。</td>\n",
       "      <td>{\"-1\": 1, \"0\": 1, \"1\": 1}</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3089</th>\n",
       "      <td>neutral</td>\n",
       "      <td>値段を考えれば妥当だと思います。</td>\n",
       "      <td>{\"-1\": 1, \"0\": 2}</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "         label              text                     judges\n",
       "2285  positive          部屋は必要十分。           {\"0\": 1, \"1\": 2}\n",
       "2684   neutral        豪華さはありません。          {\"-1\": 1, \"0\": 2}\n",
       "2888   neutral          風呂も普通です。  {\"-1\": 1, \"0\": 1, \"1\": 1}\n",
       "3089   neutral  値段を考えれば妥当だと思います。          {\"-1\": 1, \"0\": 2}"
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "data.query('text in [\"豪華さはありません。\", \"風呂も普通です。\", \"部屋は必要十分。\", \"値段を考えれば妥当だと思います。\"]')"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "217c0ee9",
   "metadata": {},
   "source": [
    "これらのアノテーションをどうするかはタスクの方針を考えて事前に判断しておく必要があるでしょう。\n",
    "例えばなるべくネガティブの内容を抽出したいのであれば、2番目の例はネガティブに判断するのがよいでしょう。\n",
    "\n",
    "このように、タスクに合わせてアノテーションの方針を設計するのが重要です。"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "b3080a90",
   "metadata": {},
   "source": [
    "## 最終的なアノテーションラベル\n",
    "\n",
    "アノテーションマニュアルを改訂してアノテーション結果の揺れを改善し、許容できる内容になったとしましょう。\n",
    "その上で最終的なラベルの決定方法について考えていきます。\n",
    "\n",
    "アノテーション結果は程度の差はあれど、複数人でジャッジをした場合はラベルに揺れが発生します。\n",
    "揺れがあるサンプルに対して、最終的なラベルを決定する方法として次の二つが大きく挙げられます。\n",
    "\n",
    "* 揺れがあるサンプルは除外する\n",
    "* 揺れがある場合、多数決で最終的なラベルを決める\n",
    "\n",
    "「揺れがあるサンプルは除外する」方法で学習データを作成した場合、\n",
    "データがアノテーションマニュアルに従って整合性が取れているため学習に適していると考えられます。\n",
    "一方で、揺れがあるサンプルは除外してしまうため、学習データが実際の入力を十分にカバーしない可能性が上がります。\n",
    "\n",
    "「多数決で最終的なラベルを決める」方法は「揺れがあるサンプルは除外する」場合の逆のことが言えます。\n",
    "\n",
    "どちらの方針を使えばいいかはデータを見て最終的な判断を下すべきですが、\n",
    "マニュアルが十分整備されて一致率が大きくなっている状況であれば、マニュアルが信頼にたる質に達していると考えて、\n",
    "揺れがある場合でも多くの人が判断した結果にはマニュアル上から読み取れる理由が入っているとして\n",
    "多数決を取る方針がよいでしょう。\n",
    "\n",
    "一方で、一致率が小さい場合には、マニュアルの質が疑わしく、結果アノテーション結果に信頼が持てないため\n",
    "揺れがないサンプルのみを利用する方針がよいでしょう。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "id": "11d4f684",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>label</th>\n",
       "      <th>text</th>\n",
       "      <th>judges</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>neutral</td>\n",
       "      <td>出張でお世話になりました。</td>\n",
       "      <td>{\"0\": 3}</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>neutral</td>\n",
       "      <td>朝食は普通でした。</td>\n",
       "      <td>{\"0\": 3}</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>positive</td>\n",
       "      <td>また是非行きたいです。</td>\n",
       "      <td>{\"1\": 3}</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>positive</td>\n",
       "      <td>また利用したいと思えるホテルでした。</td>\n",
       "      <td>{\"1\": 3}</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>neutral</td>\n",
       "      <td>新婚旅行で利用しました。</td>\n",
       "      <td>{\"0\": 3}</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "      label                text    judges\n",
       "0   neutral       出張でお世話になりました。  {\"0\": 3}\n",
       "1   neutral           朝食は普通でした。  {\"0\": 3}\n",
       "2  positive         また是非行きたいです。  {\"1\": 3}\n",
       "3  positive  また利用したいと思えるホテルでした。  {\"1\": 3}\n",
       "4   neutral        新婚旅行で利用しました。  {\"0\": 3}"
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 揺れがあるサンプルは除外する場合\n",
    "data[data[\"judges\"].apply(lambda x: len(json.loads(x)) == 1)].reset_index(drop=True).head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "id": "b7110a87",
   "metadata": {},
   "outputs": [],
   "source": [
    "# 多数決で最終的なラベルを決める場合\n",
    "def judge_label(judges):\n",
    "    # ジャッジが多い順にソート\n",
    "    # ジャッジが同じ場合はnegative, neutral, positiveの順にソート\n",
    "    label, num = list(sorted(judges.items(), key=lambda x: (-x[1], int(x[0]))))[0]\n",
    "    mapper = {\"-1\": \"negative\", \"0\": \"positive\", \"1\": \"neutral\"}\n",
    "    return mapper[label]\n",
    "\n",
    "label = data[\"judges\"].apply(lambda x: judge_label(json.loads(x)))\n",
    "data[\"label\"] = label"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "id": "cfb49574",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>label</th>\n",
       "      <th>text</th>\n",
       "      <th>judges</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>positive</td>\n",
       "      <td>出張でお世話になりました。</td>\n",
       "      <td>{\"0\": 3}</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>positive</td>\n",
       "      <td>朝食は普通でした。</td>\n",
       "      <td>{\"0\": 3}</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>neutral</td>\n",
       "      <td>また是非行きたいです。</td>\n",
       "      <td>{\"1\": 3}</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>neutral</td>\n",
       "      <td>また利用したいと思えるホテルでした。</td>\n",
       "      <td>{\"1\": 3}</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>neutral</td>\n",
       "      <td>駅から近くて便利でした。</td>\n",
       "      <td>{\"0\": 1, \"1\": 2}</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "      label                text            judges\n",
       "0  positive       出張でお世話になりました。          {\"0\": 3}\n",
       "1  positive           朝食は普通でした。          {\"0\": 3}\n",
       "2   neutral         また是非行きたいです。          {\"1\": 3}\n",
       "3   neutral  また利用したいと思えるホテルでした。          {\"1\": 3}\n",
       "4   neutral        駅から近くて便利でした。  {\"0\": 1, \"1\": 2}"
      ]
     },
     "execution_count": 11,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "data.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "bb923c5e",
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.6"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}