Amazon SageMaker Studioの基本的な使い方(4)

前回は Amazon SageMaker Autopilotを使って機械学習モデルの構築を行いました。今回は機械学習モデルを推論エンドポイントとしてデプロイし、精度検証を行います。

ステップ6：最適なモデルをデプロイする

SageMaker Autopilotの実験が完了したら、次は推論を行うために機械学習モデルのデプロイを行い、推論エンドポイントを作成します。「Best」の表示がある行を選択した状態で右上の「Deploy model」を選択するか、右クリックで「Deploy model」を選択します。

ここで、「REALTIME DEPLOYMENT SETTINGS」でデプロイ（推論エンドポイント) の設定を行います。

ここでも原則としてデフォルト値を設定します。各設定値の説明を簡単にまとめておくので、実際の業務で利用する際は参考にしてください

設定の完了後に「Deploy model」を選択します。推論インスタンスの作成と機械学習モデルのデプロイが行われます。

上記の画面では進行状況がわかりづらいため、「Experiments and trials」と表示されているプルダウンメニューから、「Endpoint」を選択して移動します。「Endpoint status」が「Creating」から「InService」となれば完了です。

ステップ7：モデルを使用して予測を行う

推論エンドポイントのデプロイまで完了しましたので、最後に実際に推論を実施して精度を検証してみましょう。

実行するコード

ノートブックのセルに下記のコードをコピー＆ペーストして実行してください。なお、「ep_name」はステップ6で設定した「Endpoint name」と一致させる必要があります。

import boto3, sys

ep_name = 'tutorial-autopilot-best-model'  #（著者追記) ステップ6で設定した「Endpoint name」と一致させること
sm_rt = boto3.Session().client('runtime.sagemaker')

tn=tp=fn=fp=count=0

with open('bank-additional/bank-additional-full.csv') as f:
    lines = f.readlines()
    for l in lines[1:2000]:   # Skip header
        l = l.split(',')      # Split CSV line into features
        label = l[-1]         # Store 'yes'/'no' label
        l = l[:-1]            # Remove label
        l = ','.join(l)       # Rebuild CSV line without label

        response = sm_rt.invoke_endpoint(EndpointName=ep_name,
                                        ContentType='text/csv',
                                        Accept='text/csv', Body=l)

        response = response['Body'].read().decode("utf-8")
        #print（"label %s response %s" %(label,response))

        if 'yes' in label:
            # Sample is positive
            if 'yes' in response:
                # True positive
                tp=tp+1
            else:
                # False negative
                fn=fn+1
        else:
            # Sample is negative
            if 'no' in response:
                # True negative
                tn=tn+1
            else:
                # False positive
                fp=fp+1
        count = count+1
        if（count % 100 == 0):
            sys.stdout.write(str(count)+' ')

print（"Done")

accuracy  =（tp+tn)/(tp+tn+fp+fn)
precision = tp/(tp+fp)
recall    = tn/(tn+fn)
f1        =（2*precision*recall)/(precision+recall)

print（"%.4f %.4f %.4f %.4f" %（accuracy, precision, recall, f1))

推論が100個行われるごとに数字が表示され、「Done」が表示されると完了です。表示される4つの数字は、左から「正確度（accuracy)」「適合率（precision)」「再現率（recall)」「F1値（F-measure)」を表します。

コードの解説

ここでは、「bank-additional-full.csv」のヘッダ行を除いた最初の2,000行を精度検証用のテストデータとして利用しています^※ 。

response = sm_rt.invoke_endpoint(EndpointName=ep_name,
                                 ContentType='text/csv',
                                 Accept='text/csv', Body=l)

AWS SDK for Python(Boto3)のSageMakerRuntimeクラスのinvoke_endpointメソッドを使ってテストデータを1行ずつ推論エンドポイントに送信し、その応答として推論結果を取得しています。

if 'yes' in label:
    # Sample is positive
    if 'yes' in response:
        # True positive
        tp=tp+1
    else:
        # False negative
        fn=fn+1
else:
    # Sample is negative
    if 'no' in response:
        # True negative
        tn=tn+1
    else:
        # False positive
        fp=fp+1

上記のコードでは、推論結果を基にして混同行列を計算しています。前回のチュートリアルではPandasのcrosstab関数を使っていましたが、今回のチュートリアルでは手動で計算を行っています。

「正確度（accuracy)」「適合率（precision)」「再現率（recall)」「F1値(F-measure)」は、機械学習モデルの精度を評価する際によく用いられる指標であり、それぞれ下記を意味します。

• 正確度（accuracy）：予測したもののうち、正しく定期預金を申し込む／申し込まないを予測できた割合（今回は0.9895)

• 適合率（precision）：定期預金を申し込むと予測したもののうち、正しく定期預金を申し込むと予測できた割合（今回は0.6909)

• 再現率（recall）：実際に定期預金を申し込んだもののうち、正しく定期預金を申し込むと予測できた割合（今回は0.9979)

• F1値（F-measure）：適合率と再現率の調和平均（今回は0.8165)

今回の精度検証では、正確度と再現率が高い一方で、適合率が低くなっています。適合率の定義は、「定期預金を申し込むと予測したもののうち、正しく定期預金を申し込むと予測できた割合」を表すため、「定期預金を申し込むと予測した誤検出」が多いと言えます。

本連載の第8回で確認したように、このチュートリアルのデータは「定期預金を申し込んだ顧客」のデータ数が不足している「不均衡データ」でした。このデータはオープンデータなのでデータ数を増やすことはできませんが、実際の業務で同様の事象が発生した場合は、定期預金を申し込んだ顧客のデータ数を増やすと指標値が改善する可能性があります。

※　厳密に言うと、このように学習に用いたデータを精度検証に用いるのは正しい方法ではありません。今回はチュートリアルに従いましたが、正しく評価するためには、本連載の第6回で紹介したようにNumPyのメソッドやPandasのsampleメソッドを使うなどして、学習に利用しなかったデータをテストデータに採用して精度検証を行うべきでしょう。

ステップ8：クリーンアップ

以下が課金要素となるため、必要に応じて削除を行います。

• 推論エンドポイント
• S3バケットに格納したデータ

ノートブックのセルに次のコードをそれぞれコピー＆ペーストして実行してください。なお、「ACCOUNT_NUMBER」部分はご自身のAWSアカウントの12ケタの数字に読み替えてください。

sess.delete_endpoint(endpoint_name=ep_name)

%%sh
aws s3 rm --recursive s3://sagemaker-ap-northeast-1-ACCOUNT_NUMBER/sagemaker/tutorial-autopilot/

また、Amazon SageMaker Studioを削除する場合は、以下の手順で行います。

「SageMaker Studio コントロールパネル」に移動し、削除対象の「ユーザー名」を選択します。

下図の赤枠内に示す「アプリを削除」を選択します。

下図の赤枠内に示す「はい、アプリを削除します」を選択し、テキストボックスに「削除」と入力して、「削除」を選択します。

数分程度待って、アプリの「ステータス」が「Deleted」になったことを確認できたら、「ユーザーを削除」を選択します。

下図の赤枠内に示す「はい、ユーザーを削除します」を選択し、テキストボックスに「削除」と入力して、「削除」を選択します。

*　*　*

第10回から今回まで、4回にわたってAmazon SageMaker Studioの基本的な使い方について解説しました。途中、Amazon SageMaker Autopilotも扱いましたが、データの準備と簡単な設定で機械学習モデルの構築ができることがおわかりいただけたのではないでしょうか。ぜひご自身でもチュートリアルを試し、実業務への活用につなげていってください。