スマートホームスキルとビデオスキルの運用メトリクスを表示する
運用メトリクスからは、スマートホームスキルやビデオスキルのパフォーマンスに関する貴重な情報を得ることができます。レイテンシーや成功率などの重要なデータを監視することで、ユーザー体験に影響を及ぼす問題を特定して、適切に対処できます。これらのメトリクスの定期的な分析により、確実かつ正確に動作するようにスキルを調整およびデバッグできます。
調査によれば、運用パフォーマンスが低下するとユーザーが離脱することがわかっています。長いレイテンシー、低い成功率、スキルの機能停止が発生すると、ユーザー評価が低下する可能性が高まります。これらのメトリクスを使用してスキルのパフォーマンスを監視し、必要に応じて改善して、優れたユーザー体験を提供してください。
運用上の問題を確認するには、機能ディレクティブページでメッセージIDログをダウンロードしてください。詳細については、トラブルシューティング用にメッセージIDをダウンロードするを参照してください。エラーの解決方法に関するガイドは、スマートホームスキルのトラブルシューティングガイドを参照してください。
運用メトリクスの表示
Alexa開発者コンソールのレポートページで、スマートホームスキルとビデオスキルの運用メトリクスを確認できます。レイテンシーや成功率などの運用メトリクスは、デバイスの検出、機能ディレクティブ、状態レポートで使用できます。各メトリクスは、チャートやグリッドなどのグラフィックスで可視化して表示されます。これらのグラフィックスデータは、PNGまたはJPGファイル形式で書き出すことができます。また、CSV形式で生データをダウンロードすることもできます。
運用メトリクスセクションには次のページが表示されます。
-
検出 - Alexaはスキルに検出リクエストを送信して、ユーザーのスマートデバイスを検出します。検出ページには、スキルへのすべての検出リクエストについてレイテンシーと成功率のグラフが表示されます。
ユーザーの離脱を防ぐには、検出を成功させることが鍵となります。デバイスの検出に時間がかかりすぎたり、検出できなかったりすると、ユーザーはデバイスをAlexaに接続するのをあきらめてしまいます。これらのメトリクスを使用して、検出の問題を分析しましょう。
検出の詳細については、Alexa.Discoveryインターフェースを参照してください。
- 機能ディレクティブ - ユーザーがAlexaにスマートデバイスの制御を依頼すると、Alexaは、機能（ライトを点灯するなど）をトリガーするディレクティブリクエストをスキルに送信します。機能ディレクティブの詳細については、スキルがサポートする各インターフェースのドキュメントを参照してください。機能ディレクティブページでは、運用メトリクスを表示して、トラブルシューティングのログをダウンロードできます。
Works with Alexa認定を維持するには、機能ディレクティブの応答について、製品の最大レイテンシーをP90で1000ミリ秒、P50で800ミリ秒にする必要があります。詳細については、推奨されるパフォーマンス目標を参照してください。
機能ディレクティブページには次のタブがあります。- 概要 - レイテンシー、成功率、ユーザーが認識したエラーの概要が表示されます。
- レイテンシー - レイテンシーデータが表示されます。すべての機能インターフェースの集計データと、スキルがサポートしている各機能インターフェースのデータを確認できます。機能ごとのレイテンシーグラフには、すべてのディレクティブの集計と、その機能がサポートしている全ディレクティブについてディレクティブごとの内訳が表示されます。
- 成功率 - 成功率のデータが表示されます。すべての機能インターフェースの集計データと、スキルがサポートしている各機能インターフェースのデータを確認できます。機能ごとの成功率グラフには、すべてのディレクティブの集計と、その機能がサポートしている全ディレクティブについてディレクティブごとの内訳が表示されます。
- エラー - すべての機能インターフェースについて、過去90日間にユーザーが認識したエラーがエラータイプ別に表示されます。これらのメトリクスには、ユーザーに影響を与えるエラーが含まれます。
-
状態レポート - 状態レポートを使用することで、Alexaは、スマートホームデバイスの状態をユーザーに確実に通知できます。状態レポートページには、スマートホームデバイスがその状態をAlexaに報告する際、それがどの程度正確かを測定するスキルスコアが表示されます。Alexaサービスは、
StateReport応答と、以前のChangeReportイベントまたはディレクティブ応答とを比較することによってこのスコアを計算します。Works with Alexa認定を維持するには、製品が97%の状態レポート精度を達成することが条件となります。つまり、報告された状態と、以前のイベントまたは応答が97%の確率で一致する必要があります。詳細については、推奨されるパフォーマンス目標を参照してください。状態レポートの詳細については、状態および変更レポートについてを参照してください。
運用メトリクスの解釈
運用メトリクスは、スキルのパフォーマンスを追跡し、ユーザーに影響を与えるエラーを分析する際に役立ちます。
レイテンシー
Alexaがスキルにリクエストを送信した後、スキルからの応答を受け取るまでの時間（ミリ秒）です。スマートライトなどのデバイスの場合、要求されたアクションは、照明スイッチと同じくらい瞬時に実行されます。バッテリー駆動のデバイスでは、電源の制約により、応答に時間がかかる可能性があります。いずれの場合も、8秒以内に応答を受信しないと、Alexaは明確な理由なしにエラーを報告することがあります。さらに、アクションが成功してもタイムアウトになってしまうと、Alexaは誤ってエラーを報告する可能性があります。このような状況は、ユーザーの利便性と満足度の低下につながります。
Amazonでは、次の2種類の統計データを使用してレイテンシーを測定します。
- パーセンタイル（P） - P99、P90、P50などのパーセンタイルは、同じ期間内における値どうしの比較を示します。たとえば、P90（90パーセンタイル）は、期間内におけるデータの90%がこの値より小さく、データの10%がこの値より大きいことを意味します。平均は、「値の合計」を「データポイントの総数」で割った値です。
- トリム平均（TM） - TM95やTM95:99など、数値または範囲で示された値を追加または除外したうえで、一連の測定値の平均を計算します。パーセンタイルを用いた単一のメトリクスと比べ、TMメトリクスには、より正確なレイテンシーが反映されます。以下に、TMメトリクスの例を示します。
- TM95（終了範囲の指定なし）：レイテンシーデータのうち、最も大きい上位5%のデータを除外した後の平均レイテンシーです。外れ値となる大きいレイテンシーを除外するため、TM95レイテンシーは全体的なレイテンシーパフォーマンスの指標となります。
- TM95:99（95～99%の範囲）：収集されたレイテンシー値のうち最も大きい部分に焦点を当て、指定された範囲に該当するレイテンシー値の平均を求めます。このデータに基づいて高レイテンシーのエッジケースを特定した後、より包括的なメトリクス（TM95など）と比較してピークレイテンシーを把握できます。
レイテンシーグラフには、レイテンシーとリクエスト数が時系列で表示されます。レイテンシーメトリクスは、検出ページと機能ディレクティブページで確認できます。レイテンシーグラフのデータを選択メニュー（縦に並ぶ3つのドットを円で囲んだアイコン）から、使用するパーセンタイル、トリム平均、平均値を選択します。リクエスト量のオン／オフを切り替えることもできます。1つのグラフに複数の統計情報のオプションが表示されます。
以下の画像には、過去30日間について、レイテンシーと成功率の毎日の集計データがグラフとして表示されています。
スキルスコア
スキルスコアは、スマートホームデバイスがその状態をAlexaに報告する際の精度を測定します。Alexaサービスは、StateReport応答と、状態を報告する以前のChangeReportイベントまたはディレクティブ応答を比較することによって、このスコアを計算します。計算されたスキルスコアは、報告された状態が一致する時間の割合を示します。ユーザー満足度を向上させるため、スキルスコアを使用してデバイスからのプロアクティブレポートを分析し、精度を高めましょう。
Works with Alexa認定を維持するには、製品の状態レポートの精度が97%に達する必要があります。詳細については、推奨されるパフォーマンス目標を参照してください。
メトリクス
スキルスコアのメトリクスには、手動での状態変更と、Alexaによる状態変更の両方が含まれます。たとえば、ユーザーが自分で照明をつけたときと、照明をオンにするようAlexaに頼んだときの両方が対象となります。Alexaサービスは、現在の状態レポートが最新のプロアクティブレポートと一致する場合はスコア1（一致）、一致しない場合はスコア0（不一致）を割り当てます。
このサービスは、過去18か月間にわたってこれらのスコアを集計し、全体的な精度スコアを計算します。すべてのデバイスレポートの状態が一致する（1）場合、そのスキルのスコアは100%になります。データが一致しない（0）とスコアが低くなります。
状態レポートページでは、最大18か月のスキルスコアデータを表示して、期間（毎日または毎月）、デバイスタイプ、機能、地域でフィルタリングできます。このページには以下のメトリクスが表示されます。
- 総合スキルスコア - 選択した期間と地域で状態を報告するすべてのデバイスの正確率に基づく総合スコアです。
- デバイスタイプ別のスキルスコア - すべての機能ディレクティブを対象に、デバイスタイプ別に正確率が表示されます。
- 機能別スキルスコア - すべてのデバイスタイプについて、機能ディレクティブ別に正確率が表示されます。
- 詳細なスキルスコア - 選択したデバイスタイプ、機能、地域を対象に、過去2週間の詳細な一致データが表示されます。ここでは、一致データ（ポジティブサンプル）と記録された合計サンプルを確認できます。
- 不一致テーブル - 状態の不一致をデバッグしやすくするため、不一致データを表示し、スキルログで関連するメッセージIDを確認してください。最新のプロアクティブ更新と
StateReportに関連付けられたメッセージIDをダウンロードできます。詳細については、スマートホームスキルとビデオスキルのトラブルシューティング用にメッセージIDをダウンロードするを参照してください。
次の画像は、毎日集計された3か月間のスキルスコアグラフの例です。
成功率
成功率は、Alexaがスキルから受信した成功応答の合計数を、Alexaがスキルに送信したリクエストの合計数で割った値です。成功率は可用性を意味します。
Alexaは、送信したリクエストがスキルに到達し、処理され、成功応答が返された場合に「成功」としてカウントします。機能停止によってAlexaがスキルに到達できない場合や、INTERNAL_ERRORなどの不明瞭な応答が返された場合は、成功率が低下します。Alexaが応答を理解できるように、必ず特定のエラーコードで応答してください。可用性エラーの理由を分析するには、エラーメトリクスを使用します。
成功率グラフには、成功率とリクエスト量が時系列で表示されます。成功率メトリクスは、検出ページと機能ディレクティブページで確認できます。
Works with Alexa認定を維持するには、年間99.93%の可用性を維持する必要があります。詳細については、可用性の要件を参照してください。
エラー
ユーザー認識エラー率（UPE）が高いスキルは、スマートホームデバイスやサービスを制御するためにユーザーがリクエストしたアクションを提供できないため、ユーザーの不満が大きくなります。これらの障害の原因には、スキルエラー、Alexaエラー、致命的なエラーがあります。
UPEデータは機能ディレクティブページで確認できます。
以下のUPEメトリクスが用意されています。
- ユーザーが認識したエラーの概要 - エラータイプのリストと、影響を受けた発話の集計数が表示されます。エラータイプには、Alexaエラー、スキルエラー、致命的なエラーがあります。エラータイプをクリックすると、過去30日間のうち、そのエラーが発生した日時が表示されます。
- ユーザーが認識したエラー（100万あたり）： すべての機能 - 選択した地域を対象に、選択した期間および集計期間について、リクエスト数100万あたりのすべてのエラータイプが表示されます。
- ユーザーが認識したエラー： エラータイプ - グラフの下にエラータイプがリスト表示されます。
以下の画像は、機能ディレクティブページのエラータブの例です。
エラータイプ
ユーザーが認識したエラーのタイプは以下のカテゴリーに分類されます。
- スキルエラー - Alexaへのスキル応答で返されるエラー。すべてのエラータイプとその説明の一覧は、Alexa.ErrorResponseインターフェースのリファレンスを参照してください。スキル関連エラーの場合、Alexaは、現在の状態をユーザーに伝えて、実行すべきアクションを提案するため、最善の音声出力を提供するよう努めます。エラータイプが正確であるほど、応答も正確になります。
- Alexaエラー - Alexaがスキルからの応答の処理を試みた後、Alexa側で発生するエラー。この場合、Alexaはリクエストを完了できないことを示しています。Alexaエラーには次の例外があります。
- SKILL_RESPONSE_TIMEOUT_EXCEPTION – スキルへのAlexaリクエストがタイムアウトした場合にスローされた例外です。
- INVALID_SKILL_RESPONSE_EXCEPTION – Alexaがスキルから無効な応答を受け取った場合にスローされる例外です。
- 致命的なエラー - 機能停止やインフラストラクチャの障害など、ユーザーに影響を与える予期しない回復不可能なエラー。これらのエラーが発生した場合、無音になったり、通常とは異なる音がしたり、「すみません。問題が発生しました」というメッセージが発せられたりします。
関連トピック
最終更新日: 2025 年 08 月 05 日