“如果你不能衡量它，你就無法增長它”，無論對于智能對話機器人開發(fā)者還是使用者，要想優(yōu)化智能對話機器人的智能化性能并充分利用智能對話機器人，建立有效的評估指標并對指標數(shù)據(jù)進行跟蹤和分析都是必要的。那么如何衡量智能對話機器人的智能化效果、有哪些具體的評估指標呢？

        1.有效用戶數(shù)

        無論是傳統(tǒng)的網(wǎng)站、app還是任何一款產品，有效用戶數(shù)都是最為基礎的指標。有效用戶數(shù)的重要性是顯而易見的，因為如果沒有足夠的有效用戶數(shù)作為分析樣本，您基于此做的任何進一步分析或推測都必然伴隨很大的隨機性，結果的可信度也會很低。因此您首先需要引導盡量多的用戶使用您的智能對話機器人，當然在推廣力度足夠的情況下，有效用戶數(shù)還是難以得到增長，則可能標明您的機器人存在較多的問題，難以吸引并積累有效用戶，這種情況下您需要對產品進行深度的優(yōu)化。

 

        2.參與用戶數(shù)

        有效用戶數(shù)是指打開并使用了智能對話機器人的用戶，即便用戶僅僅是閱讀了客服機器人的主動推送對話也屬于有效用戶；參與用戶是指用戶對機器人作出響應，即發(fā)起主動對話請求，希望通過對話機器人得到問題解決方案等。參與用戶數(shù)越多，可供分析的用戶行為數(shù)據(jù)樣本量越大，因此提高參與用戶數(shù)也是促進智能對話機器人優(yōu)化的一個重點指標。智能對話機器人的智能化體現(xiàn)為其自主學習能力，參與用戶為機器學習提供了必要的素材，能夠反向服務于用戶，為其提供更加個性化的服務方案。

        3.整體的用戶互動時長

        在保證用戶數(shù)的前提下，用戶互動時長也是需要監(jiān)控的一項指標。不過用戶時長更長或更短因對話機器人的應用場景而異。簡單來說以娛樂為目的的聊天機器人，用戶時長當然是越長越好；但以解決客服問題為目的情況下需要按照用戶問題是否得到解決分別考慮，在用戶問題得到解決的前提下用戶互動時長一般越短越好，說明機器人能夠快速準確識別用戶意圖并給出答案；對于互動時長短，但用戶問題無法得到解決的情況則說明用戶對機器人的滿意度差，您需要對對話機器人進行進一步的優(yōu)化。

        4.會話響應時間

        智能對話機器人相較于人工服務的最大優(yōu)勢就在于快速且隨時響應，因此響應時長無疑是評估機器人性能的一個關鍵性基礎指標。

        5.每個用戶的會話情況

        在整體用戶互動時長的基礎上，您仍需要對典型的個體進行關注，包括只會參與一次會話就退出的用戶、多次會話仍未解決問題的用戶以及會話效果顯著優(yōu)于平均水平的用戶。對于這類用戶的具體分析，能夠幫助您了解您的智能對話機器人在于用戶溝通時的局限性以及其做得好的地方，進而為您提供進一步的優(yōu)化方案。
 

        6.混亂觸發(fā)器

        對于智能對話機器人性能指標的評測，除了需要關注用戶端的數(shù)據(jù)外，仍需要關注機器人端的行為數(shù)據(jù)。混亂觸發(fā)器是指對話機器人無法識別用戶意圖甚至誤解用戶意思而做出類似于“我不明白”、“聽不懂”等的回應的情況。對于機器人出發(fā)混亂狀態(tài)的案例的分析能夠有針對性的進行優(yōu)化，提高機器人的智能化水平。對于輔助人工干預的情況，混亂觸發(fā)數(shù)據(jù)的監(jiān)測有助于人工服務任務分流安排，及時將智能對話機器人無法處理的用戶問題轉交給人工客服能夠避免糟糕的用戶體驗、減少用戶流失。

        7.留存率

        留存率或者新老用戶占比數(shù)據(jù)能夠一定程度上反映用戶對產品的認可度，但就智能對話機器人而言，留存率也會因應用場景的不同而有較大的差異，您需要根據(jù)您對智能對話機器人的應用場景具體分析該項指標。對于娛樂目的智能對話機器人，當然是留存率越高越好，但對于工具屬性的智能對話機器人而言， 其留存率可能僅限交易周期內。

        小結

        本文關于智能對話機器人評估指標在論述主要是從開發(fā)和優(yōu)化的角度展開分析的，但對于采購智能聊天機器人的用戶而言，這套指標體系也是適用的。您可以通過試用或對其過往案例進行評估來判斷其產品的智能化水平，進而選擇一套靠譜的智能對話機器人。

-THE END-

---