“如果你不能衡量它，你就無法增長它”，無論對于智能對話機(jī)器人開發(fā)者還是使用者，要想優(yōu)化智能對話機(jī)器人的智能化性能并充分利用智能對話機(jī)器人，建立有效的評估指標(biāo)并對指標(biāo)數(shù)據(jù)進(jìn)行跟蹤和分析都是必要的。那么如何衡量智能對話機(jī)器人的智能化效果、有哪些具體的評估指標(biāo)呢？

        1.有效用戶數(shù)

        無論是傳統(tǒng)的網(wǎng)站、app還是任何一款產(chǎn)品，有效用戶數(shù)都是最為基礎(chǔ)的指標(biāo)。有效用戶數(shù)的重要性是顯而易見的，因?yàn)槿绻麤]有足夠的有效用戶數(shù)作為分析樣本，您基于此做的任何進(jìn)一步分析或推測都必然伴隨很大的隨機(jī)性，結(jié)果的可信度也會很低。因此您首先需要引導(dǎo)盡量多的用戶使用您的智能對話機(jī)器人，當(dāng)然在推廣力度足夠的情況下，有效用戶數(shù)還是難以得到增長，則可能標(biāo)明您的機(jī)器人存在較多的問題，難以吸引并積累有效用戶，這種情況下您需要對產(chǎn)品進(jìn)行深度的優(yōu)化。

 

        2.參與用戶數(shù)

        有效用戶數(shù)是指打開并使用了智能對話機(jī)器人的用戶，即便用戶僅僅是閱讀了客服機(jī)器人的主動(dòng)推送對話也屬于有效用戶；參與用戶是指用戶對機(jī)器人作出響應(yīng)，即發(fā)起主動(dòng)對話請求，希望通過對話機(jī)器人得到問題解決方案等。參與用戶數(shù)越多，可供分析的用戶行為數(shù)據(jù)樣本量越大，因此提高參與用戶數(shù)也是促進(jìn)智能對話機(jī)器人優(yōu)化的一個(gè)重點(diǎn)指標(biāo)。智能對話機(jī)器人的智能化體現(xiàn)為其自主學(xué)習(xí)能力，參與用戶為機(jī)器學(xué)習(xí)提供了必要的素材，能夠反向服務(wù)于用戶，為其提供更加個(gè)性化的服務(wù)方案。

        3.整體的用戶互動(dòng)時(shí)長

        在保證用戶數(shù)的前提下，用戶互動(dòng)時(shí)長也是需要監(jiān)控的一項(xiàng)指標(biāo)。不過用戶時(shí)長更長或更短因?qū)υ挋C(jī)器人的應(yīng)用場景而異。簡單來說以娛樂為目的的聊天機(jī)器人，用戶時(shí)長當(dāng)然是越長越好；但以解決客服問題為目的情況下需要按照用戶問題是否得到解決分別考慮，在用戶問題得到解決的前提下用戶互動(dòng)時(shí)長一般越短越好，說明機(jī)器人能夠快速準(zhǔn)確識別用戶意圖并給出答案；對于互動(dòng)時(shí)長短，但用戶問題無法得到解決的情況則說明用戶對機(jī)器人的滿意度差，您需要對對話機(jī)器人進(jìn)行進(jìn)一步的優(yōu)化。

        4.會話響應(yīng)時(shí)間

        智能對話機(jī)器人相較于人工服務(wù)的最大優(yōu)勢就在于快速且隨時(shí)響應(yīng)，因此響應(yīng)時(shí)長無疑是評估機(jī)器人性能的一個(gè)關(guān)鍵性基礎(chǔ)指標(biāo)。

        5.每個(gè)用戶的會話情況

        在整體用戶互動(dòng)時(shí)長的基礎(chǔ)上，您仍需要對典型的個(gè)體進(jìn)行關(guān)注，包括只會參與一次會話就退出的用戶、多次會話仍未解決問題的用戶以及會話效果顯著優(yōu)于平均水平的用戶。對于這類用戶的具體分析，能夠幫助您了解您的智能對話機(jī)器人在于用戶溝通時(shí)的局限性以及其做得好的地方，進(jìn)而為您提供進(jìn)一步的優(yōu)化方案。
 

        6.混亂觸發(fā)器

        對于智能對話機(jī)器人性能指標(biāo)的評測，除了需要關(guān)注用戶端的數(shù)據(jù)外，仍需要關(guān)注機(jī)器人端的行為數(shù)據(jù)?；靵y觸發(fā)器是指對話機(jī)器人無法識別用戶意圖甚至誤解用戶意思而做出類似于“我不明白”、“聽不懂”等的回應(yīng)的情況。對于機(jī)器人出發(fā)混亂狀態(tài)的案例的分析能夠有針對性的進(jìn)行優(yōu)化，提高機(jī)器人的智能化水平。對于輔助人工干預(yù)的情況，混亂觸發(fā)數(shù)據(jù)的監(jiān)測有助于人工服務(wù)任務(wù)分流安排，及時(shí)將智能對話機(jī)器人無法處理的用戶問題轉(zhuǎn)交給人工客服能夠避免糟糕的用戶體驗(yàn)、減少用戶流失。

        7.留存率

        留存率或者新老用戶占比數(shù)據(jù)能夠一定程度上反映用戶對產(chǎn)品的認(rèn)可度，但就智能對話機(jī)器人而言，留存率也會因應(yīng)用場景的不同而有較大的差異，您需要根據(jù)您對智能對話機(jī)器人的應(yīng)用場景具體分析該項(xiàng)指標(biāo)。對于娛樂目的智能對話機(jī)器人，當(dāng)然是留存率越高越好，但對于工具屬性的智能對話機(jī)器人而言， 其留存率可能僅限交易周期內(nèi)。

        小結(jié)

        本文關(guān)于智能對話機(jī)器人評估指標(biāo)在論述主要是從開發(fā)和優(yōu)化的角度展開分析的，但對于采購智能聊天機(jī)器人的用戶而言，這套指標(biāo)體系也是適用的。您可以通過試用或?qū)ζ溥^往案例進(jìn)行評估來判斷其產(chǎn)品的智能化水平，進(jìn)而選擇一套靠譜的智能對話機(jī)器人。

-THE END-

---