基于敏感詞的風(fēng)控策略是產(chǎn)品風(fēng)控體系中最基礎(chǔ)的設(shè)計內(nèi)容，內(nèi)容簡單但很瑣碎，系統(tǒng)涉及從用戶發(fā)布到用戶舉報、命中策略到審核處理、用戶畫像到AI識別等方方面面。

敏感詞系統(tǒng)在產(chǎn)品中，尤其在內(nèi)容類產(chǎn)品中，是搜索、內(nèi)容生產(chǎn)等業(yè)務(wù)模塊的基礎(chǔ)風(fēng)控設(shè)計，包括敏感詞添加、命中方式、影響業(yè)務(wù)和影響用戶等多個設(shè)計維度。在敏感詞防控系統(tǒng)中，敏感詞大致分為以下幾類：

l政治相關(guān)和人名

l迷信邪教

l黃賭毒

l槍支彈藥類

l罵人諷刺類

l時事類

l廣告和非法信息

l其他類。

網(wǎng)上有很多敏感詞庫，這里為大家附上兩個在線敏感詞審核工具：

1.敏感詞甄別系統(tǒng)-網(wǎng)易易盾：

dun.163/trial/text

2.文本審核審核系統(tǒng)-百度Ai開放平臺：

ai.baidu/tech/textcensoring?track=cp:ainsem|pf:pc|pp:chanpin-neirongshenhe|pu:neirongshenhe-minganciguolv|ci:|kw:10001876

產(chǎn)品中只要存在數(shù)據(jù)信息就需要預(yù)訪敏感詞的出現(xiàn)，對于有目的性發(fā)布涉及敏感詞信息的人或團(tuán)隊常被稱為“垃圾蟲”。

敏感詞存在的地方十分廣泛：社區(qū)、論壇、聊天記錄、評論、上傳信息，甚至用戶頭像、昵稱、簽名這樣的地方，都有可能被灌入敏感詞。

因此，產(chǎn)品開發(fā)上線后，通常都會設(shè)置敏感詞過濾，這幾乎已經(jīng)成了一個產(chǎn)品的標(biāo)配。做為產(chǎn)品經(jīng)理，最好查看一下所負(fù)責(zé)產(chǎn)品有沒有做好相應(yīng)的處理，尤其是做資訊的產(chǎn)品，否則當(dāng)心相關(guān)部門的約談了~

今日頭條整改：下架萬條問題視頻 審核庫增1700條敏感詞

4月6日，今日頭條方面發(fā)布通報稱，旗下火山小視頻、西瓜視頻等短視頻平臺共計下架問題視頻10318條，重置封禁問題賬戶4864個，增加視頻審核相關(guān)詞庫敏感詞1700余條，目前已經(jīng)落實多項整改舉措，并在視頻社區(qū)大力推薦社會正能量內(nèi)容。

　　此前的4月1日，央視曝光火山小視頻、快手等存在未成年孕婦、未成年媽媽和未成年二胎媽媽主播。4月4日，國家廣播電視總局約談了這些短視頻平臺負(fù)責(zé)人，要求依據(jù)《互聯(lián)網(wǎng)視聽節(jié)目服務(wù)管理規(guī)定》整改，并要求停止新增視聽節(jié)目上傳賬戶，網(wǎng)站節(jié)目的上傳總量和上線播出總量應(yīng)立即調(diào)減至與網(wǎng)站審核管理力量相匹配的規(guī)模，確保未經(jīng)審核的節(jié)目不得播出。

產(chǎn)品關(guān)鍵詞系統(tǒng)中，主要的屏蔽內(nèi)容包括“廣告過濾、黃賭毒、暴力恐怖、謠言排查”等幾種。對于不同的產(chǎn)品場景，敏感詞屏蔽級別不同。

例如：

微博屏蔽需要基礎(chǔ)、全面，一些時事熱點也要納入屏蔽范圍。

B站為保證彈幕質(zhì)量，屏蔽了刷屏、內(nèi)容尷尬的彈幕。彈幕內(nèi)容并不敏感，只是讓人不喜歡。

B站在彈幕內(nèi)容的控制設(shè)計十分注重用戶體驗：

1.用戶可根據(jù)顏色、字體大小、展示方式甚至自定義文本進(jìn)行彈幕屏蔽

2.視頻界面右邊設(shè)計了彈幕窗口，用戶可以在彈幕窗口查看每條彈幕內(nèi)容。

如圖所示：

敏感詞系統(tǒng)設(shè)計

敏感詞系統(tǒng)可以過濾基礎(chǔ)的文本敏感內(nèi)容；可以結(jié)合業(yè)務(wù)線靈活掌握敏感詞過濾方式，以及觸及敏感詞的用戶。

1.系統(tǒng)涉及概念介紹

詞庫：同一類別的敏感詞所組成的一個大類。本文中有四大詞庫（紅線詞庫、敏感詞庫、危險詞庫），每一個詞庫中有三級分類。

詞過濾：針對搜索業(yè)務(wù)，對搜索詞直接過濾。

結(jié)果過濾：針對命中敏感詞的結(jié)果直接過濾。

2.業(yè)務(wù)分析

原則上來說，敏感詞系統(tǒng)具備匹配詞庫就足夠了，但這種單一敏感詞系統(tǒng)使用在用戶業(yè)務(wù)場景中常遇到以下問題：

場景一：A產(chǎn)品要小規(guī)模內(nèi)測上線，產(chǎn)品中的評論功能需要接入最基本的敏感詞控制風(fēng)險，但是面對運營的詞庫找不到哪些屬于“基本”敏感詞；

場景二：B產(chǎn)品被用戶反饋有低俗色情內(nèi)容，但敏感詞明明已經(jīng)添加過了，經(jīng)檢查發(fā)現(xiàn)該敏感詞只管控了甲業(yè)務(wù)，新上的乙業(yè)務(wù)沒有添加管控而被用戶投訴；

場景三：C產(chǎn)品被老大反饋自己發(fā)表的評論消失了，開發(fā)查到是命中了敏感詞導(dǎo)致找到了運營，但運營認(rèn)為這個詞字面上看確實有問題，可說不出添加依據(jù)；

場景四：及時手握大量敏感詞，但依舊依靠人工排查來擴(kuò)充詞庫，費時費力；

因此，無論是用戶還是運營角度，都形成了敏感詞系統(tǒng)的基本需求：

用戶：輸入/發(fā)布–>敏感詞檢測–>過濾–>結(jié)果展示；

運營：發(fā)現(xiàn)敏感詞–>評估–>添加–>處理被過濾內(nèi)容。

3.敏感詞系統(tǒng)架構(gòu)

系統(tǒng)設(shè)計基礎(chǔ)為詞庫，把敏感詞按重要程度劃分類別，如“紅線類別，敏感類別，危險類別”，不同類別結(jié)合用戶維度、地域維度進(jìn)行匹配，作用在不同業(yè)務(wù)。

系統(tǒng)界面架構(gòu)：

4.原型界面

l策略配置

功能說明：詞庫與業(yè)務(wù)的結(jié)合設(shè)計。通過配置控制敏感詞過濾功能對業(yè)務(wù)的影響方式（詞過濾或結(jié)果過濾），持續(xù)時間，狀態(tài)（生效或者是下線），掌握策略召回的數(shù)量，并對策略召回的內(nèi)容進(jìn)行處理。

設(shè)計頁面：策略管理頁

頁面目標(biāo)：配置管控策略。

操作說明：配置指定業(yè)務(wù)應(yīng)適用的防控敏感詞類型，操作如下：

1.配置敏感詞：紅線詞庫中，添加二級類別“低俗色情”，選擇該類別下所有的三級類別；

2.關(guān)聯(lián)需管控的業(yè)務(wù)：選擇一級業(yè)務(wù)“搜索”下所有二級業(yè)務(wù)，

3.配置影響效果：選擇影響方式和持續(xù)時間

效果說明：在搜索下的所有業(yè)務(wù)被“紅線詞庫-低俗色情“類敏感詞影響，影響方式為用戶搜索該類敏感詞時將被影響，且為永久影響狀態(tài)”。

l詞庫管理

功能說明：添加敏感詞，控制該詞所屬詞庫。在添加時可看到召回量，抽樣評估后得到攔截準(zhǔn)確率。

設(shè)計頁面：詞庫管理頁

頁面目標(biāo)：新增敏感詞。

包含功能：

1.可批量添加多個敏感詞

2.系統(tǒng)可初步按照字面意義判斷所屬詞庫

3.系統(tǒng)可評估敏感詞召回量及隨機(jī)樣本，判斷是否生效敏感詞及所屬詞庫。

l用戶配置

功能說明：關(guān)聯(lián)用戶與敏感詞、業(yè)務(wù)、地域三個維度。

設(shè)計頁面：用戶管理頁

頁面目標(biāo)：用戶與敏感詞、業(yè)務(wù)、地域的關(guān)聯(lián)配置

包含功能：

1.讀取“策略配置”頁中配置好的所有策略到“用戶管理“模塊，即：命中策略字段。

2.系統(tǒng)統(tǒng)計命中策略中被該策略召回的用戶數(shù)。

3.允許用戶跳轉(zhuǎn)至 “內(nèi)容處理”頁面對召回案例進(jìn)行處理

l內(nèi)容處理

功能說明：對命中策略的業(yè)務(wù)或用戶做處理。

設(shè)計頁面：內(nèi)容處理頁

頁面目標(biāo)：用戶與敏感詞、業(yè)務(wù)、地域的關(guān)聯(lián)配置

包含功能：

1.可按用戶、內(nèi)容兩個維度查看每條被命中策略被召回案例

2.系統(tǒng)記錄該策略生效時間

3.用戶可在頁面完成最新、歷史召回案例的處理

5.數(shù)據(jù)統(tǒng)計

功能說明：從策略維度、詞庫維度、用戶維度、處理維度做出數(shù)據(jù)統(tǒng)計。

設(shè)計頁面：數(shù)據(jù)統(tǒng)計頁

頁面目標(biāo)：報表形式統(tǒng)計策略、詞庫、用戶和處理情況的執(zhí)行情況