01

這兩天互聯(lián)網(wǎng)圈最大的熱門事件是，小紅書下架了。

7月29日晚間，各大安卓應(yīng)用市場的小紅書APP暫時不提供下載。

作為國民級種草APP，小紅書的下架既是意料之外，也是情理之中。

意料之外在于，小紅書本身只是一個主打消費(fèi)的內(nèi)容社區(qū)，本身不具有攻擊性。

情理之中在于，小紅書是C2C模式，筆記內(nèi)容可以隨意發(fā)布，任何人用任何方法都可以發(fā)布任何內(nèi)容。

正常人可以，微商可以，特殊工作者可以，黑產(chǎn)也可以。

對于一切C2C的工具類平臺產(chǎn)品，只要能發(fā)布內(nèi)容，其實內(nèi)容失控的風(fēng)險都是存在的，不僅是小紅書。

之前的即刻，Soul，乃至網(wǎng)易云音樂，都存在內(nèi)容失控的情況，話題廣場，論壇，評論區(qū)，用戶昵稱，甚至私人對話，只要可以錄入文字圖片和語音的地方，就存在著失控的風(fēng)險。

畢竟產(chǎn)品是簡單的，人性是復(fù)雜的。

平臺治理和內(nèi)容安全也歸屬于大風(fēng)控的范疇，作為一名風(fēng)控從業(yè)者，在這方面，我有一些實戰(zhàn)經(jīng)驗。

這篇文章，我打算從內(nèi)容風(fēng)控和平臺治理的角度來談?wù)勑袠I(yè)當(dāng)前的現(xiàn)狀與困境。

內(nèi)容失控，對于所有電商和社區(qū)類產(chǎn)品而言，都是致命的。

尤其在互聯(lián)網(wǎng)文明越來越重要的今天。

小紅書作為C2C的工具類平臺，用戶是可以自己上傳圖片和筆記的。

同時小紅書又是Top的種草平臺，用戶逛小紅書就是買東西的。

自由的規(guī)則配合精準(zhǔn)的潛在消費(fèi)者，二者一結(jié)合，就成了一塊超級美妙的流量蛋糕，肥的流油。

于是各種違禁黑產(chǎn)，色情交易，非法醫(yī)美，就都來了。

在下架前，小紅書通過一些關(guān)鍵詞索引，可以獲得各種神奇的服務(wù)，當(dāng)然現(xiàn)在已經(jīng)開始大規(guī)模屏蔽。

例如粉毒和非法醫(yī)美；比基尼和特殊服務(wù)；增高減肥和黑五類保健品；銀行卡電話卡和黑產(chǎn)資料。

這些筆記的特點(diǎn)都是打著攻略分享的名義，往賣家的私人微信號上導(dǎo)流，然后用話術(shù)誘導(dǎo)成交。

這種自發(fā)性的C2C傳播，也是小紅書產(chǎn)品本身的最大特點(diǎn)。

很多不法商家在利用小紅書這個平臺，大發(fā)橫財。

小紅書作為平臺方，有苦難言。

我不想去討論小紅書作為平臺有沒有責(zé)任，畢竟內(nèi)容是用戶自發(fā)的，這塊我不夠?qū)I(yè)。

我想討論的是，用什么方法可以有效治理掉這些垃圾內(nèi)容，小紅書的風(fēng)控和平臺治理們也在頭疼這件事情。

作為風(fēng)控同行，我想提一些建議，這些源自我的一些實戰(zhàn)經(jīng)驗，希望能對他們以及讀者有所幫助。

OK，小紅書當(dāng)前面臨的核心問題是，C端用戶上傳的內(nèi)容具有很大的不可控性，里面可能夾雜了大量的違法違禁內(nèi)容，需要有效識別這些人，然后針對性屏蔽和封號，在保證正常用戶體驗的前提下，降低內(nèi)容風(fēng)險。

當(dāng)然，不管是降低內(nèi)容風(fēng)險，還是保證用戶體驗，其核心目的都是要保證企業(yè)的商業(yè)利益最大化，這是大前提，風(fēng)控要為業(yè)務(wù)服務(wù)。

所以一切手段最終都要平衡誤殺率和ROI。

那么，我們開始。

所謂外采詞庫就是有專門的供應(yīng)商會做涉及敏感領(lǐng)域的詞，支持API的形式直接調(diào)用，可以嵌入到用戶昵稱錄入，文本上傳，用戶私信等模塊，只要上傳文本，都會進(jìn)行一次詞庫過濾，把一些違禁的詞給抓出來。

優(yōu)點(diǎn)是快速上線，缺點(diǎn)是詞庫是暗箱狀態(tài)（屬于供應(yīng)商），并且業(yè)務(wù)關(guān)鍵數(shù)據(jù)容易泄露（API調(diào)用的入?yún)⑷菀妆还?yīng)商拿走商用）。

我知道小紅書的供應(yīng)商是哪家，我也測試過很多家，只能說通用詞庫是沒法依據(jù)實際業(yè)務(wù)場景來做精準(zhǔn)打擊的，建議小紅書自建詞庫，如果沒有現(xiàn)成可配置的詞庫框架，可以使用腳本的方式來讓研發(fā)維護(hù)一套詞庫，當(dāng)然最好還是做成可配置的，畢竟用腳本的話，詞多了很容易崩潰，不是長久之計。

有了這一套東西后，需要一套應(yīng)用策略，包含敏感詞收集策略，敏感詞應(yīng)用策略，敏感詞處置策略。

所謂敏感詞收集策略，要解決的是如何獲取到有效的敏感詞。

很多人工智能公司吹捧所謂自然語義識別，用機(jī)器學(xué)習(xí)做，在這里是不好用的，我要提醒一下小紅書，不要迷信機(jī)器學(xué)習(xí)。

因為漢語是博大精深的，使用諧音字，變體字，火星文，以及中間夾雜各種特殊符號和空格的模式，很容易就能繞過機(jī)器。

就微信這個詞，可以變種成V信，VX，威，VV，你懂得，威X信等等等等，機(jī)器學(xué)習(xí)做不到這么精準(zhǔn)的打擊，但人的識別配合SQL以及Python代碼，可以實現(xiàn)。

在這里，建議使用實時數(shù)據(jù)庫，配專門的數(shù)據(jù)分析師來做詞語收集。

數(shù)據(jù)分析師可以通過一些基礎(chǔ)的違規(guī)信息，來進(jìn)一步人工延伸出索引規(guī)則，例如微 ` 信12345，就可以提取出某些關(guān)鍵字（用微這個字來做索引），某些特殊符號，甚至某些符號+數(shù)字的特征來抓。

一個熟練的風(fēng)控數(shù)據(jù)分析師，一天抓出上萬有效敏感詞不是問題。

所謂敏感詞應(yīng)用策略，要解決的問題是這些敏感詞用于哪些領(lǐng)域。

當(dāng)你有了一個敏感詞庫時，你需要對每一個詞進(jìn)行打標(biāo)簽，例如殺人這個詞是A類標(biāo)簽，吃奶這個詞是B類標(biāo)簽，不同的業(yè)務(wù)場景以及電商品類，要使用完全不同的標(biāo)簽。

例如牛奶類的筆記，用吃奶這個詞就會誤傷很大。

這里需要做的是，給每一個場景的業(yè)務(wù)都打上標(biāo)簽，然后依據(jù)標(biāo)簽來使用敏感詞庫中的詞類目。

例如口紅類筆記要用ABC標(biāo)簽的詞。

例如旗袍類的筆記要用CDF標(biāo)簽的詞等等。

至于如何拆解品類打標(biāo)和敏感詞，這個就不展開了，展開必是長篇大論。

所謂敏感詞處置策略，要解決的問題是內(nèi)容命中了敏感詞之后，要如何處置這些內(nèi)容。

這里其實也牽涉對敏感詞的打標(biāo)，主要是設(shè)置敏感詞處置權(quán)重。

例如黃恐暴類的敏感詞，標(biāo)簽對應(yīng)的處置手段應(yīng)該是直接屏蔽+封號或者直接禁止發(fā)布。

例如疑似推廣微信號的標(biāo)簽，對應(yīng)的處置手段應(yīng)該是屏蔽+禁言，或者禁止發(fā)布。

例如命中了一些權(quán)重較弱的敏感詞或者敏感字，對應(yīng)的處置手段應(yīng)該是轉(zhuǎn)人工審核，再發(fā)布。

當(dāng)然這里只是舉幾個簡單的例子，敏感詞的應(yīng)用方法還有很多，不過這個方向是目前比較成熟的模式。

除卻敏感詞之外，小紅書的筆記中還含有大量的圖片類內(nèi)容，這些圖片類內(nèi)容目前主要的問題有2個。

第一個是黃恐暴類圖片，圖片本身有問題。

第二個是圖片本身沒問題，但是圖片里面的東西有問題，例如圖片里面就有VX：12345等字跡或者水印。

對于前者，建議直接購買現(xiàn)成的圖片識別服務(wù)，阿里騰訊都有成熟的服務(wù)。

對于后者，可以使用OCR把圖片轉(zhuǎn)成文字，然后使用敏感詞策略來進(jìn)行處理。

以上是對于內(nèi)容本身的風(fēng)控思路，需要注意的是，這個需要投入大量的資源，尤其是人工審核資源，今日頭條就有數(shù)千人專門做內(nèi)容審核，對于內(nèi)容電商來說，這個不能省。

而且內(nèi)容攻防應(yīng)該是動態(tài)的，不存在一勞永逸的事情，需要做好持久戰(zhàn)的準(zhǔn)備，漢語就是這么博大精深。

內(nèi)容風(fēng)控很重要，但其實只是表層，而且永遠(yuǎn)難以做到窮舉，真的一刀切下去，會誤傷大量的正常用戶，這對于用戶體驗和公司的商業(yè)價值而言都是損失。

比內(nèi)容風(fēng)控更重要的，是底層風(fēng)控，從用戶注冊到發(fā)生第一次行為（例如發(fā)布筆記或者給某個筆記點(diǎn)贊或者評論或者分享），都需要做更深入的風(fēng)險管理。

除了要管別人發(fā)了什么內(nèi)容，同樣還要管是哪些【人】發(fā)了這些內(nèi)容。

通過敏感詞體系，可以對大量的內(nèi)容筆記來進(jìn)行標(biāo)簽，分類出正常筆記，可疑筆記，搗亂筆記，沙雕筆記等等等等等，這些統(tǒng)稱為Y。

風(fēng)控策略的基礎(chǔ)邏輯是F（x）=Y，X是指特征，F(xiàn)是指算法or策略，Y是指效果。

當(dāng)你有了Y之后，就等于知道了答案。

然后去找這些異常的筆記，都是誰發(fā)布的，這些發(fā)布的賬號的特征（X）是什么。

一般常見的賬號特征有數(shù)百個維度，例如注冊時間，年齡，性別，發(fā)布時間，常用標(biāo)簽，ip地址，設(shè)備號（imac，imei，device id），手機(jī)號，性別，歸屬地，APP來源（華為市場，小米市場，APP Store），登錄模式（APP，小程序，H5），手機(jī)型號，GPS地址，LBS區(qū)域，用戶注冊來源（自來水，A活動推廣，市場投放轉(zhuǎn)化，CPA），歷史行為（點(diǎn)贊數(shù)，關(guān)注人），瀏覽行為，等等等等等，這些信息有的來自于APP埋點(diǎn)，有的來自于依據(jù)原有特征推算出的衍生特征。

特征工程是風(fēng)控的核心之一，重要性不亞于策略應(yīng)用，好的數(shù)據(jù)是一切的基礎(chǔ)。

通過敏感詞找到Y(jié)，然后利用Y來反推命中的X，然后得出應(yīng)用策略-F。

案例1，假如小紅書發(fā)現(xiàn)某個整容類的異常筆記，大部分發(fā)布者和點(diǎn)贊者的IP都是相同的或者都是同一個號段的，那么完全可以設(shè)置策略屏蔽這個IP段發(fā)這個類型的筆記。

案例2，假如小紅書發(fā)現(xiàn)某些有問題的筆記，都指向同一個微信號，那么就把發(fā)布過這個微信號的賬號全都封了，連誤殺都沒有。

案例3，假如小紅書發(fā)現(xiàn)某些有問題的筆記，大部分發(fā)布者和點(diǎn)贊者都是24小時內(nèi)注冊的，那么完全可以設(shè)置注冊時間XXX時間內(nèi)，不允許在XX領(lǐng)域發(fā)筆記。

類似的規(guī)則，在成熟的平臺治理中，會有數(shù)十萬條，我做過設(shè)計和維護(hù)。

這一切的規(guī)則，都要做成動態(tài)可配置的，做成決策引擎的模式，風(fēng)控只需要拖拉拽這些標(biāo)簽，然后自己寫比對符和閾值，再配置處置手段，就可以生效。

例如一條規(guī)則，禁止注冊時間在24小時內(nèi)的女性用戶發(fā)布比基尼筆記。

拆解起來就是。

注冊時間<24小時，

且 性別標(biāo)簽=女，

且筆記標(biāo)簽=比基尼

則，禁止發(fā)布，

且，彈出文案【半佛仙人你別比比了】。

把這些做成是否的標(biāo)簽，可以自由配置，快速上線。

夾雜敏感詞策略和決策引擎中間，還應(yīng)該有一層基于【賬戶】維度的用戶關(guān)系網(wǎng)絡(luò)以及實時監(jiān)控和干預(yù)機(jī)制，用圖挖掘來做。

所謂關(guān)系網(wǎng)絡(luò)，是指不同賬戶間的關(guān)系，由點(diǎn)和線組成。

例如A賬戶給B賬戶的筆記點(diǎn)贊或者評價，就會形成一條關(guān)系。

反應(yīng)在網(wǎng)絡(luò)中就是A點(diǎn)和B點(diǎn)之間出現(xiàn)了一條關(guān)系線（A點(diǎn)贊/評論B）。

再例如A賬戶和C賬戶同時給B賬戶的筆記點(diǎn)贊或者評價，就會形成多條關(guān)系線。

反應(yīng)在網(wǎng)絡(luò)中就是A點(diǎn)到B點(diǎn)（點(diǎn)贊串聯(lián)），C點(diǎn)到B點(diǎn)（點(diǎn)贊串聯(lián)），A點(diǎn)到C點(diǎn)（都給B點(diǎn)過贊）。

關(guān)系網(wǎng)絡(luò)，是對于批量作弊賬戶的大殺器。

在實際業(yè)務(wù)中，通過設(shè)置點(diǎn)和線的規(guī)則，可以有效攔截批量異常行為。

例如在同一個時間，出現(xiàn)了大量有關(guān)聯(lián)的賬戶（相同IP，相同操作頻率，相同GPS等），與某幾個筆記或者賬戶出現(xiàn)了可疑關(guān)聯(lián)（批量點(diǎn)贊），就可以進(jìn)行攔截。

例如在近10分鐘內(nèi)，整個的流量池出現(xiàn)了波動異常（分均用戶點(diǎn)贊數(shù)超過了平均值XX倍），則可以觸發(fā)警報，把溢出流量關(guān)聯(lián)的內(nèi)容進(jìn)行屏蔽等等等。

關(guān)系網(wǎng)絡(luò)更多是橫向的對比以及大盤的監(jiān)控，涉及賬戶管控，不僅要看橫向，更要看縱向。

所謂橫向，是指同一個時間里，賬戶A和賬戶BCDEF是否有相同的行為或者異常的關(guān)聯(lián)，所有人放在一起來比不同。

所謂縱向，是指同一個賬戶，在不同的時間里，進(jìn)行了怎樣的操作。

例如A賬戶，過去六個月都是給一些正常的筆記點(diǎn)贊，瀏覽和評論都很正常，但是近3天，在密集的跟一些異常的筆記產(chǎn)生互動和分享。

這就是賬戶出現(xiàn)了問題，與之前的操作不同，需要對賬戶發(fā)出警告，要么屏蔽功能，要么要求實名。

橫向是用其他用戶的特征比對一個用戶，縱向是指用戶過去的特征比對當(dāng)前的行為。

縱橫之術(shù)是對抗黑產(chǎn)養(yǎng)號與批量作弊的屠龍術(shù)。

敏感詞策略和決策引擎外，還需要做的是賬戶準(zhǔn)入和APP加固。

所謂賬戶準(zhǔn)入體系，是指在用戶注冊階段就攔截掉大量黑產(chǎn)用戶。

大量發(fā)布垃圾筆記和違禁筆記的賬號，往往都是接碼平臺批量注冊了，不是很多人想到一堆人拿著幾百個手機(jī)在操作，微商很賺錢的好嗎，不會干這種low事。

這就代表著，這些注冊手機(jī)號本身，就有足夠多的問題，因為黑產(chǎn)們拿手機(jī)號也有成本，往往會多次利用。

這個手機(jī)號在小紅書耍流氓之前，可能已經(jīng)在其他平臺被教育過了。

一般在注冊階段，建議對手機(jī)號加一層準(zhǔn)入規(guī)則，常規(guī)的手段是禁止小號和虛擬號注冊，進(jìn)一步的手段就是采購阿里云和騰訊天御的注冊反欺詐評分，輸入一個手機(jī)號+注冊IP，可以返給一個評分，分?jǐn)?shù)高于XXX分的時候，拒絕用戶注冊，或者強(qiáng)制要求實名（人臉或者銀行卡）。

阿里有最全的電商黑產(chǎn)庫，騰訊有最全的社交黑產(chǎn)庫，網(wǎng)易有最全的游戲黑產(chǎn)庫，都是T+0實時更新的，土豪一些的公司可以都用，其他自便。

反正只要風(fēng)控能根據(jù)異常筆記抓到注冊賬戶手機(jī)號就行，拿這些去測各家的數(shù)據(jù)準(zhǔn)確度與誤殺率，并不困難。

這個操作在業(yè)內(nèi)叫做加盾，有這一層盾，基本上可以擋掉市場上9成5的黑產(chǎn)，大多數(shù)黑產(chǎn)是沒有能力繞盾的，因為資金不夠雄厚，手機(jī)卡更新速度上不去。

賬戶準(zhǔn)入體系外，還需要的就是APP加固。

所謂APP加固，是指對于APP本身的代碼，接口做封裝和動態(tài)加密，攔截接口直接寫入內(nèi)容，代碼破解，沙盒，GPS更改等一系列攻擊行為，簡單理解為是反外掛也可以。

很多APP對于用戶的錄入內(nèi)容其實都是有限制的，很多APP甚至不允許用戶錄入內(nèi)容，只能選擇幾個特定的標(biāo)簽。

但是黑產(chǎn)在進(jìn)行違規(guī)內(nèi)容滲透的時候，往往不是手動填寫的，而是直接反編譯本地APP代碼，攔截接口的動態(tài)信息，然后調(diào)用接口錄入。

例如正常人肯定打不出一些特殊符號，但是通過接口用機(jī)器寫入，想寫什么，就寫什么。

小紅書社區(qū)中的大量明晃晃的違規(guī)內(nèi)容，很有可能是由于接口被攻破，遭遇大量的機(jī)器寫入，這個在黑產(chǎn)攻防中很常見。

通過機(jī)器大量灌入垃圾內(nèi)容導(dǎo)致競爭對手出現(xiàn)問題，在業(yè)內(nèi)并不稀奇。

所以在賬號準(zhǔn)入外，也要主要APP本身的加固措施。

敏感詞過濾，決策引擎，加盾，APP加固，這4套都做好（需要坐很久很久，這是一個很大的工程），是不是就高枕無憂了？

不是的，作為內(nèi)容社區(qū)，小紅書還需要更重要的一套機(jī)制，就是用戶內(nèi)容舉報機(jī)制。

只靠小紅書自己，累死他們也不可能擋掉一切的垃圾內(nèi)容，而且使用策略也好，規(guī)則也好，閾值設(shè)置比較寬松的話，總有漏網(wǎng)之魚。

閾值設(shè)置過于嚴(yán)格的話，總會有被誤殺的用戶，被誤殺的用戶還會去各個論壇和網(wǎng)絡(luò)媒體發(fā)聲，去譴責(zé)小紅書。

在這個好事不出門，壞事傳千里的年代，這種負(fù)面信息對于小紅書也是一種傷害。

而小紅書最大的特點(diǎn)就是用戶自發(fā)的參與度高，所以一套完善的用戶舉報機(jī)制是非常高效的平臺行為。

這套機(jī)制不是加一個所謂的按鈕點(diǎn)擊這么簡單，用戶看到的可能就是一個舉報按鈕。

但小紅書需要做的是針對整個舉報設(shè)計完整的SOP（標(biāo)準(zhǔn)作業(yè)流程），如何判定舉報是否有效，不同舉報內(nèi)容的確認(rèn)標(biāo)準(zhǔn)以及處罰標(biāo)準(zhǔn)，舉報應(yīng)在什么時間內(nèi)生效，應(yīng)該給與舉報用戶怎樣的獎勵與支持增加積極性等等等等，這也是一個浩大的工程。

但對于內(nèi)容社區(qū)而言，用戶自發(fā)舉報是非常好用的東西。