Instagram CEO 的野心:用 AI 過濾一切假粉絲與惡意評論

作者:湯圓圓   |   2017 / 08 / 29

文章來源:獵雲網   |   圖片來源:股感知識庫


去年六月在迪士尼 (Disney) , Instagram 執行長 Kevin Systrom 表示網路已經變成了污水池並決意要將其淨化。公司當時正在公園舉辦 2016 年度 VidCon 私人活動,這是一場吸引社群媒體名人的年度盛會。 Systrom 見到了很多 Instagram 上的名人。他們聊天嬉笑,用彼此的手機鏡頭拍照發文。但這樣的貼文卻帶來了負面效果。

Instagram 本應是一個表達自我、給人帶來愉悅的地方。誰想要遭受貼文下面的“評論暴力”呢?他們想要表現自我,但結果卻是被羞辱、嘲諷或騷擾。如果時不時七個小矮人就會嚷嚷著白雪公主變胖了的話,那麼 Instagram 是有一點像迪士尼的。

聊天之後,33 歲的 Systrom 上傳了他自己蹲在名人之間的影片。在這條短影片裡,20 個年輕人一邊晃動著身體,一邊微笑著。而在右下角,一位年輕的女士揮著手,膝蓋則在相互碰撞。她揮手的樣子就好像是在打蛋做蛋奶酥一樣。

貼文下面的評論最開始是一個 emoji 愛心,然後就是“Hoooooo”、“太有趣了”。但很快,酸民們就又出現了。評論的畫風開始變味了,例如說“走到窗戶邊跳出去吧”。還有一些評論中都帶有 emoji 的西瓜表情。根據不同場景,這種表情帶有種族主義、性別歧視亦或是計劃野餐等含義。另類右翼人士一遍又一遍宣稱“表情包很重要”。

貼文下有一個連結可以連至杜拜商機的文本網頁。還有一個用戶要求 Systrom 關注他,留言 — “請回關@kevin”。有一些勇士對 Instagram 將照片顯示順序按照相關性而非時間的變動大肆發表了言談:“請重新按照時間順序顯示照片!”

Systrom 是一個高高瘦瘦的男士,為人謙遜。他非常友善,器宇高雅,現在已經是一個億萬富翁,但他無意於成為同齡人中的領袖。他沒有遊艇,也不會去什麼早期初選州,更沒有與之前的合作夥伴簽署保密協議。Systrom 自己 Instagram 上的照片基本都是狗狗、喝咖啡、騎車或是與明星的合照。

幾年前,Valleywag 稱他的聲音是“一個人閲讀自己訃告時那種生硬、不自然的腔調”,但他之後的聲音就變得醇和多了。如果非要說他有什麼做得失敗的事情的話,那些雞蛋裡挑骨頭的人就會說“他是一個失敗者”,因為他和聯合創始人 Mike Krieger 過早得把 Instagram 賣給臉書 (Facebook) 了。從史丹佛畢業幾年後,他們就創建了 Instagram 平台,很快平台就大獲成功。憑此,他們賺到了 10 億美元。而拒絶臉書收購要約的Snap如今價值約170億美元。

Systrom 一直以心善聞名,他認為這是 Instagram 基因中關鍵的一部分。當 Instagram 服務在 2010 年推出時,他和 Krieger 會刪除一些負面評論。他們甚至還會親自降低一些用戶的評價,以減少酸民的數量。他還表示 Krieger“一直是微笑著的,也很善良”。在他和妻子在一起之後 — “一位非常心善的女子”,他也試圖規範自己的行為。Kevin Systrom 本人也希望成為 Instagram 主頁上表現出來的那樣陽光正能量的人。

因此,當 Systrom 從 VidCon 回到 Menlo Park 的 Instagram 總部時,他告訴同事他們有了一個新的使命。 Instagram 將要成為社群媒體上的一個烏托邦:網絡上最美好的地方。接下來 (恰好在美國獨立日前) ,Systrom 在 Instagram 上傳了一張自製椒鹽卷餅的照片。

“這就像是你媽媽的圓髮髻。”@ streamlinedude 評論道。@ Juliamezi 補充道:“如果你停止閲讀,你就會死。”

依傳統觀念看來,科技平台並非是中立的。它們的設計和架構也會促使一些行為,算法也會更多的控制用戶行為。我們也許會感覺是自己在掌舵,但平台是河流,算法則是水流。

作為服務 7 億用戶平台的執行長,Systrom 意識到他有點像是一個國家的慈善統治者,而這個國家的規模是美國的兩倍多。他所做的決定會影響到所有用戶的生活 — 其中一些用戶是缺乏安全感的青少年,有一些是能很好地適應環境的成年人,有些是廣告商,還有一些是和酸民對抗的流行歌手們。

2016 年七月中旬,就在參加完 VidCon 之後,Systrom 就面臨了一次綠蛇 emoji 事件。不知道怎麼的,在那一週,歌手泰勒斯 (Taylor Swift) 與 Calvin Harris、Katy Perry 以及 Kim Kardashian 鬧翻了。泰勒斯被指控成了一位背信棄義的小人。

很快,她的主頁上就如同是國家動物園裡的爬行動物中心。幾乎所有貼文下面都被網友留有蛇的 emoji 表情。群蛇或堆積出現,或按照數量排列,亦或是與豬的 emoji 表情交替出現。然後,突然之間,蛇的 emoji 表情在她的主頁上就開始消失了。很快,泰勒斯的 Ins 主頁又恢復了過往的樣子 — 幾乎都是她和朋友穿著泳裝的照片,評論中都是些溢美之詞。

這並不是偶然。過去幾週內, Systrom 和他的 Instagram 團隊悄悄設計了一個過濾器,它可以刪除用戶主頁上出現的特定字眼以及 emoji 表情。Swift 的蛇 emoji 就是第一次真實的試例。九月, Systrom 向世人宣佈了這項功能。用戶可以點擊“隱藏不當評論”,這樣就可以屏蔽一系列公司挑選出來的詞彙,包括種族誹謗這類詞彙。他們還可以自定義添加關鍵詞甚至是 emoji 表情,比如說蛇。

網路淨化之戰, Instagram 的工程師才剛剛開始。十月, Instagram 上線了一系列工具,如果有中學輔導員非法入侵你的手機,那麼這些工具可以粗略預測會發生什麼。如果你輸入“自殺”,你就會看到一個小方框內顯示 — “如果你正在經歷一些坎坷,我們很願意為你提供幫助”。緊接著,螢幕就會為你提供幫助,包括顯示出預防自殺熱線的電話。

兩個月後,即2016 年 12 月,公司“放權”給用戶,讓其可以關閉某一貼文的評論。當你需要獨自記錄一些事情而不想與人討論時,你就可以使用該功能。

憤世嫉妒者也許會指出這些變動同樣會讓企業受益。廣告商們會喜歡在正能量平台上花錢,明星也喜歡這種自己不會被嘲諷的平台。如果家長不阻止,青少年也感到安全的話,他們便會公開自己的帳號。

但如果你和 Instagram 公司裡上上下下任何一個人溝通過的話 (從 Systrom 往下到基層員工) ,你會發現他們在內心深處都是將其當做是一場淨化運動,而不是什麼盈利計劃。 Instagram 公共政策總監 Nicky Colaco 表示自己的孩子還有許多青少年的第一次社群媒體使用體驗就是 Instagram 。“我認為我們的淨化運動實際要傳達的理念是 — 我們想要生活在一個不一樣的世界裡。”她這樣說道。

但 Instagram 平台無法僅僅靠技術補救 (例如自動刪除蛇 emoji 表情) 來實現其建造美好世界的目標。因此,即便去年秋天 Instagram 上線了很多產品,但實際上工程師已經在著手開發一些更為複雜的產品了。

將網路上的廢話與理智評論區分開來,這對人類來說一直是一項亟待實現的任務。多虧了人工智慧,機器可以更好地勝任這項工作。去年六月,大約就是 Systrom 參加 VidCon 的時間點,臉書宣佈它已經開發出了一項工具來幫助電腦理解語言。這款被稱之為 DeepText 的系統是基於一個機器學習概念,叫做單詞嵌入。當系統碰到一個新單詞時,它會試圖根據該單詞周圍的其他詞彙來嘗試推斷其含義。

如果一個西瓜的 emoji 表情同右派表情包一同出現,這就是暗含一些意義了。當分類引擎分析的數據越多,系統就會變得越聰明。和我們人類一樣,它也會不斷進行學習。但有一點不同於我們,它不會因為要連續閲讀 cuck 這個單詞 72 遍而感到疲倦或是壓抑。

有一種方法可以幫助我們理解 DeepText,它就像是一個成年人的大腦。大腦的全部記憶都已經被抹除,它將致力於完成你分派給它的語言任務。臉書從本質上來說就是一個滿是這些空大腦的冷凍室,它會將其分發給工程師團隊。

一些大腦會被訓練來辨別 Messenger 用戶是否需要叫車服務,還有部分大腦則會被訓練來幫助用戶在市場交易平台上出售自行車。

c4ca4238a0b9238184-768x1024(Instagram 公共政策總監 Nicky Colaco 說道,“我認為我們的淨化運動實際要傳達的理念是 — 我們想要生活在一個不一樣的世界裡。”)

在瞭解了 DeepText,之後, Systrom 意識到他的工程師可以將其訓練為對抗 Instagram 上的垃圾評論。但首先,這就像是兒童學習語言一樣,它需要有人來教它。因此, Systrom 集結了一個團隊,從平台上整理出大量廢話、打諢以及低級恐嚇。

他們會將評論標記為垃圾評論或非垃圾評論,之後將這一切數據都輸入給 DeepText。機器就會研究這些分類,然後製定出一些規則來辨別這是否真的是杜拜給出的交易發盤,以及這是朋友還是機器人想要求“互粉 (編者按:互為偶像和粉絲)”。一旦 DeepText 能夠足夠準確地區分垃圾評論,工程師就可以直接給出訊號。公司在去年十月悄然上線了該產品。

之後, Systrom 又有了一個更為複雜的念頭:如果 Instagram 可以利用 DeepText 移除一些惡意評論呢?忘記要求互粉的評論吧。想想人工智慧是否能夠學會過濾掉那些模棱兩可的內容呢?像“走到窗子邊,跳出去”這種話絶對是惡意的,但它並不包含任何惡意的字眼,但電腦能夠識別嗎?“這就像是你媽媽的圓髮髻”,這句話非常沒禮貌且與照片主題無關。但如果這評論來自於你的一位幼時朋友,而他是真得欣賞你母親做的德國椒鹽卷餅,那麼這又是正面的了。

其他社群媒體公司也在嘗試過濾垃圾評論,但 Instagram 的新計劃 — 讓整個平台更加友好 — 卻是野心極大的。 Systrom 讓他的團隊努力實現這一目標。

Instagram 是一個相對較小的公司。員工總數大約為 500 人 — 平均每個人要負責 150 萬活躍用戶。訓練機器友善化的團隊規模也非常小。當我在去年 6 月去拜訪時,團隊大約是 20 人,每個人坐在獨立的辦公桌旁,周圍全是四處散落的消毒濕紙巾盒。每個人看上去都很年輕,團隊成員也來自不同種族。

一個戴著頭巾的女士坐在穿著 Tim Lincecum 運動衫的白種人旁邊。他們的工作是仔細研究評論,然後決定每一條評論是否確切或是在精神上符合 Instagram 的社區指導方針。

這一方針是於 2012 年首次起草的,它相當於是社群媒體平台的憲法,目前外界可獲取到的是簡化了的 1200 字版本。 (簡而言之:尊重別人,穿好衣服。) 但評估人員則可以獲得更長的機密版指導方針,並用此來衡量哪些評論是負面的,哪些是正面的。團隊共有幾十位評估人員,所有人都至少能掌握兩種語言。他們分析的評論數量已經超過了 200 萬條,每一條評論都至少被評估過兩次。

在處理一些極端冒犯性的言論時,一些細微的差別就顯得至關重要了。“如果你使用 N 字開頭、侮辱黑人的字眼,那麼在我們的平台上是不會允許的。” Instagram 的內容營運總監James Mitchell (他還負責管理評估人員) 說道,“當然也有例外情況,比如說自指或是你在敘述一個自己被歧視的經歷時。”

當評估人員整理完了數據,他們會將分類好的 4/5 的文本都輸入到 DeepText 中。機器會研究所有的評論,在正面評論和負面評論中找到分類依據。最終, Instagram  中使用 DeepText 系統的工程師制定出了一套規定,可以基於貼文內容本身以及其他因素來辨認負面評論,比如說作者和評論者兩人之間的關係。

公司還會採用工程師內部稱之為是“karma score”的指標,這可以獲取到用戶一直以來上傳貼文的質量。之後,這部分規則會被應用程式到剩餘 1/5 沒有輸入進 DeepText 中的數據,從而瞭解機器與人類評估之間的適配情況。

機器會給每一條評論 0 到 1 分的評級 — 比如說 0.41 或 0.89 — 這是判斷 Instagram 評論是冒犯性或不合適的方式。分數越高,評論內容越惡劣,到達一定限度後,評論就會被抹除。 Instagram 調整了系統,這樣系統就會存在 1% 的誤報比例,這就意味著機器刪除的評論中,有 1% 是用戶實際可以接受的。

有時候,使用機器其實是解決問題最清晰的一種方式。人類一直在醞釀歧視和矛盾,而電腦卻沒有這些情緒。機器的好壞實則取決於它的編碼。今年前些時候,文本分析公司 Luminoso 的首席科學家 Rob Speer 基於單詞嵌入設計出了一個算法,嘗試理解文本貼文中的一些情緒。他將這種算法應用程式到餐廳評價上,然後奇怪得發現墨西哥的餐廳表現都不佳。他沒有預想到這種情況,於是便去深入分析了數據。

人們喜歡墨西哥食物,但是系統卻表明他們並不喜歡。最終,他找到了罪魁禍首:“原因在於,系統是通過閲讀網頁學習到‘墨西哥’這個詞。”而在網路上,墨西哥這個詞通常是與“非法”這個詞相連的,這在算法看來,就意味著負面的一些內容。

Systrom 對於這個故事的回應是:“這太糟糕了。”之後,他表示 Instagram 的評級並非是基於這樣的算法,而是基於人類評估員的判斷。但評估員也許在某種程度上含有偏見呢?如果穿著 Tim Lincecum 運動衫的男士對於身高較高女性的負面評論比較敏感,但對於個字不高的女性卻沒那麼在意呢?在辦公室裡大家累積起來的偏見也許會造成過濾器的偏見,然後這便會影響 7 億用戶所處的世界。

產品是於去年六月亮相的。至今為止,用戶反饋也都還算不錯。事實上,只有極少數人注意到這件事。過濾器還有待完善之處,它也存在問題。舉個例子,一些詞在不同文化中有著不同的含義。它會攔截使用了“fag”的句子,但在英國俚語中這實際上指的是香煙。它會攔截新帳戶發的“你需要檢查一下你的 BMI 指數”,卻不會攔截已驗證過的帳號。它也無法識別 Kanye West 的歌詞。

Instagram 面臨的一大風險就是過濾器將會慢慢地改變平台的宗旨。當然, Instagram 上主要都是些圖片,但如果真誠的見解和深思熟慮的評論以更低頻率出現呢?事情又會發生什麼變化?最好的想法通常不會是以一種正面且友好的形式出現。

眾所周知,如果沒有iPhone,那麼 Instagram 也就不會出現。就連蘋果 (Apple) 的史蒂芬·賈伯斯 (Steve Jobs) 也曾有過一些言論是無法通過過濾器的。很有可能, Systrom 想要建立的世界沒有想像中那麼美好 — 它有可能只是感覺被淨化了的,就好像是迪士尼一樣,這與現實世界還是有很大不同的。

當他在去年六月宣佈這項產品的問世時, Systrom 公開了一張圖片 (圖中是由字母組成的心形) 並且解釋了他正在做的事情。圖片下面的評論大部分都是積極的,大家都是歡天喜地。“這太棒了!”、“神奇!”、“謝謝你”、“幹得好!”

但是有一些批判性的評價卻沒有“驚擾”到過濾器,這大都是一些關於時間線順序安排的抱怨。還有部分人僅僅認為這件事太奇怪了。但有一些讀者,包括一個 @futures­trader 的帳戶卻精確得指出了問題所在:“儘我希望這種過濾器不會迫使我們在發表評論和觀點時遵從它的審查規定。”

c81e728d9d4c2f691-768x1024(Instagram 的內容營運主管 James Mitchell 負責監管公司內分析 200 多萬評論的評估人員。)

矽谷的審查界定 — 什麼是可以通過的,什麼是不可以通過的 — 其實是不自然的,或者至少說是非常模糊的。憲法規定政府是有權審查你的,但私人平台是無權這樣做的。當然,言論自由在矽谷一直都是大家關心的話題。早期電腦編碼人員遇到的駭客道德以及代碼問題,都推崇的是訊息的自由化。

2009 年,臉書宣稱它的使命是“讓世界更開放更互聯”。同一年,伊朗爆發的綠色革命雖然以失敗告終,但它也被大家簡稱為是“推特 (Twitter) 革命”。“我們想要最大限度增加網路上觀點的數量,因為我們相信越多的言論便是越好的言論。” 推特創始團隊成員之一的 Jason Goldman 這樣說道。2012 年,公司的一位高層將平台稱之為“言論自由黨派中的言論自由陣線”。

如今,推特公司再回首那段時間,那就像是一種天真的理想主義:未能理解深層次性別歧視甚至於是法西斯主義的年輕人創造出的一種產物,隱藏在人類 ID 背後。回首那時,要求言論自由的人都是一些想要推倒獨裁專政的人。如今,這部分人似乎是那些要求有權說出一些種族主義言論但卻不會被打上“種族主義者”標籤的人。

因此,對在網路領域運行的公司來說,言論自由的概念已經發生了轉變。臉書在 News Feed 上出現虛假故事之後就有了新的考量 — 從某種意義上來說,言論自由似乎幫助川普 (Donald Trump) 取得了大選勝利。

無獨有偶,去年六月,臉書也更改了公司的使命聲明。如今,臉書想要“賦予人創建社群的權力,讓世界融合在一起”。最初的使命聲明有點像是 James Madison 會說的話,但後來的聲明則有點像是可口可樂 (Coca-Cola) 廣告。

對 Systrom 來說,這其實非常簡單:言論自由並不意味著你可以隨意發表不當言論。他的網站並非是一個廣場,而是一個人們可以選擇是否要使用的平台。在涉及到言論自由的問題上,他提出了質疑:“言論自由就意味著可以對別人說一些刻薄的話嗎?”Jackson Colaco 也用更為尖鋭的措辭發表了同樣的觀點:“如果平台上的惡意已經讓人們不再想發表評論了,他們更不會去想分享自己的想法,實質上這已經威脅到人們表達的權利了。”

但她的評論又引發了一個新的問題:你是否能清楚知道何時限制言論是在保護言論呢?什麼時候少即多?什麼時候少即少呢?這些問題都不是輕易能解答的, Systrom 將這些問題置於一邊並且指出 —  Instagram 針對的是一些最為惡劣的評論。“我們討論的這部分評論大約占 5%,是那種確實惡劣的內容。”

十年前,Tristan Harris 和 Mike Krieger 均在史丹佛大學著名的說服技術實驗室裡做研究。在那兒,他們瞭解到了科技是如何改變人類行為的。他們兩人曾嘲諷過一個名叫 Send the Sunshine 的應用程式,這是類似於 Instagram 的一個簡化版本。應用程式會提示用戶在陽光明媚的地方拍照片發給陰天的朋友。

Harris 在 Google 待了好幾年時間,如今他正營運著一個叫做 Time Well Spent 的非營利公司,憑此他正面向社群媒體宣戰了。他選擇的武器是:長篇新聞報導。在《The Atlantic》採訪他之後,大眾的目光便開始聚焦在 Harris 身上。雜誌稱他是“矽谷最接近良心的存在”。

在接受 60 Minutes 採訪並與 Sam Harris 會談之後,他的聲望日益增加。“他們所做的一切事情都是為了增加用戶活躍度。”這裡“他們”指的是科技巨頭。“你可以用‘上癮’來替換‘活躍’,兩者其實都一樣。”

Harris 曾與一個叫做 Moment 的應用程式合作過,後者是測量人們在手機上使用其他 App 所花的時間,之後它會詢問用戶是否對此結果感到滿意。90% 的用戶都對他們花時間使用 Google Calendar 感到滿意,96% 的用戶對在 Waze 上花時間感到滿意。超過一半的用戶對於自己在 Instagram 所花的時間表示了不滿,平均一天要花 54 分鐘。臉書更糟糕 — 這是人們抱怨第三多的應用程式,僅次於 Grindr 和 Candy Crush Saga。

當我在採訪中提到 Harris 時,Systrom 笑了並且在我指出 Harris 對 Instagram 的批判之前就給出了回覆:“不好意思,我之所以笑了,是因為我覺得有人要設計出那種讓用戶惡性上癮的應用程式,其想法實在是太過牽強附會。我們是試圖為用戶解決問題,如果這意味著他們喜歡使用這個產品,那麼我想這也是一種成功。”

兩位史丹佛同班同學在本質上都同意一點:人們使用科技的方式有可能是極度不健康的。但是 Harris 想要科技公司“停止為了活躍度而操縱用戶大腦的行為”。 Systrom 希望產品活躍度本身能夠帶來更多正能量的部分。

在去年六月推出評論過濾器之後,Systrom 就開始著手另一個相關的任務:促進用戶消息中的高質量評論,但是這種改變就像是公司基於相關性、而非時間順序來重新整理主要消息一樣。其本意是為了促進模仿傚應。當人們看到別人說一些正面評論時,他們也會給出一些正能量的評論。

Systrom 的野心並非僅限於完善 Instagram 。他的首要目標是要淨化他營運的平台。採訪了很長時間之後, Systrom 還想向我們傳達網路上的惡意其實不是必然的。“也許向其他公司傳遞這樣一個訊號 — 讓大家意識到淨化社群媒體的重要性,然後開始在國內外開展關於創建安全、包容性線上社區的對話,這不僅僅是為了我們的孩子,也同樣是為了我們的朋友和家人。”他說道,“我認為我們能取得成功。”

當問及他的最終目標是否是讓 Instagram 變得更好或是說讓人類變得更好時,他給出了否定回答:“我實際上是想讓網路變得更好。”

一個更加平靜、善良的網路就會更好嗎?也許是吧。完全被過濾之後的 Instagram 並不能推倒獨裁專政。也許它甚至不像現在那麼有趣了。看到泰勒斯完美的夏日聚會被 emoji 綠蛇干擾的樣子,這也不失為一種樂趣。你很難去做出這樣的抗辯 — 網路可以變得更刻薄一些,尤其是在川普時代,尤其是如今有很多青少年都在使用這項服務。

在產品推出之後,這個觀點很快就得到了驗證。七月中旬,悲劇發生了。Systrom 的摯友、 Instagram 的一個高級設計師 Joy-Vincent Niemantsverdriet 在游泳時過世了。心神錯亂的 Systrom 在員工會議上直接哭出來了。Instagram 展現的夢幻生活看上去是要優於我們實際生活的,但是這個殘酷的世界也會有辦法打破這種夢幻。幾天前, Systrom 給他的前同事致敬:“JV 代表著 IG 的一切。他支持設計,關愛一切而不求回報,懷揣好奇之心看待這個世界。”

不管是因為過濾器起作用了或是因為人類有時候也會感同身受,最初幾天網上看不到任何負面評論。有的僅僅只有同情、悲傷甚至是頓悟 — 無人想要將大家對 JV 的緬懷掩蓋過去。

獵雲網》授權轉載

【延伸閱讀】

喜歡這篇文章?加入你的S夾!

獵雲網
「獵雲網」用心服務創業者。
創業本就是一場征途式的孤獨馬拉松。我們關注那些會改變世界的小火苗!不做隔岸觀火者,也不做只拍手稱快者。我們願意參與近這場創業大潮。我們是一群年輕有夢想的創業派。遵守規則,也蔑視規則,推崇創新,也扼殺創新。我們不用別人來指點未來應該走向哪裡。我們的征途是星辰大海!
獵雲網的最新文章
More

社群熱門分享排行榜
本週
本月
追蹤股感的社群