這可能是大數據行業(yè)經(jīng)歷的最寒冷的一個(gè)冬天。年關(guān)將至，國人習慣于用各種圓滿(mǎn)的方式給即將過(guò)去的一年劃上句號，不過(guò)，這對于許多大數據行業(yè)從業(yè)者來(lái)說(shuō)，似乎有些奢望。

     整頓、倒閉、離職......最近數月以來(lái)，股股冷峻的氣息一直籠罩在行業(yè)上空。多次監管動(dòng)作不斷提醒和鞭策著(zhù)大數據公司，是時(shí)候告別野蠻生長(cháng)的時(shí)代了，合規才是正途。

巨變啟幕

     監管重錘落地，此前狂飆突進(jìn)的大數據產(chǎn)業(yè)突然被按下“暫停鍵”。

     自今年 9 月以來(lái)，多家大數據公司接連被查，巨變啟幕，行業(yè)“一夜入冬”。

     9 月 6 日，大數據智能風(fēng)控服務(wù)供應商魔蝎數據被警方調查，一位核心高管被帶走，官網(wǎng)至今無(wú)法正常訪(fǎng)問(wèn)；另一家大數據公司新顏科技的 CEO 黃向前也在同一天被警方帶走調查；這天，聚信立發(fā)通知主動(dòng)停止了爬蟲(chóng)業(yè)務(wù)，然未能幸免于“難”，僅過(guò)了幾天后，聚信立被爆有警方進(jìn)駐公司調查；

     9 月 11 日，知名幣圈項目公信寶運營(yíng)主體被杭州警方查封；次日，有媒體報道，集奧聚合深圳分公司十余人被帶走，北京辦公室也有多人被深圳警方帶走；另有爆料稱(chēng)，天翼征信的總經(jīng)理、副總經(jīng)理及市場(chǎng)人員被警察帶走。

     一周之內，5 家公司被查，如此陣勢引發(fā)業(yè)內恐慌，但這可能只是剛剛開(kāi)始。

     緊接著(zhù)，有傳言稱(chēng)百融云創(chuàng )數據查詢(xún)受影響、個(gè)人征信數據業(yè)務(wù)被暫停，深圳分公司員工被帶走，后被官方否認。9 月 27 日，同盾科技子公司信川科技高管被帶走協(xié)助調查；10 月 21 日，51 信用卡委托外包催收公司因涉嫌尋釁滋事等罪被調查；10 月 25 日，新京報報道稱(chēng)，央行發(fā)文緊急調研銀行與上述第三方數據公司合作情況，排查的合作內容主要涉及數據采集、信用欺詐、信用評分、風(fēng)控建模....

     有業(yè)內人士分析稱(chēng)，上述公司被查與其開(kāi)展的“爬蟲(chóng)”業(yè)務(wù)有關(guān)，根源亦在于涉足現金貸、715 高炮、套路貸、暴力催收、“超利貸”等業(yè)務(wù)。

     據 AI 前線(xiàn)不完全統計，此次清查波及的大數據公司至少 15 家左右（以下根據公開(kāi)資料整理，力有不逮，難免遺漏或錯誤，請見(jiàn)諒）：

     那個(gè)“2019 年，捕獲獨角獸最多的機構：紅杉、阿里、騰訊和警方”的網(wǎng)紅段子在引人發(fā)笑的同時(shí)，也反映出了當下大數據公司的尷尬處境。

     今年 11 月以來(lái)，公安部加大了 APP 違法違規采集個(gè)人信息集中整治力度，共下架整改 100 架 APP，其中考拉海購、房天下、樊登讀書(shū)、天津銀行等知名 APP 也在列，這些 APP 多涉及無(wú)隱私協(xié)議、收集使用個(gè)人信息范圍描述不清、超范圍采集個(gè)人信息和非必要采集個(gè)人信息等情形。據悉，今年以來(lái)，公安部“凈網(wǎng) 2019”專(zhuān)項行動(dòng)，已查處違法違規采集個(gè)人信息的 APP 共 683 款。

監管風(fēng)暴席卷而來(lái)。大數據行業(yè)內人心惶惶，經(jīng)此一擊，許多大數據公司遭受重創(chuàng )，大量數據接口被切斷，數據產(chǎn)品停售，部分公司業(yè)務(wù)部門(mén)解散、裁員，還有一些公司瀕臨倒閉。據一本財經(jīng)統計，或有上萬(wàn)人因此離開(kāi)大數據行業(yè)。

禍起爬蟲(chóng)？市場(chǎng)已是風(fēng)聲鶴唳。

     一時(shí)間，人人聞“爬蟲(chóng)”色變。白騎士、葫蘆數據、天機數據、立木征信、聚信立等大數據公司紛紛宣布暫停爬蟲(chóng)業(yè)務(wù)；還有的公司在幾天之內火速將爬蟲(chóng)業(yè)務(wù)從經(jīng)營(yíng)業(yè)務(wù)范圍中“抹掉”，招聘“爬蟲(chóng)工程師”的公告信息也被緊急撤下；一些爬蟲(chóng)程序員因為擔憂(yōu)是否游走在違法邊緣，頭發(fā)又多掉了幾根....

     業(yè)內有這樣一種說(shuō)法，爬蟲(chóng)貢獻了互聯(lián)網(wǎng) 50% 的流量，它對于互聯(lián)網(wǎng)的繁榮功不可沒(méi)。但該技術(shù)同時(shí)也因“用途”而充滿(mǎn)爭議。爬蟲(chóng)是一項見(jiàn)不得“陽(yáng)光”的技術(shù)，它廣泛運用，卻少有人愿意承認在使用它。因為它常常被用作非法收集信息的工具，站上數據隱私、數據安全的對立面。

     “爬蟲(chóng)技術(shù)本身并無(wú)對錯，但要看怎么用，用錯了肯定違法啊�！币晃怀绦騿T向 AI 前線(xiàn)表示，“技術(shù)無(wú)罪，關(guān)鍵在于人�！�

網(wǎng)絡(luò )爬蟲(chóng)是非常普遍的一種數據挖掘技術(shù)，它是一種按照一定的規則，自動(dòng)地抓取網(wǎng)絡(luò )信息的程序或者腳本。爬蟲(chóng)技術(shù)最早主要運用在搜索引擎中，它滿(mǎn)足了人們的數據獲取、分析需求。早在 1995 年，為了不越“邊界”，互聯(lián)網(wǎng)搜索引擎與網(wǎng)頁(yè)持有者之間達成了一項“君子協(xié)定”——robot 協(xié)議。該協(xié)議規定了哪些信息該爬，哪些信息不該爬，20 多年來(lái)，該協(xié)議一直沿用至今。

     在遵循 robot 協(xié)議的前提下使用爬蟲(chóng)技術(shù)，是沒(méi)有任何風(fēng)險的。但往往有些“作惡者”試圖越過(guò)紅線(xiàn)，一些大數據公司打著(zhù)“大數據分析”的名頭違規違法，爬取任何網(wǎng)頁(yè)及訪(fǎng)問(wèn)用戶(hù)的數據，致使“蟲(chóng)災”泛濫。

     現在的爬蟲(chóng)似乎無(wú)所不能，只要有賬號密碼都可以爬，包括電商平臺、外賣(mài)平臺、地圖、旅行網(wǎng)站、共享單車(chē)、等平臺的個(gè)人信息，用戶(hù)的通訊錄、上網(wǎng)地址、收貨地址、聊天記錄、搜索記錄、支付記錄，甚至央行的征信報告......總之，一切皆可爬，還可進(jìn)行定制化爬取。

在互聯(lián)網(wǎng)金融領(lǐng)域，上述數據主要被濫用于借貸、風(fēng)控環(huán)節，具體多用在導流獲客和暴力催收上。除了支付寶爬蟲(chóng)、微信爬蟲(chóng)，甚至還有同業(yè)爬蟲(chóng)，同業(yè)爬蟲(chóng)即爬取同行的信息。據了解，摩羯科技曾推出該款產(chǎn)品，其要求借貸者提供在其它平臺上的用戶(hù)名與密碼，并通過(guò)爬蟲(chóng)爬來(lái)競品的貸款額度及還款記錄，這樣便相當于剽竊了同行的風(fēng)控成果。

     今年 3 月，號稱(chēng)擁有中國最大的簡(jiǎn)歷數據庫的巧達科技被警方一鍋端，該公司的簡(jiǎn)歷數據庫全部是通過(guò)非法手段爬取而來(lái)，非法獲取的簡(jiǎn)歷超過(guò) 2 億條，它將簡(jiǎn)歷庫以 13800 元每年的價(jià)格出售，非法獲利。光是 2017 年，巧達科技憑此業(yè)務(wù)營(yíng)收高達 4.11 億元。泄露、買(mǎi)賣(mài)、濫用，這些違規收集來(lái)的數據被肆無(wú)忌憚的曝光、出售，令用戶(hù)信息猶如在裸奔，嚴重侵犯了用戶(hù)個(gè)人隱私。

爬蟲(chóng)也是一項“矛盾”的技術(shù)。爬與反爬的“斗爭”每天都在上演，力量此消彼長(cháng)。

     據一位資深程序員介紹，現在比較常見(jiàn)的反爬蟲(chóng)技術(shù)手段主要有，檢測 Header 信息；設置 IP 訪(fǎng)問(wèn)頻率，分析同一 IP 或同一設備在短時(shí)間內多次訪(fǎng)問(wèn)同一頁(yè)面或進(jìn)行相同操作；識別 UA、通過(guò)動(dòng)態(tài)頁(yè)面增加爬取難度等方式。

     這幾年，隨著(zhù)隨著(zhù) AI 的發(fā)展，一些機器學(xué)習、canvas 指紋等智能反爬蟲(chóng)技術(shù)也被運用起來(lái)。例如，騰訊云網(wǎng)站管家 WAF 就將 AI 檢測引擎能力，運用到了爬蟲(chóng) Bot 程序檢測的環(huán)節上，AI 引擎能夠對站點(diǎn)訪(fǎng)問(wèn)流量的會(huì )話(huà)進(jìn)行追蹤，通過(guò)流量畫(huà)像，匹配行為模型及行為標簽進(jìn)行識別，進(jìn)而識別出爬蟲(chóng) Bot 程序流量行為。

     今年 5 月，被稱(chēng)為“中國版 GDPR”的《數據安全管理辦法》征求意見(jiàn)稿發(fā)布，第 16 條規定，網(wǎng)絡(luò )運營(yíng)者采取自動(dòng)化手段訪(fǎng)問(wèn)收集網(wǎng)站數據，不得妨礙網(wǎng)站正常運行；如自動(dòng)化訪(fǎng)問(wèn)收集流量超過(guò)網(wǎng)站日均流量三分之一，網(wǎng)站要求停止自動(dòng)化訪(fǎng)問(wèn)收集時(shí)，應當停止。

     一位業(yè)內人士認為，技術(shù)只是工具，在獲取數據時(shí)需要考慮數據到底有沒(méi)有獲得授權，需要幾方授權，在拿到用戶(hù)授權的情況下，有沒(méi)有拿到網(wǎng)站等數據來(lái)源方的授權，這其中涉及到的權責邊界應該更明確。

     隨著(zhù)監管越來(lái)越嚴格，爬蟲(chóng)技術(shù)的使用邊界也將更加明晰�；ヂ�(lián)網(wǎng)從業(yè)者應當懷有敬畏之心，要時(shí)時(shí)注意不要觸碰邊界，畢竟爬蟲(chóng)只是技術(shù)，灰色的是“助惡者”。

繁榮下的危局

     整頓風(fēng)波揭開(kāi)了大數據灰色產(chǎn)業(yè)鏈的冰山一角，也將大數據行業(yè)高光背后的暗影一并曝在了陽(yáng)光下。

伴隨著(zhù)互聯(lián)網(wǎng) + 迅速成為潮流，以及深度學(xué)習推動(dòng)下的第三次人工智能熱潮，大數據技術(shù)備受追捧，“得數據者得天下”是一度被風(fēng)口裹挾著(zhù)的大數據產(chǎn)業(yè)的繁榮寫(xiě)照。

     金融大數據是大數據產(chǎn)業(yè)應用最廣的領(lǐng)域之一。2013 年前后，互聯(lián)網(wǎng)金融開(kāi)啟了發(fā)展元年，一大批 P2P、第三方支付等互金平臺涌現。P2P 平臺一騎絕塵，但缺乏數據能力、風(fēng)控能力差是其發(fā)展掣肘之一，如此一來(lái)，就為第三方數據公司提供了誕生的契機。

     同盾科技便是彼時(shí)的入局者之一。2013 年，時(shí)任阿里巴巴集團安全部技術(shù)總監的蔣韜，還曾因離職創(chuàng )辦同盾科技在業(yè)內引起一番不小的轟動(dòng)。成立當年，同盾科技便拿到了來(lái)自 IDG 資本和華創(chuàng )資本的 A 輪融資。AI 前線(xiàn)查詢(xún)天眼查顯示，同盾科技自成立以來(lái)已獲 6 輪融資，除 2018 年外，幾乎每年都有融資，最近的一次是在今年 4 月完成的超 1 億美元 D 輪融資，估值近 20 億美元。

     有數據統計，2013 年到 2015 年，中國市場(chǎng)上 P2P 網(wǎng)貸平臺數量從 800 家增長(cháng)至 2595 家，累計交易規模超過(guò) 11.4 萬(wàn)億。另?yè)�億歐智庫《2018 中國智能風(fēng)控研究報告》顯示，截至去年年底，573 家金融風(fēng)控企業(yè)共獲得投資金額超過(guò) 1000 億元，其中三成企業(yè)獲得三次及以上的投資。這些企業(yè)中，有 69.8% 成立于 2013 年 -2017 年。

     最近兩年，金融科技成為 P2P 熱潮落幕后新的創(chuàng )投風(fēng)口，再次助推大數據產(chǎn)業(yè)發(fā)展走向新的高潮，同盾科技、51 信用卡等大數據公司也躍升為明星獨角獸。

     在草莽生長(cháng)的早期階段，不少大數據公司趁機鉆了法律不完善的空子，其數據業(yè)務(wù)游走在道德和法律邊緣。自 2015 年以來(lái)的多次監管動(dòng)作也無(wú)不為從業(yè)機構敲響警鐘——要合規化使用數據。

     在很大程度上，這些 P2P 網(wǎng)貸平臺與第三方數據公司是“相互成就”的關(guān)系。而一榮俱榮，一損俱損，當監管“緊箍咒”收緊之后，大數據產(chǎn)業(yè)也迎來(lái)了洗牌階段�！澳切┠軌驖M(mǎn)足政策及市場(chǎng)客戶(hù)需求的團隊，肯定會(huì )越做越好，而那些無(wú)法真正滿(mǎn)足需求的，將面臨淘汰�！币晃淮髷祿�行業(yè)從業(yè)者向 AI 前線(xiàn)表示。

     某頭部互聯(lián)網(wǎng)消費金融平臺的大數據負責人表示，這次的監管行動(dòng)從產(chǎn)品—爬蟲(chóng)技術(shù)—相關(guān)的數據方—網(wǎng)貸平臺，可以說(shuō)是一條鏈式的查處。盡管有些嚴格，但如果不經(jīng)過(guò)整治， 行業(yè)內存在的“缺乏明確規則”的問(wèn)題就很難作出改變。一些大數據公司“單純”的認為自己只是給甲方做數據服務(wù)，即便出了問(wèn)題，也事不關(guān)己。但現在來(lái)看，這些權責是需要進(jìn)一步明確的。

漸入寒冬深處，結局也格外凄冷。

     一些重度依賴(lài)爬蟲(chóng)業(yè)務(wù)的大數據公司輕則業(yè)務(wù)停滯，重則或將因此倒下，即便能勉強活下來(lái)的恐怕也要被迫轉型。另一方面，一些 AI 公司、金融科技公司也會(huì )受到不同程度的影響，沒(méi)有了大量數據持續“投喂”，模型該如何迭代優(yōu)化？

     “有時(shí)候市場(chǎng)表面上的虛假繁榮是難以持續的，泡沫總有一天要被戳破。這次監管風(fēng)暴對小機構來(lái)說(shuō)，以后可能更難做了，對一些大機構會(huì )有一定影響，但可能影響沒(méi)那么大，優(yōu)勝劣汰會(huì )加劇。大浪淘沙后留下來(lái)的是那些對用戶(hù)來(lái)說(shuō)定價(jià)更低、體驗更好的產(chǎn)品，而淘汰掉的絕大部分是那些不合規的企業(yè)。因此，從長(cháng)期來(lái)看，通過(guò)強監管之后，大數據行業(yè)會(huì )更合規，總體來(lái)說(shuō)對用戶(hù)會(huì )更友好�！鄙鲜龃髷祿�負責人繼續說(shuō)道。

     一位第三方數據公司的高管對形勢感到樂(lè )觀(guān)。她認為，這次監管風(fēng)暴對行業(yè)的健康發(fā)展是有利的，監管介入、政策出臺，這都在引導行業(yè)往好的方向發(fā)展，數據采標清洗質(zhì)檢等流程會(huì )逐漸趨向標準化、合規化、安全化，進(jìn)而提高大數據行業(yè)的進(jìn)入門(mén)檻，并倒逼從業(yè)者提升服務(wù)質(zhì)量。

     一半是海水，一半是火焰。值得一提的是，一些具有國企背景的大數據公司逆勢成為行業(yè)里的“香餑餑”。那些不合規的企業(yè)終將湮沒(méi)不斷滾滾向前的歷史洪流中，未來(lái)的大數據產(chǎn)業(yè)屬于合規的參與者。