爬虫业务整肃 断臂后的大数据公司去哪

本篇文章3484字，读完约9分钟

众所周知，今天的大数据行业正如火如荼。近日，央视《揭秘常规贷款背后的“恶利息链”调查报告》披露，上海和杭州两家大数据公司非法抓取数据为常规贷款服务，再次将人人都身处险境的大数据行业推到了风口浪尖。据《今日北京商报》记者调查，在严格监管下，包括通盾科技在内的许多大数据公司纷纷削减爬虫业务。与此同时，一些合作企业主动中止了与相关大数据公司在爬虫业务方面的合作，以回应监管要求。业内普遍关注的是，切断重要盈利业务的大数据公司应该如何在公众舆论动荡和爬虫整改面前生存。

中央电视台曝光

大数据公司卷入了公路贷款风暴

最近，中央电视台一份关于“揭露日常贷款背后的犯罪利益链”的调查报告再次将不稳定的大数据行业推到了风口浪尖。该报告披露了两家大数据公司非法获利超过10亿元的细节。据警方称，自2016年7月以来，上海一家涉案数据公司从非法获取的公民个人信息中非法获利逾1亿元；另一家位于杭州的数据公司也利用非法获得的公民个人信息为互联网贷款人提供风险控制评估，非法获利超过9亿元。

《今日北京商报》记者注意到，在前述报道中，上海大数据公司巨新力和杭州大数据公司同盾科技都出现在报道页面上。该报告指出，在非法利益链中，为常规贷款犯罪团伙提供数据支持服务的公司往往会在数百个家庭面临大数据风险控制或大数据信用报告时出现，主要是通过强制借款人授权和爬虫技术。该网站非法抓取公民的个人信息，包括公民身份验证、电信运营商通话细节、电子商务数据、公积金、社会保障信息、学术信息、外卖信息、法庭信息等。，然后做出详细的报告并将其提供给例程

许多业内人士今天告诉《北京商报》，在央视截图点名的公司中，同盾科技是共同黄金行业知名的大数据风险控制公司。作为敦科技的官方声明，它是一个智能风险管理平台，为互联网金融、电子商务、o2o、银行、保险等行业提供一站式的风险控制和反欺诈解决方案，服务于1万多个客户。一位知情人士今天告诉《北京商报》记者，近年来，通盾科技的服务客户主要是互金行业，主要通过三种方式与国外合作:数据输出、风险控制系统和建模服务。盈利模式包括收取数据费、系统模型费、部分模型共享费等。

至于央视曝光的内容、公司的业务和客户比例，《今日北京商报》记者试图采访通盾科技，但截至发稿时，对方并未回应。

即将到来的事件在他们面前投下阴影，央行的上述风险并非没有预警。今年下半年，通盾科技多次参与运营或被调查。在整顿的压力下，许多公司，包括同盾科技，都表示他们已经暂停了爬虫业务。为此，《今日北京商报》记者采访了同盾科技的几位合作伙伴。一些企业表示，他们已于10月份收到监管通知，并暂停了与同盾科技爬虫业务的合作；一些共同黄金平台也回应称，他们目前仍在合作，主要是基于大数据风险控制。但是，至于合作的细节，暂时不方便根据商业条款透露。

《今日北京商报》记者注意到，自今年9月以来，通盾科技有限公司一直不太太平。9月16日晚，业内传出消息，同顿科技爬虫事业部解散，创始人兼首席执行官蒋韬“出走”。9月17日，通盾科技紧急发布谣言声明，称首席执行官蒋韬最近一直在中国处理公司事务；数字魔盒是一款涉及爬虫技术的产品，由杭州新川科技有限公司(以下简称“杭州新川”)自主经营。目前，杭州新川已停止相关服务，员工已正常调动。

然而，在谣言传出后不到10天，即9月26日，据报道，通盾科技子公司爬虫业务负责人被调查。与之前的传言不同，这一消息得到了通盾科技的官方证实。9月27日，通盾科技负责人回应称:“为了配合警方对曾经服务过的第三方单位进行调查，杭州新川及相关人员正积极协助警方进行调查取证，以协助相关部门了解第三方单位的情况。”

校正顶盖

许多公司为了生存已经破了产

对通盾科技子公司爬虫业务负责人的调查只是大数据行业的一个缩影。事实上，自今年下半年以来，大数据风险控制行业已经全面展开。7月18日，莉姆信用信息公司和大部分员工被警方带走；9月初，两大数据风险控制服务提供商魔术科技(Magic Technology)和欣彦科技(Technology)的相关人员也因涉嫌使用爬虫技术侵犯个人隐私而被警方调查；9月11日，工信宝公司办公室被警方查封。一些知情人士猜测，调查的原因也与其爬行动物业务有关；随后，9月12日，天一信用信息公司多名高管和员工被警方调查的消息再次在业内曝光。

对于上述公司的调查和最新进展，《今日北京商报》记者纷纷采访和联系他们。其中，莉姆信用信息公司已注销，联系电话未接通；魔蝎科技官方网站显示，由于网址变更或服务不稳定，可能无法正常访问，联系电话无人接听；工信报官方网站正常，但联系电话无人接听；欣彦科技的工作人员表示，目前还不清楚事件和最新进展；至于天一的信用调查，《今日北京商报》记者询问了他的工作人员，但截至发稿时，对方没有进一步回应。

整顿高层，大数据风险控制行业如履薄冰。在每个人都处于危险之中的情况下，包括聚新利、杭州友顿和天吉数据在内的公司已经暂停了爬虫服务。此外，通盾科技多次表示，自2018年以来，已逐步调整了业务，目前已停止所有相关服务。

然而，许多业内人士告诉记者，对于大多数大数据公司来说，爬虫服务是一个重要的利润点，停止这项业务后，他们的公司运营将受到严重打击。

“大数据公司的生产资料本身就是海量数据。目前，除了使用爬虫技术来捕获数据之外，这个行业正在寻找第三方来购买数据，但是第三方购买的成本将侵蚀大部分利润，因此大多数大数据服务提供商将选择开发自己的爬虫来捕获数据。”南京信息科技大学滨江学院的行业教授刘枫直言不讳地表示，如果大数据公司停止爬虫业务，将不可避免地导致主营业务成本大幅上升，失去自身的价格优势，而成本上升将使其失去市场。同时，合作服务提供商将选择减少甚至停止合作。

此外，另一位不愿透露姓名的资深业内人士也指出，“停止爬虫业务将对通盾科技等公司的业务运营产生很大影响，因为金融机构需要数据以及基于数据的其他系统级合作。没有数据，金融机构的合作意愿将大大降低。”。不过，该人士也指出，数据只是通盾科技有限公司收入的一个方面，它还拥有大量本地化或基于云的决策平台和在线贷款管理平台，这些平台都不涉及数据，因此不知道其运营是否受到重创。

爬虫业务给同盾科技带来了多少利润？削减爬虫业务将如何影响其运营？《北京商报》记者也向通盾科技发出了采访提纲，但截至发稿时，对方并未回复。

在严密的监督下

技术驱动是出路

“在这一波大数据行业整顿中，涉及的问题包括很多方面，一方面是非法获取数据的问题，另一方面是利用数据获取非法利润的问题。”《北京商报》采访的许多业内人士指出。目前，监管已经为金融业的大数据风险控制公司设置了一条红线。只要他们未经许可非法获取和传输个人隐私数据，参与日常贷款和非法收集，他们将付出巨大代价。

正如杭州电子科技大学副教授徐伟栋所说，这一轮整改可以说是大数据行业的一场灾难。尽管它起源于对常规贷款的打击，但它在非法数据存储、使用和传输(以及由此产生的利润)方面给大数据行业带来了一个深水区。

另一位行业高管也指出，今年下半年大数据行业的整改趋势反映了金融技术监管的实施。数据获取的合法性、数据使用的合法性以及未来的监管将通过渗透来管理。他进一步预测，大数据风险控制等金融技术服务未来将需要许可，金融技术产品将通过认证。同时，行业还应加强与特许机构的合作，积极配合监管和整改。

在行业的严格监管下，包括通盾科技在内的许多大数据风险控制公司踩下了刹车，一方面切断了数据爬虫业务，另一方面增加了与特许金融机构的合作。然而，在风向突然转变的情况下，面对舆论动荡、爬行者整改、重要盈利业务被切断，大数据公司如何在互联网金融下半年生存？

在这方面，上述资深人士表示，大数据风险控制公司应该将其数据驱动型运营转变为技术驱动型运营。通过知识地图、自然语言处理、物联网传感数据建模等深入学习和探索，将成为行业内的技术供应商或可行的途径。

刘枫指出，从此次整改来看，一方面，行业不能投机取巧，需要合法合规开展业务，避免潜在的法律风险；另一方面，我们必须迫使我们自己的业务进行改革和升级，并通过综合服务和更高的附加值来推动我们自己的大数据服务的利润率。他进一步指出，从另一个角度来看，能够挺过本轮整顿的企业，也可以从被淘汰的企业中获得更多的市场，从而在未来受益。

徐伟栋还表示，目前，在从业人员逐渐遵守监管规定的同时，暂时不宜进行大规模业务拓展，应根据监管趋势调整策略。此外，资本市场对大数据公司业务模式和估值模式的理解需要同时改变。