大数据行业迅速崛起，企业如何打造与鉴别大数据人才

本篇文章3796字，读完约9分钟

在过去的两年里，数字转型的浪潮席卷了各行各业。大数据已经以极快的速度从概念转变为现实，并且已经深入到经济和社会的各个方面。越来越多的传统行业开始意识到数据的价值。无论你来自互联网行业、通信行业、金融业、服务业还是零售业，我相信你都不会不熟悉大数据。

大数据产业的崛起

informatica前董事长兼首席执行官苏哈比阿巴斯(Suhabi Abbas)曾承认，信息时代唯一最有价值的资产是数据，它对于更好地了解客户、提高企业的运营效率和业务灵活性是不可或缺的。

阿里巴巴前副总裁、现红杉资本中国(sequoia capital china)专家合伙人车品爵在他的《决战大数据》(Digital Batch Big Data)一书中指出，数据对企业和客户有不同的价值。数据收集实现了企业资源的合理分配；从顾客价值的角度来看，它是顾客体验的提升。数据对企业的五大价值包括:

(1)识别和连接:大数据可以识别用户信息，如手机号码、生日和电子邮件地址，并连接用户数据；

(2)描述:用户搜索到的关键词、与网站活动相关的信息、企业的运营数据可以通过存储和分析大数据作为运营指标；

(3)时间:从用户的动作时间线推断用户的行为。例如，当访问其他网站时，刚刚搜索过酒店的用户也可以立即看到类似酒店的广告。

(4)预测:大数据应用可以帮助公司预测销售情况，从而影响公司的经营战略。

(5)输出数据:企业在收集了大量数据后，可以通过整合现有数据生成新的数据，如整合网上卖家的表现，包括物流、产品质量和客户服务，形成店铺评分机制。

大数据之所以备受期待，是因为数据已经逐渐成为企业的核心竞争力。通过分析和挖掘数据的价值，企业可以提前了解客户的需求，预测他们的消费习惯和趋势。让管理者的所有决策都基于证据，停止盲目，降低企业风险。大数据技术将是所有企业未来发展的重要组成部分。

香港中文大学商学院副教授、香港大学航天中国商学院客座副教授、opencerthub董事长toa charm博士一直专注于大数据和人工智能在商业中的应用。他曾担任香港数码港的公共事务总监，并在多家跨国、香港和内地科技及金融服务公司担任高级管理职位。他在创新和技术行业的管理、营销、咨询、创业和培训方面拥有超过30年的经验。

他指出，在mainland China和其他发达国家，大数据的发展已经进入了一个热点阶段。“无论是哪个行业，从金融、零售、房地产、物流和旅游，到一线、物流或管理职位，大数据都会产生深远的影响，掌握大数据技术是不可或缺的。”大数据在商业企业中的应用越来越成熟，涌现出许多优秀的初创企业。詹博士说:“未来几年将是发展大数据的重要时刻，最重要的是要有足够的人才。除了科研专业人员，学生和劳动者还必须掌握应用技术。”

市场上大数据人才短缺

2016年，中国大数据市场规模为3600亿元，同比增长45%；2017年，大数据产业规模达到4700亿元，同比增长30%。那么，与大数据相关的人才能满足企业日益增长的需求吗？

根据专业社交平台领英发布的“2016年中国互联网最热门工作人才报告”，R&D工程师、产品经理、人力资源、营销、运营和数据分析是中国互联网行业要求最高的六个职位。其中，R&D工程师需求最大，而数据分析人才最缺乏。领英报告显示，数据分析人才的供给指数最低，只有0.05，这是非常稀缺的。数据分析人才的跳槽速度也最快，平均跳槽速度为19.8个月。与此同时，行业工资被严重高估。职场新人的年薪比普通互联网技术人员高134%，有5-8年工作经验的比普通互联网技术人员高78.04%。

据中国商业联合会数据分析专业委员会统计，未来中国基础数据分析人才缺口将达到1400万，英美烟草企业招聘的岗位中有60%以上是大数据人才。

数据显示，中国目前只有46万大数据人才，未来3-5年大数据人才缺口将高达150万。大数据行业将面临全国性的人才短缺。企业对新的大数据分析和预测技术人才的热情和需求正在超越传统的商业智能和信息管理人才，未来五年大数据人才的缺口将继续扩大。

大数据人才供不应求，但企业在招聘时，除了数量之外，更注重人才的质量。市场上有许多组织提供大数据培训，而且提供的大多数认证都是由同一组织提供的。这些证书是代表出席还是真正证明学生的知识是值得怀疑的。因此，在招聘员工时，企业经常面临着如何识别层次的问题。

阿帕奇在世界和中国有很大的影响力

谈到大数据技术，我们不得不提到apache hadoop。Apache是全球大数据行业中最大、最有影响力的开源组织。Apache软件基金会(简称asf)是一个致力于支持开源软件项目的非营利组织。它成立于1999年，因为一群技术人员认为尖端技术不应该只停留在几个大的it巨头身上，而应该由开源共享，所以项目中的软件在开发后是免费共享的。经过20年的发展，asf已经开发了300多个项目，大多数世界级的数据企业都在使用这些软件。

Hadoop是asf众多管理项目之一，是专门负责处理大数据存储和分析的开源软件，也是目前市场上使用最广泛的大数据开发工具。根据谷歌在2003年发表的学术论文，Hadoop是由雅虎员工Doug cut研究的。自2009年开发以来，hadoop的使用率一直在上升。随着大数据的发展趋势，Hadoop在低存储和快速处理能力的企业中迅速普及。在hadoop 2.0于2013年10月发布之前，该软件已经成为大数据和人工智能解决方案的核心组件。调查发现，近40%的受访企业倾向于选择hadoop作为大数据平台的技术架构。

现在hadoop用户包括全球科技巨头，包括社交网站facebook、linkedin、twitter和电子商务公司阿里巴巴等。这些公司需要每天处理大量数据；例如，推特平均每秒约有6000次转发，阿里巴巴去年在双十一的营业额高达168亿，这证明了hadoop在商业应用中的价值。根据目前的创新速度和低要求，未来五年将有更多的中小企业拥有自己的hadoop架构。Hadoop有望在未来广泛应用于企业的每个角落。据《福布斯》报道，到2022年，全球hadoop市场将达到990亿美元，年复合增长率为42%，其中三分之一以上将来自亚太地区。

创造一个公民数据科学家

香港研究公司emblocsoft的首席技术官Tony chan是第一个参与apache hadoop开发的中国人。早在0.19版本，他就开始参与hadoop的开发和实现。作为拥有25年咨询技术丰富经验的大数据专家，他也是第一个将hadoop引入中国香港的人。

陈先生指出，工商界、科技界和教育部门应尽一切努力推广公民数据科学家的概念。“大数据系统涉及收集、存储、搜索、共享、传输和分析。即使许多人没有学习信息技术或从事科学研究，他们也必须知道如何掌握数据管理，以提高工作处理效率。”从一线营销到营销、金融和人力资源等物流支持的专业人士也可以成为公民数据科学家。陈解释说，公民数据管理员熟悉其行业或企业的运作，能够将技术和业务需求结合起来，并能够发挥大数据的真正价值。

高德纳研究分析师亚历山大林登(alexander linden)表示，公民数据工程师指的是那些负责企业业务领域但拥有一定数据技能的人。他们可能拥有数学甚至社会科学学位，并运用他们的综合技能来探索和分析数据。

十年前，陈先生开始专注于开发人工智能和大数据。其公司Emblocsoft多年来一直参与apache软件基金会开源项目的研发，是亚太地区唯一一家被列为asf的软件及相关服务提供商。Emblocsoft作为亚洲唯一一家为Apache Projects (CPFA)资质提供认证专业人员的认证机构，即将推出专业开源技术认证平台opencerthub，旨在通过一系列专业考试和认证体系帮助企业识别大数据人才的素质，进一步推动大数据的完美发展。

综上所述，企业未来的发展离不开大数据，但企业需要的不仅仅是信息技术岗位，而是知道如何在企业各个部门使用大数据的人才，也就是说，企业需要打造更多的公民数据大师，以发挥大数据的最大价值。此外，大数据仍然存在人才短缺和认证人才质量问题。哪家企业能够有效解决这两个问题可能是未来的赢家。

小数据

Apache软件基金会(asf)是世界上最大的非营利组织，致力于支持开源软件项目。apache成立于1999年，目前拥有300多个世界级项目，由多个项目管理委员会管理，并以自愿和无偿的方式参与不同开源软件项目的研究和开发。其技术被facebook、twitter、阿里巴巴、腾讯和百度等大型科技企业所应用。

湛家扬博士:香港中文大学工商管理学院副院长、香港公开大学校长。他曾是香港数码港、ibm、oracle/hyperion、汇丰银行和金蝶软件的高管，在人工智能和大数据行业拥有超过30年的经验。

陈国辉:首席技术官(Tony chan):embl soft，大数据专家，拥有25年丰富的咨询技术经验，ccsa/ccse认证，apache hadoop认证培训师，数据建模师和数据科学家。从0.19版开始，他就一直参与hadoop的研发和实施，专注于大数据、人工智能和世界领先的开源软件和硬件，并提供大数据和人工智能方面的实践培训。

Opencerthub:为大数据人才和开源行业提供职业资格认证、行业和网络信息的组织，致力于推动数据普及、鼓励学习和推动智慧城市发展。