香港科技大学屈华民教授十条干货：可视化是大数据最后一公里

本篇文章2312字，读完约6分钟

“一年之后，世界发生了翻天覆地的变化，技术进步也在加速。与其担心，不如承担责任。”马云在2020年世界人工智能大会上说。 在这种流行病下，对于那些愿意考虑未来的企业家来说，机会才刚刚开始。新技术将改变未来的商业世界。

HKUST emba中英双语课程以云课堂、实验室参观、专题报告和知识转移四个环节的系列形式开展了“走进HKUST实验室”系列活动，邀请一流的研究教授分享世界级的科研成果，感受科技的力量和巨大的商机。

早在18世纪的英国，地图就已经被用来显示流行病学家的分布；迄今为止，美国总统大选和世界流行趋势显示了可视化大数据的应用。根据在顶级期刊上发表的论文数量，香港科技大学vislab是世界上最大的可视化数据研究机构之一，位列世界前五名，其研发成果被微软、ibm、华为、腾讯和博世等顶级企业采用。领导曲华民教授简单介绍了可视化技术的发展和应用实例，并带领大家进入香港科技大学实验室。

1.什么是数据可视化？

我们从网络、城市、金融、物流、农业、传感器等来源收集大量数据，然后提取并整合它们，筛选出合适的数据，然后进行大数据计算和数据挖掘。可视化是数据分析的最后一步，以图像的形式向最终用户发送有用的数据。应用范围包括金融和风险管理、基因农业、智慧城市、网上购物、健康管理等领域。数据有四个特点:数量大；高动态；有许多变化和丰富的形式，如文本，视频，声音文件和其他形式；有很大的价值差异，其中一些是很大的参考价值，而其他的是完全无用的数据。

其次，我们为什么要可视化数据？

由于以上四个特点，可视化是数据分析的最后一英里，它以图表和图像的形式显示，使人们能够从复杂和海量的数据中获得新的见解和对趋势的洞察，从而显示其关键作用。据《哈佛商业评论》指出，全球最大的日用品制造商宝洁公司(Procter & Gamble)已经肯定了可视化数据有助于决策，从根本上提升了数据的使用，并将其标准化为提高决策和实施效率的管理工具之一。

在美国2016年宣布的“美国人工智能R&D战略计划”中，第二个战略是:“发展人工智能和人类协作的有效途径”，它肯定了人工智能和人类的结合。然而，人工智能是基于原始数据的。在微积分的过程中，人类应该阅读数据并将数据可视化为一座关键的桥梁；从技术上讲，可视化和用户界面需要进一步发展和改进，以帮助人们理解大量来自各种来源的现代数据集和信息。

2019年6月，全球领先的crm制造商salesforce斥资157亿美元收购了全球最大的分析平台tableau。Tableau是一家交互式数据可视化软件公司，成立于2003年1月，一直专注于商业智能技术的开发和应用。它的购买价格反映了数据可视化的价值。

三，阅读能力的发展

既然有视觉数据，人们也需要掌握一定的阅读能力，了解事物的趋势，甚至做出判断。以COVID-19中各国肺炎发病率图表为例，整理器根据时间线表示美国、英国、中国和比利时的病例数，并比较各国的高峰期、稳定期和下降期的趋势曲线，发现趋势相似。一些读者理解中国控制疫情的能力，一些人从自然发展曲线做出判断。我相信所有国家的信息都是真实的，反映了不同读者获得的见解，而且水平也不同。刚才提到的“美国人工智能R&D战略计划”的策略之一就是要求大学生掌握阅读视觉数据的能力，从而解决问题，训练左右脑思维。

阅读图片的基本能力适合大众。如今，许多媒体使用图像来讲述故事和显示数据。例如，《纽约时报》中文网站2020年年中发表的一篇文章《美国人工智能领域的秘密武器:中国人才》，数据显示，54%的中国学生在美国获得了研究生学位，而现在在美国从事人工智能领域工作的中国研究机构的毕业生恰好是54%。仅仅看这些数字就会让人产生误解，而且它们都是在美国获得的。然而，由于图像的补充，显示在美国工作的中国研究机构的毕业生中有54%来自中国和其他国家的研究机构。一个简单的图像清楚地显示了它们之间的区别。

至于阅读图片的中间能力，我们需要经过一些训练才能掌握。例如，《彭博新闻》以地图的形式整合了国内的土地资金，而财经新闻将按地区绘制家庭的消费习惯，其中包含复杂多样的数据，要求读者有一定的阅读理解能力。

高级阅读能力，对文本、视频、音频文件等各种形式的整合分析形成的视觉数据做出反应。，主要由研究人员在处理信息系统和向技术企业报告时使用。读者开车时应该用手和脚，互相协调，这样才能了解事物的发展。

4.数据可视化应用实例——智能校园

智能校园是可视化技术的一个应用实例，它向公众显示数据。几年前，香港科技大学的入口处安装了一个大显示屏，主要通过校园内的4000多个wifi网络热点，通过wifi接入手机和电脑的信息，收集各点的流量数据，从而估算出实时数字；基于互联网，我们可以得到意想不到的应用。例如，统计大学图书馆、餐馆和食堂等公共设施中的人流，甚至根据楼层和教室实时总结使用分布。然后，通过公共数字显示版，教师和学生可以根据地图决定使用的时间，解决高峰时段的满度问题；收集数据后，它将成为历史数据。我们可以利用实时数据来估计等待时间和等车人数，方便教师和学生规划出行时间。此外，还可以收集住户进出宿舍的频率，跟踪长时间没有离开房间的人的行踪，防止发生事故，并应明确研究隐私问题。校园展示到大型显示屏的视觉数据可以应用到大型商场和工业园区，这有助于引导高峰期的人流。

V.数据可视化应用实例——智慧教育

智慧教育是科技产业面临巨大变革的领域之一。网上有很多数学练习，孩子们不喜欢做练习的过程，这可能是因为非常沮丧。网上练习的优点是可以反复尝试，但缺点是反复尝试仍然是错误造成的失落感，孩子会感到受到了强烈的惩罚。没有老师的指导，我陷入了错误的练习，非常无助。该系统可以很好地利用数据，分析和整合用户经常出错的地方。当孩子进入经常出现的瓶颈位置时，屏幕会给出提示，就像许多玩家使用Go人工智能程序alphago学习一样，每个动作都是由alphago发出的。提示，显示不同步法的成功概率，玩家迈出最大的制胜一步；根据同样的原则，数学习题的提示直观地告诉孩子不同计算方法的成功率，从而启发孩子做出判断，找到正确的答案。历史数据可以统计出孩子的计算轨迹，哪一步出错最多，哪种提示最受欢迎，等等。，从而减少儿童在计算过程中的挫折感，提高他们的学习兴趣。

此外，在系统地分析数据之后，可以做出个性化的推荐。例如，喜欢挑战困难的孩子可以选择成功率只有20%的练习，需要鼓励的孩子可以选择成功率50%到90%的练习。孩子们可以根据进度选择不同难度的练习，并匹配他们的能力和天赋。这就是大数据对教育的力量。

《纽约时报》称2012年为“mooc-Open Online课程”，这是学术界大变革的开始。然而，mooc最大的缺点是很难收集学生的反馈。教学视频的浏览量不足以为教师提供改进建议。通过数据分析，智慧教育可以找出观看者暂停、快进或回放视频的时间，并根据时间轴将数据可视化，这样教师可以一目了然地看到学生的哪些部分需要更多的时间来理解，哪些部分的演示需要改进，哪些部分可以缩短讲课时间，优化整个教学过程。

六.虚拟现实+可视化的实现

智能校园和智能教育分别向教师和学生解释了数据可视化的优势并提出了见解。HKUST理工学院外有一面历史墙，它结合了可视化和虚拟现实。历史墙以传统墙报板的形式展示了理工学院从成立到2016年25周年的里程碑。至于2016年后的发展，游客可以用手机扫描墙上的二维码，最新的里程发展将出现在手机或平板电脑上，这样时间线不会被打断，现实和虚拟将会结合。

七.数据可视化应用实例——智能企业

对于传统的生产和物流行业来说，透明数据对智能企业非常有用。我们的研究团队曾与华为诺亚方舟实验室的企业智能团队联合开展研究，研究结果“planning vis:smart factors中生产计划的可视化分析方法”发表在ieee vis 2019上。本文研究了基于企业智能团队的智能调度引擎。通过交互式可视化分析，帮助决策者模拟生产环境的变化，包括工厂停工、原材料供应延迟等。，并分析变化对制造的影响，从而快速调整生产计划。

2018年9月，台风山竹在深圳登陆，分析师模拟了山竹可能造成的影响，关闭了相应的工厂两天。比较山竹对工厂停工的影响，我们可以看出工厂停工会导致订单延迟率的增加。通过增加工厂在其他时间段的生产能力，订单的延迟率可以降低，但由于未能在最佳日期生产；此外，生产成本增加了，分析人员展示了受台风山竹影响的一些产品的生产情况，调整生产计划后的生产情况，或不同计划之间的变化。可以看出，最初在生产周期的早期阶段停止的部分已经通过在其他日期增加产量得到了补偿。因此，通过planningvis的假设分析功能，分析师可以提前判断哪些工厂需要提前增加产能，以应对山竹的影响以及这些调整可能带来的成本变化。

智能调度引擎允许执行者看到完整的情况。根据模拟数据分析和不同的约束条件，如低成本、高稳定性或保证供应，人们在恶劣天气下配合机器重新安排生产安排，选择最优调度方案，减少自然灾害和其他事故造成的损失。从宏观上看，工业4.0的特点是人、设备和系统在整个价值链中的紧密联系；所有相关信息实时可用，供应商、制造商和客户之间的信息透明；管理者可以根据不同的标准，如成本、资源和客户需求，不断优化价值链中的各个组成部分。从历史的角度来看，工业革命从织布机发展到了网络物理系统，这是一个巨大的变化。

八、数据可视化应用实例——智能金融

用数据分析不同投资组合的优缺点是有效的，而数据可视化可以与barra Factor Model (msci)合作去另一个城市。分析模型是根据贝塔系数、动量、收益率、剩余波动性、成长性、账面/股价比、杠杆、流动性和非线性规模等十个风格因素计算的，这十个因素相互独立，互不相关；根据投资的各种因素，独立展示每个投资组合的表现，或者通过短期交易和长期持有同一只股票计算同一时间后的表现，并进行比较分析，以便投资者做出更明确的选择。

9.解释人工智能的重要性。

用人工智能分析大数据大大增强了大数据的适用性；解释性人工智能(xai)是下一个焦点。解释性意味着人类可以理解他们的行为或预测，并知道为什么人工智能可以做出具体的决定。一些制造商报告说，人工智能被用来预测产品的销售情况，而推荐方案根本不知道计算的原因，最终也无法调查原因的成败，所以他们没有信心遵循推荐方案。

人工智能通过深入学习做出判断。例如，基于800万张猫的图片，它进行分析和整合，最终学会识别一只猫；然而，研究人员通过对抗攻击来挑战人工智能的辨别能力。例如，通过在图片上添加像点和颜色这样的小变化，人类仍然可以识别猫，但是人工智能不能区分它们。在实际应用中，人工智能在计算最佳结果时，无法解释其背后的原理，直接影响选择的公平性和安全性。如果人工智能学到了一些有偏见的数据，它就有机会强化偏见，做出错误的决定；当它用于医学诊断时，它可以为病人诊断癌症，但它不能提供解释。结果可信吗？这些是人工智能需要解释的原因。

欧洲联盟制定了与人工智能有关的法律，其中规定，在销售人工智能制造的任何产品时，如贷款和信用卡，如果批准是由人工智能计算决定的，如果最终用户要求解释背后的原因，卖方必须提供合理的解释，法律建立了透明度权利的框架。客户有权要求解释，也有权质疑全自动决策。

充分利用人工智能，人和机器在创新中合作，也有好的新想法。一些研究案例表明，研究人员使用失败的实验，借助机器学习进行研究，最终发现新材料。人与机器之间的合作永远是最好的模式。

X.HKUST实验室的R&D技术已被著名企业采用

在过去的几年里，科达大数据可视化分析实验室一直致力于数据可视化、人机交互、人工智能、大数据、移动增强现实等项目。可视化领域发表的顶级期刊数量是世界上最大的两个可视化团队，有62篇tvcg论文；它也是亚洲最大的可视化团队和世界上最大的可视化团队之一，包括36名成员，包括17名医生，并三次担任ieee vis论文的联合主席。该实验室参与了许多重大项目，包括香港的itf项目，该项目资助了1600万港元的“用于电子学习的开放式学习设计、数据分析和可视化框架”,以及国家973项目“网络信息空大数据计算理论”,该项目资助了3000万元人民币等。

2019年，我们与麻省理工学院(mit)和浙江大学的研究人员共同开发了一个交互式工具，首次使用户能够查看和控制自动机器学习(Automated Machine Learning，automl)系统的工作方法和流程，改进了系统的定制，并朝着打开机器学习“黑匣子”的目标迈出了一大步。目前，实验室开发的技术已被微软、ibm、华为、腾讯等著名科技企业采用。

展望未来，可视化技术的商机无限，包括通用数据可视化分析系统和垂直可视化分析系统，如智能制造和fintech应用；大屏幕显示系统；媒体和促销中使用的数据动画；此外，随着5g时代的到来，对vr和vis(虚拟现实和虚拟现实仿真)的需求将大大增加；最后，网络教育，经过多年的努力，我相信它的真正价值已经逐渐显现。

关于香港科技大学emba|中英双语课程

香港科技大学自1991年成立以来，短短20多年间已成为世界顶尖大学之一。香港科技大学商学院是一所具有国际地位的著名商学院，其研究实力和众多课程在世界排名中名列前茅。凯洛格-HKUST emba项目连续9次位居世界第一，全球mba项目连续3年位居世界前20名，香港科技大学连续3年位居亚洲第一。

HKUST的英汉双语emba项目是为亚洲和大中华区的管理者和企业家设计的，致力于全面提高学生的综合领导和管理能力，培养具有创新精神和全球视野的国际化人才。自2002年开办以来，HKUST emba双语课程将世界尖端管理知识与中国管理实践相结合，融合了香港独特的文化和管理经验，为亚洲和大中华地区的企业家和高管提供了一个跨越地区和文化界限的终身学习平台。在16个月内，该课程将通过9个核心模块、3个高级晋升模块、4个大陆留学模块和3个领导晋升级别向学生展示一个完整清晰的学习蓝图。

十多年来，该课程吸引了亚洲最杰出、最有影响力的商业领袖和管理精英，emba校友网络遍布全球。(资料来源:搜狐)