解锁行为识别难题，依图科技再夺一冠

本篇文章2192字，读完约5分钟

在赢得世界权威人脸识别大赛冠军、刷新国际权威声纹识别大赛(voxsrc)记录和行人再识别三大权威数据集(reid)之后，易图在全球人工智能技术领域又取得了一个席位，并再次获得第一名。

Etu Technology在“track-4:行为识别”中获得第一名，在由权威机构acm mm'20 grand challenge发起的“大规模复杂场景中的人类视频分析”挑战赛中遥遥领先。

Acm是世界上计算机领域最大的专业学术组织，其a.m .图灵奖被公认为世界计算机领域的诺贝尔奖。Acm mm是全球多媒体领域的顶级会议，属于中国计算机联合会(ccf)指定的甲级国际会议。

在这次挑战中，包括亚马逊、腾讯、大华科技和中山大学在内的数百个团队参与了人类行为分析(包括排队、打斗、俯身、行走、奔跑、停留等)。)在超过56，000个复杂事件下。视频中的行为识别是本次比赛的关键项目。目的是研究该算法对复杂场景中行为(包括多人跟踪、人体姿态和行为识别)的分析能力。

这场比赛是这个方向上最接近真实场景的最大规模的挑战。在Etu Technology获得冠军的同时，其背后的技术创新和克服行为识别问题引起了广泛关注。

行为识别有多难？

如果把人脸识别比作医院的“普通门诊”，那么行为识别，尤其是人类行为识别的复杂性和难度不亚于“心血管医学+神经病学医学”。

场景复杂多变，动作高度分化，需要捕捉连续动作和长时间动作。这些挑战对行为识别和分析提出了巨大的挑战，这就要求算法对行为本身具有更准确的分析和推理能力，甚至能够通过已建立的场景来计算以前从未见过的场景。

与这种竞争相结合，行为识别是指以人为基本单位，只分析人的行为，关注单个人的行为和多人的行为(如行走、跑步、打架等)。)。学术界通常使用框架图(f-map@avg)作为行为识别的评价指标。f-map@avg的意思是判断关键帧中行为的位置和分类是否准确；不同于学术界对行为识别的研究指标，本次比赛的评价标准为wf-map@avg，这意味着更加注重对困难拥挤场景的调查和对相对罕见动作的识别，同时人体框架的定位精度也更高。

深入优化算法框架，算法性能得到极大提高

在比赛中，基于图的算法指数达到wf-map@avg 0.26，比学术界的基准算法提高了近3倍。与多次举行的国际比赛不同，这次比赛是第一次。在比赛之前，参赛团队无法理解识别的类型、数据集的大小以及识别的具体需求。仅仅在一个月内设计出最好的算法并在众多强大的团队中获得世界第一是极其困难的。

首先，视频行为识别比图像行为识别更加复杂，如何建模和视频帧之间的相关性仍然是学术界的难题。从图中可以看出，当应用场景清晰时，当分析对象已知为人体且待识别类别清晰时，可以有针对性地优化算法，并通过算法定制来提高算法性能，从而解决了以往无法很好解决的问题。

同时，当你提到Etu时，你会想到许多人工智能技术挑战的世界冠军。不同场景带来的先验知识和经验将有助于算法判断行为。这一次，根据地图，算法创新性地与场景深度结合。一方面，创新性地自动从视频中提取准确丰富的场景信息，结合先进的行人检测和行人识别算法，全面构建视频中人、人与场景、人与物之间的关系；另一方面，在多年算法积累和对行业场景理解的帮助下，竞赛所需的14种具体任务得到了深度优化。

值得注意的是，与其他参赛团队不同，易图没有使用复杂的多模型融合策略，而是只使用单一模型，并将行为分析与场景结合起来，采用强大的背景提取和分割算法，大大降低了问题的难度，这也意味着易图可以通过融合多个模型进一步提高算法性能。

行为识别算法的性能已经远远超过了竞争时的算法性能，这是因为根据图的相关行为的连续迭代和累积。同时，用这种技术登陆实战项目的难度远远超过了比赛的数据集。

芯片+算法加速了人工智能技术的登陆

想象一下，将来如何使用这种技术来判断一个城市夜间返回者陆羽强盗并自动报警。当老人在家中摔倒在地时，如何给出预警并尽快通知监护人？如何判断生产线上工人施工顺序的错误并立即报警？如何准确理解视频中的内容，并对其进行更恰当的标记，以便更准确、更容易地检索？

我相信在不断探索人工智能新领域的地图上，这些问号背后的答案已经逐渐变得清晰。此前，由Etu Technology独立开发的世界首个云视觉智能芯片questcore开启了算法设计与芯片设计相结合的时代。一个集成高性能人工智能算法和芯片耦合设计优化的芯片平台，结合世界领先的行为识别算法，将更有利于智能城市、安全生产、智能商务等领域的赋权，打造新一代人工智能基础设施。

最近，易图还通过了英国标准协会(bsi)颁发的iso/iec 27701:2019隐私信息管理系统国际认证，成为中国首家通过认证的人工智能公司。由国际标准化组织(iso)和国际电工委员会(iec)联合发布的认证是世界上第一个私有信息管理的国际标准，也是公认的最严格、最权威的私有信息管理标准。获得该认证充分体现了计划中数据隐私保护的持久性和持续性。

在新的基础设施建设趋势下，各行各业加快数字化进程，提高各项工作的智能化水平是十分必要的。目前，作为中国唯一具备在超大型复杂环境下为数十亿城市提供智能运营和管理的技术能力的人工智能公司，其在核心技术力量和隐私保护方面的不断努力形成了一套“组合拳”，这将加速更多智能应用的解锁。