5月15日,在商汤科技举办的人工智能峰会上,51VR创始人兼CEO李熠受邀出席,并在大会上发表关于《当VR遇见AI》的演讲。演讲中,李熠重点阐述了数字孪生世界对于AI训练的重要性,以及想要真正实现数字孪生规模商业化,两大核心能力必不可少,即极致的可视化能力和实时仿真能力。
李熠强调,数字孪生不仅能帮助AI训练变得更为高效,且在跟AI进行深度融合后,能为智慧城市提供可视、仿真及智能决策的基础设施。
演讲中,李熠不仅谈到了未来趋势,也谈到了51VR如何一步步实现产业及案例的落地。
以下来自51VR创始人兼CEO李熠在商汤人工智能峰会的演讲内容整理:
最近数字孪生这个概念非常火,股票全线飘红,百度指数也是一度破万。要知道这个词,在去年的百度指数,基本还是接近于零。可见大家对于热门概念的追捧有多疯狂。
数字孪生这个能力是实现工业4.0的关键所在。其中,它非常重要的一个应用场景,就是用来训练AI。通过将真实世界进行1:1还原,来实现特定场景下AI算法的训练需求。而这样的还原,并非仅仅是视觉上的1:1还原,还包括对真实世界物理规则及运行规律的1:1还原,达到AI训练的强化叠加环境。
而在不断训练AI的过程中,数字孪生所构建的环境在不断学习,其不断通过自进化来将真实数据融入数字孪生平台,最终完成整个系统的AI化。基于AI进行不断自生长的数字孪生环境,会在更大场景中实现规划和预测,实现更多当前在真实世界不可想象的功能。
早在三年前,我们就开始提出一个概念——克隆地球,并朝着这个目标一点点去实现,每年举办地球克隆发布会。今年将是第三届地球克隆发布会了。今年还有一个词特别火——镜像世界,和我们一直沿用的地球克隆如出一辙。它里面都包含了一个特别重要的概念——数字孪生。
但基于我们在这个领域一直以来的耕耘,我想说,数字孪生不是凭空蹭热点的概念,这个技术想要真正落地实现,真正赋能未来的地球克隆也好,镜像世界也好,前提必须是基于两项核心能力的实现:极致可视化和实时仿真。没有这两项核心能力的支撑,数字孪生很难规模化的去赋能到各行各业。
极致的可视化,是还原真实世界的一项基础能力,也是当前行业应用范围极广的一项能力。但仅仅是视觉的还原,不足以让虚拟场景去承担起更多功能,更不足以作为真实世界的强大补充,去完成真实世界中绝不可能的创造。因此,实时仿真会是实现数字孪生不可或缺的另一项核心能力。
今天,很荣幸被邀请参加商汤人工智能峰会,也想借此机会,跟大家分享一下,51VR如何基于数字孪生两项关键能力:极致可视化和实时仿真能力,以及这样的能力如何帮助AI落地,帮助城市变得更加智能。
51VR跟商汤最早结缘于StarVC的牵线。由于双方在各个产品线和技术路线上,都有着非常高的匹配度,且彼此高度认可,双方一排即合,由此开启了51VR和商汤的密切合作。
在年年底,商汤科技参与了51VR的B轮融资。
此后,双方在智慧城市及无人驾驶领域双方合作颇为频繁。商汤为51VR提供计算机视觉上的支持,帮助商业场景中的海量非结构化视频数据转换为结构化数据。51VR为商汤无人驾驶算法训练提供逼真的场景支持,并结合仿真能力,为算法训练提供绝佳的数据衍生和数据展示支持,帮助其AI算法不断进化。同时,在智慧城市产品中51VR的51CityOS可视化操作系统又协同商汤的智慧城市整体解决方案去服务客户。
商汤科技一直倡导“以AI赋能全行业”,那么51VR在这块所做的事情就是,“帮助AI更快,更好落地”。
以下,我主要从极致可视化和实时仿真能力,来谈谈51VR对于AI的赋能。
从L1到L5,无限接近真实的可视化
极致可视化是帮助AI落地的第一步。接下来,我先跟大家详细分享一下51VR在3D场景构建上的积淀。
我们所有的数据均来自于真实世界的采集,由此实现与真实世界1:1完全比对。数据采集包括无人机斜拍、雷达车扫描、卫星地图、GIS数据,BIM数据等超过十类数据源,以及四年多公司内部所沉淀的超过多万件数字资产。
这些数据通过自研的机器学习及自动化工具,快速实现3D建模,最终根据实际需求,实现从L1-L5的不同精度类型场景还原。
目前,51VR在L1精度已实现完全自动化。L1精度能从形状上区别不同建筑,但从外观颜色等方面,不体现具体差别。
第二个级别,L2精度,这是在L1的基础上,增加了材质、光照等。以下由51VR打造的西雅图项目,就属于这一精度类别。
L3精度是我们目前在智慧城市的主打类别。基于L3精度的城市底板,我们在其上通过叠加各类数据,包括水电气暖、警务政务、交通道路等,实现园区或城市级的可视化运营。
L4精度就更高了,误差在厘米级。AI训练,就需要在这个精度级别来完成。
至于L5精度,它能精确到毫米级,但造价比较高,目前某全球顶级互联网巨头是51VR在这一精度级别的客户,用来训练其AI机器人。
说完第一个核心能力,来跟大家分享一下51VR在实时仿真能力上的积累。
无人驾驶仿真,让AI算法更快落地
两年多以前,我们开始考虑在51VR在仿真上的布局。
我们看到,在中国整个汽车工业界,没有一款国产原创软件被行业所大范围接受,全部采用欧美软件。中国的汽车工业,更多是用资金和市场来换技术。
而当无人驾驶L3和L4开始大势袭来时,我们开始思考,有没有机会在这个新的潮流下去做一款中国的原创仿真软件?
年,我们调研了很多主机厂、算法公司的需求,综合判断自身优势,最终决定进军无人驾驶仿真测试这个领域。年12月底,我们正式对外发布了中国第一款全模块自动驾驶仿真测试平台51Sim-One,平台可以做到全生命周期仿真,完全覆盖软硬件供应商、算法公司、传感器公司、主机厂及检测机构的需求。
目前,51Sim-One自动驾驶仿真测试平台已经能做到不需要输入代码便能使用,直接通过操作界面来配置主车、各种传感器、天气、交通流、案例场景,由此来对无人驾驶进行测试和训练,甚至让训练自动化。如果在训练过程中,算法出现Bug,就可以通过回放案例将事故现场还原出来,以查看问题到底出在哪里。
当前,我们在整个无人驾驶仿真上,投入了超过位专家及工程师来专注于这件事。
基于无人驾驶仿真研发,51VR核心点主要有三,即数据结构化、动态还原和扩展,以及传感器仿真。
首先是将道路信息进行结构化处理。机器看到的世界跟人眼看到的世界是完全不一样的,结构化处理,其实就是将现实世界处理为机器能看懂的信息。
在动态还原方面,要实现对无人驾驶AI算法的训练,就必须有足够多事故案例。目前,我们通过自研的案例还原和扩展工具,来满足指数级增加的AI算法的训练和测试需求。
在传感器仿真方面,比如摄像头仿真,我们跟商汤就有紧密合作。商汤负责从我们的仿真场景实时获取语义分割图等真值并用于商汤识别算法的机器学习,我们则是根据机器学习的评价机制不断提高仿真场景的真实度和摄像头仿真模型的可靠性。
目前我们在无人驾驶仿真领域,成绩还不错,不仅得到了国内的车厂、无人驾驶算法公司的认可,与德国的客户也有良好的合作。
实时交通流仿真,为交通拥堵时时把关
道路和交通数据的结构化,不仅可以用于无人驾驶仿真,其实时的交通流模拟和实时的数据结构化,还能在整个交通系统中发挥更大的作用。
基于路侧摄像头的交通实时数据流,我们与合作伙伴,共同抽取和平滑车辆轨迹以实现虚拟环境中交通流的镜像还原,将非结构化视频数据转化为可追踪和分析的结构化数据,为交通的实时预测以及科学决策提供模型依据,由此实现提前预警、实时应对、决策分析及规划优化。
同时,我们可以从这些结构化的交通流数据中,抽取典型的标准工况和危险工况案例,并利用案例泛化功能,用于无人驾驶算法的测试和迭代进化。
在51VR的仿真训练平台中,随着训练数据不断被沉淀,这些数据又能反哺到算法。
实时仿真能力,会是未来极为重要的能力,它将超越大数据,对真实世界产生更为深远的影响。
比如,预测当前北京早高峰和晚高峰的交通系统是否合理,是否需要调整?
对于这个问题,交管局不可能给出一百种措施,一一试错。但在仿真系统中,却可以尝试一千种,乃至一万种方式,无论是增改某条道路,还是优化交通信号灯等等,让系统去找到最优解,让决策变得更科学。
再比如,当一个城市面临二十万辆无人车上路时,交通系统会出现什么异样?在规划一座新城时,重要基础设施的位置设定,将如何影响人流走向……这些靠大数据已经不足以解决的问题,正是实时仿真大展身手之际。
城市智能,从操控到模拟的未来之路
仿真能力不仅可以用到交通上,还可以用到城市中。我们所开发的51CityOS,就是希望用这个能力让城市变得更加智能。
比如,在这个系统中,监控系统不再是几十个割裂的单个画面,而是所见即所得。由于整个园区被完整进行了3D还原,既可以直接从上帝视角观看园区的总体人流热力图,又可以直接查看和调取任意位置的详细监控画面。
由于监控系统跟安保系统做了底层的数据打通,因此针对异常情况,可直接从画面中调集最近的安保人员,安排其前往查看。
除了监控、安保外,这个平台可以叠加一切数据,实时分析、实时调动、实时控制。
当然,要做这个系统,并不容易,这里面需要打通好几个层次。
首先是接入层。
接入层需要对接各种类型的软硬件接口,好比Windows系统中需要对接各类硬件接口,这是一个意思。各类硬件,比如传感器等接入进来后,才能构建超级API。
第二层,数据层。
这一层,主要是对接入的软硬件产生的数据,进行清洗和整理。这里面的数据,既包括结构化数据,也包括非结构化数据。如果是非结构化数据,我们就需要对数据进一步结构化。
第三层,界面层。
这一层主要解决数据孤岛的问题。通过51CityOS系统,所有的数据在一个界面被打通,且基于一个界面进行展示。任何人,只用十分钟的培训就可直接上手,操作非常直观。这跟Windows中的UI界面是一个意思。
第四层,应用层。
这一层,主要解决操控的问题。所有接入的物联设备均已实现联动,管理人员可以在一个屏幕上完成所有的操作,就跟在Windows系统中直接点击应用程序一样方便,敏捷。
再往下一个层次,就是仿真模拟层.
未来,随着系统的不断完善,我们就会将仿真能力接入进来,那时,这个系统就能真正服务于更多的超越大数据的模拟需求,提供园区、城市级的最优解决方案。
51CityOS自去年12月推出以来,五个月时间已落地十余座城市。每一个客户看到这样的操作系统,都很震撼,而且反馈真正受用:人工成本极大降低,运营人员的学习成本大大降低,管理变得更直接,效率极大提升。
无论是应用在无人驾驶训练、交通流预测上的实时仿真,还是在软硬件集成基础上从操控到模拟的城市级系统仿真,都是在不断融入的越来越多的数据中,让操控、训练和模拟变得更加真实、准确。同时,这样一个集极致可视化和实时仿真于一体的环境,也在不断进行自我学习,不断通过数据的喂养变得更加聪明,变得具有自生长的能力,从而完成系统层面的AI化,形成具有强大功能的数字孪生世界。由此,这个数字孪生世界也将在更大场景中实现规模化预测,实现更多在当前真实世界中不可想象的创造。
当然,回到当下,只有极致的可视化和实时仿真能力过硬了,数字孪生的规模商业化,才有实现的可能。