发布日期:2024-12-21 06:34 点击次数:63
文 | 有界UnKnown
11月底,在香港科技大学的博士学位授予庆典上,将东说念主形机器东说念主与汽车、无东说念主机并肩列为往常会竣事大范畴量产的三种机器东说念主。
这还是不是黄仁勋第一次在公开场合“力挺”东说念主形机器东说念主,在本年3月份的GTC大会上,黄仁勋曾与1X Technologies、Agility Robotics、Boston Dynamics、Figure AI、宇树等9个东说念主形机器东说念主同期登台,发布英伟达东说念主形机器东说念主通用基础模子——Project GR00T。
▲黄仁勋在GTC大会上 直播截图
在之后的多个场合里,黄仁勋都向外界传递着疏通的不雅点:东说念主形机器东说念主将会成为东说念主类生涯里不能短缺的伙伴,它终将成为和汽车一样的主流居品。
在对于东说念主形机器东说念主往常在东说念主类生涯中攻击地位的想法上,黄仁勋也与马斯克不约而同。
马斯克曾经在2024年特斯拉推动大会上暗意,往常“全寰宇每个东说念主都会想要一个机器东说念主 ”,他以为东说念主形机器东说念主和东说念主类的比例,至少是2比1,以至能到1比1,往常会有100亿以至200亿、300亿台东说念主形机器东说念主。在一次采访中,黄仁勋也坦言,“100年后大街上将到处都是东说念主形机器东说念主”,马斯克则在X上默契地回复,“东说念主形机器东说念主普及进度将是汽车10倍”。
▲马斯克在X平台上与黄仁勋互动 截图
黄仁勋也实在成为除了马斯克除外,最卖力为东说念主形机器东说念主站台的科技大佬。但和马斯克更侧重于造出东说念主形机器东说念主本色、并将其应用于特斯拉的出产和劳能源补给上不同,黄仁勋更专注于作念东说念主形机器东说念主的时刻服务商。
英伟达机器东说念主和旯旮贪图副总裁Deepu Talla在东京的一次会议上直言,英伟达对准的是一个由“数十万”家机器东说念主制造商构成的漫衍市集,而不是由少数几家主要参与者主导的皆集式智能手机市集,“咱们为机器东说念主提供平台,而不是制造机器东说念主”。
那么,英伟达究竟想要作念一个什么样的机器东说念主平台?
打造东说念主形机器软件生态
2021年,波士顿能源曾发布一则Atlas的跑酷视频,在巨匠范围内第一次掀翻了东说念主形机器东说念主的狂热。
在这则视频中,Atlas不错笃定泰平地在多样体式和坡度的踏板之间朝上、驱驰、险峻路线。但好多东说念主都不知说念,在这则惊艳寰宇的视频背后,是Atlas十多年如一日的进修。
机器东说念主和东说念主一样,要学会走路也需要经过无数次的进修,通过积存弥散多的数据才能竣事。对于早期的东说念主形机器东说念主而言,积存数据莫得捷径,只可通过一次又一次的摔倒来完成。
是以在Atlas早期的进修视频中,咱们会看到它身边时刻都奴隶着好几个职责主说念主员,以便在它“倒下”的时期实时检查零件。
但这个经由较着太过漫长,不利于东说念主形机器东说念主快速发展。为了提妙手形机器东说念主的进修服从,东说念主们在AI、大数据和云贪图等前沿时刻的基础上,修复了一套旁边假造寰宇对东说念主形机器东说念主进行进修的措施。
不时来讲,东说念主形机器东说念主的进修,会阅历一个从Real2Sim(真确到假造)到Sim2Real(假造到真确)的经由。也即是先从真确环境蚁合数据参预到仿真环境,让机器东说念主在仿真环境里作念充分学习和进修,再将其拉到现实寰宇里进修。
这个经由由于有至极一部分在假造环境中进行,因此不仅不错加速进修速率,还不错裁汰硬件损耗。
英伟达在东说念主形机器东说念主边界的第一个布局,即是搭建一套仿真进修设施,它具体包括东说念主形机器东说念主仿真进修场需要使用的假造容颜构建、东说念主形机器东说念主与环境互动的仿真进修,以及东说念主形机器东说念主遗弃野心学习的仿真进修。
它们诀别对应着假造合营和仿真平台Omniverse、用于机器东说念主步履仿的确平台Isaac Sim、用于机器东说念主算法进修与优化的平台Isaac Lab。
▲英伟达东说念主形机器东说念主软件生态,有界UnKnown制图
用一个形象的譬如,Omniverse就像一座城市,这座城市里有高楼林立的大厦、络续不竭的说念路以及东说念主类生涯所需要的一切基础设施,而东说念主形机器东说念主就像生涯在这座城市的东说念主类一样,他们在城市之中穿梭、从事就业行动。
Isaac Sim就像是Omniverse这座城市里的健身房一样,东说念主形机器东说念主需要在这个健身房持续与各样判辨器材进行磨合,这就对应着东说念主形机器东说念主与环境交互的才气进修,它们需要了解旅途野心,比如怎么样才能正确抵达所需要的判辨器材眼前,何况了解每一种器材的使用措施,比如看到哑铃知说念是用来捏取的、看到跑步机就知说念是用来跑步的。开发者使用Isaac Sim来测试机器东说念主在不同环境中的进展,不需要推行硬件即可考据机器东说念主的手脚和决议。
Isaac Lab就像Omniverse这座城市里的藏书楼一样,东说念主形机器东说念主需要在这座藏书楼之中持续更新学问,它主要聚焦于算法开发与进修,为机器东说念主提供决议和遗弃才气,允许开发者在假造环境中开发、测试和优化机器东说念主遗弃和智能算法。
▲英伟达GTC 2024大会,Isaac Lab环境里的Digit
是以,Omniverse是一个让机器东说念主学习如何更好相宜现实寰宇的方位,在这么的假造环境中,机器东说念主不错进行才略进修和手脚进修。基于Omniverse,英伟达开发了机器东说念主开发仿真平台和参考应用措施Isaac Sim和开源的模块化机器东说念主学习框架Isaac Lab。
总的来说,英伟达这一套东说念主形机器东说念主软件生态,梗概为机器东说念主数据进修擢升服从、裁汰老本,让机器东说念主不错无须在复杂的硬件环境中磕磕碰碰,在进入真确环境之前,梗概先在假造寰宇里“练兵”。
在本年3月份的英伟达GTC大会上登台的9家东说念主形机器东说念主,即是这套生态的首批“种子用户”。
在这么一套仿真机制的配合之下,英伟达发布了具身智能通用大模子——Project GR00T,与迪士尼动画《星河护卫队》中的小树东说念主格鲁特同名,寓意着东说念主形机器东说念主不错如动画中的格鲁特一样领有超凡的力量。
GROOT使得机器东说念主梗概蚁合和处理天然讲话,何况具备多模态感知才气,即它梗概通过视觉、听觉等多种感官输入来进行信息处理。
但只作念软件生态,还无法恬逸英伟达这么一家以芯片起家的公司的贪心。
为东说念主形机器东说念主造“芯”
对于英伟达来说,公司的根柢一直都是硬件,是GPU。
因此在东说念主形机器东说念主边界,黄仁勋也相同但愿梗概延续英伟达在游戏、在AI、在智能汽车边界的别传,作念出遥遥当先的芯片。
一个东说念主形机器东说念主亦然由多个“芯片器官”构成的,每个芯片重视不同的任务,让机器东说念主梗概像东说念主一样想考、感知、行动、交流和生涯。东说念主形机器东说念主需要6-8种不同类型的芯片,包括中央遗弃、判辨、视觉、语音、传感器和通讯处理芯片,以完周密身更动、环境感知和与东说念主类交流。
▲东说念主形机器东说念主所需要的芯片,有界UnKnown制图
而这些芯片中,有两类是比拟波折的。一类是遗弃机器东说念主判辨路线的芯片,另一类是匡助机器东说念主想考的芯片。
以特斯拉的东说念主形机器东说念主Optimus为例,这两块芯片诀别使用的是特斯拉汽车上使用的FSD自动驾驶芯片,以及特斯拉进修自动驾驶而特意开发DOJO芯片。
在自动驾驶芯片方面,英伟达一直遥遥当先,其最新发布的DRIVE AGX Thor可提供高达2000TFLOPS的算力,是当今算力最高、后果最佳的自动驾驶芯片。
而英伟达的东说念主形机器东说念主芯片就与Thor同出一源。
本年11月中旬,华尔街日报曾报说念,英伟达目的在2025年推露面向东说念主形机器东说念主的专用芯片Jetson Thor,在快速增长的机器东说念主行业中占据置锥之地。
Jetson Thor具备高性能AI推理才气,相沿运行如GR00T等大型多模态生成式AI模子,继承英伟达最新的Blackwell架构,并配备Transformer引擎,不错相沿东说念主形机器东说念主在视觉、语音和触觉等多模态感知下的交互,增强其与东说念主类的天然交流才气。这亦然英伟达初次公开声称特意为东说念主形机器东说念主打造的芯片平台。
Jetson是英伟达旗下专为 AI 应用想象的紧凑型贪图机平台,其芯片除了机器东说念主除外,还应用在无东说念主机、智能家居、医疗诱骗和工业自动化等场景。
Jetson平台最早不错追思到2014年,这亦然英伟达在机器东说念主边界布局的驱动。
这一年,物联网、旯旮贪图、东说念主工智能和机器东说念主时刻驱动崭露头角,市集对与之匹配的芯片需求也在持续扩大。同期,这一年东说念主形机器东说念主也驱动参预初期应用。软银在这一年推出Pepper,它是巨匠首款梗概识别和回报东说念主类情谊的商用东说念主形机器东说念主;法国Aldebaran Robotics公司开发NAO机器东说念主,驱动参预教育边界,匡助学生学习编程、科学和数学。
亦然在这一年,英伟达上线Jetson TK1芯片,它具备更强的图形处理才气和AI处理才气,继承了基于Kepler架构的GPU,并联贯了ARM Cortex-A15 CPU,适用于低功耗诱骗。天然它并不是平直针对东说念主形机器东说念主,但却为东说念主形机器东说念主处理复杂的视觉感知和贪图提供了硬件相沿。
随后,实在每隔一两年,英伟达Jetson系列都会发布新址品,其中Jetson Xavier 和Jetson Orin联系系列对东说念主形机器东说念主的发展提供相沿,何况它们清一色都是推理芯片。
▲英伟达Jetson芯片应用先容
天然Jetson AGX Xavier和Jetson Orin系列适用于机器东说念主边界,但并非特意为东说念主形机器东说念主而想象,它们相同适用于无东说念主机、自动驾驶等居品。
而目的于2025年上线的Jetson Thor则是专为东说念主形机器东说念主打造的,阐明英伟达官方暗意,Jetson Thor梗概奉行复杂任务,并与东说念主和机器安全、天然地交互,它继承英伟达最新的Blackwell架构,并配备Transformer引擎,不错相沿东说念主形机器东说念主在视觉、语音和触觉等多模态感知下的交互,增强其与东说念主类的天然交流才气。
结语
东说念主形机器东说念主并非黄仁勋初次作念趋势性推断的边界,在黄仁勋的光泽历史中,曾连气儿两次“押对宝”。
1999年,中央处理单位(CPU)仍然是贪图机系统的中枢,天然图形处理的需求持续增长,但CPU主要重视通盘的贪图任务,包括图形渲染。其时,天然图形显卡市集也在发展,但大批显卡只可提供基础的2D图形渲染,何况较少具备3D加速才气。
黄仁勋却在这一年推出GeForce GPU系列,发布GeForce256,成为寰宇上第一款GPU,亦然首个相沿硬件加速的实时3D图形渲染的图形处理单位。
它给游戏玩家带来了前所未有的顺畅体验,阐明“英伟达中国”驰念1999年这款GPU的联系著述描摹,与GeForce256联贯的游戏《乌有竞技场》是首批领有传神反射后果的游戏之一,在发布的第一年内,便售出了颠倒100万份。[1]
2006年,黄仁勋发布并行贪图平台和编程模子“CUDA”,使得GPU具备处理通用贪图任务的才气,CUDA的发布被夸张地形容为一场“祸害”。要是将GPU形容为一个领有上千个工东说念主的工场,不错驱动工东说念主同期处理雨后春笋的图形像素,那么,CUDA就像这群工场工东说念主的责罚系统,它不仅能作念图像渲染,还能作念科学贪图、分析大数据、进修AI模子。
这两次,黄仁勋都赢在芯片上。
那么,在东说念主形机器东说念主边界,除了作念仿真进修平台,黄仁勋为东说念主形机器东说念主这个“新物种”造的“芯”,能让英伟达再次站在新的期间高点吗?
也许,不到100年,就能看到大街上到处行走的东说念主形机器东说念主。
参考贵寓:
[1]:英伟达中国《生辰欢快!1999年寰宇上第一块GPU问世!》