专业小程序设计开发——助力新电商新零售

电话+V：159999-78052，欢迎咨询nvidia orin，[小程序设计与开发]，[小程序投流与推广]，[小程序后台搭建]，[小程序整套源码打包]，[为个体及小微企业助力]，[电商新零售模式]，[小程序运营推广及维护]

一、NVIDIA的Orin自动驾驶芯片为何比RTX3090更先进，采用的是哪家的7nm工艺...

NVIDIA的Orin自动驾驶芯片采用的工艺比RTX3090更先进，出人意料的是，其采用的是7nm而非传闻中的8nm工艺。

原本，市场普遍认为NVIDIA的Orin芯片会延续其RTX3090/3080/3070系列的8nm工艺，然而，最新消息揭示了这一芯片的真面目。Orin是NVIDIA在GTC大会上发布的下一代自动驾驶芯片，集成了强大的ArmHerculesCPU（12个Coretex-A78内核）和AmpereGPU，性能强大，每秒可执行200万亿次计算，是上一代Xavier的7倍。尽管具体GPU的SM单元数量未公开，但根据170亿晶体管的规模推测，其GPU性能可能与RTX3060相当。

之前有德国媒体Computerbase报道，Orin会采用8nm工艺，这曾被认为是安培游戏卡工艺的依据。然而，这个说法被理想公司的最新公告所否定。理想与NVIDIA合作，确认了Orin芯片采用的是7nm工艺，这直接否决了8nm的猜测，并为该芯片的先进性提供了明确证据。

二、英伟达gtc新发布的jetsonorinnano有哪些功能特性?

NVIDIA于本次GTC大会推出了全新JetsonOrinNano系统级模组，为NVIDIAJetson产品阵容增添了新成员，其性能相较于上一代产品提高了80倍，为入门级边缘AI和机器人技术树立了新基准。

JetsonOrin系列首次覆盖了六个基于Orin的生产模组，可支持各种边缘AI和机器人应用。其中包括在最小的Jetson外形尺寸下提供每秒40万亿次（TOPS）AI性能的OrinNano，以及为高级自主机器提供每秒275万亿次（TOPS）AI性能的AGXOrin。

JetsonOrin模组采用NVIDIAAmpere架构GPU、基于Arm架构的CPU、新一代深度学习和视觉加速器、高速接口、快速内存带宽，并支持多模式传感器。这种前所未有的性能与多功能性将使得更多的客户创造出曾经看似不可能的产品，并使其商业化。

OrinNano模组在外形和引脚上与之前发布的OrinNX模组完全兼容。客户从今天起就可以使用AGXOrin开发者套件开发适合OrinNano系列的应用，能够灵活地设计一个系统来支持多个Jetson模组并轻松扩展其应用。

OrinNano通过高速I/O和NVIDIAAmpere架构GPU支持多个并发AI应用流水线，让边缘AI和机器人技术变得更易获得。零售分析、工业质量控制等入门级设备和应用的开发者将能够以较低的成本更容易地获得更复杂的AI模型。

OrinNano模组将分为两个版本：OrinNano8GB提供最高40TOPS性能，功率为7W至15W；4GB版本提供最高20TOPS性能，功率仅为5W至10W。

“Super”赋能NVIDIAJetsonOrinNano开发者套件实现性能飞跃

生成式AI领域正在迅速发展，每天都有新的大语言模型（LLM）、视觉语言模型（VLM）和视觉语言动作模型（VLA）出现。为了在这一充满变革的时代保持领先，开发者需要一个足够强大的平台将云端的最新模型无缝部署到边缘，从而获得基于CUDA的优化推理性能和开放式机器学习（ML）框架。

为了支持机器人和多模态智能体领域的新兴生成式AI工作负载应用，NVIDIA以软件升级的方式对NVIDIAJetsonOrinNano开发者套件进行了升级，其性能史无前例地提升至1.7倍。目前建议零售价仅为2070人民币。鉴于AI性能和易访问性的大幅提升，JetsonOrinNano开发者套件已更名为NVIDIAJetsonOrinNanoSuper开发者套件。

JetsonOrinNano开发者套件只需通过软件升级，即可升级为JetsonOrinNanoSuper开发者套件。

本文将详细介绍该开发者套件的新功能，以及开发者能够如何充分利用这一更强大的性能。

全新JetsonOrinNanoSuper

开发者套件

全新JetsonOrinNanoSuper开发者套件做出了以下改进：

生成式AI性能提升至1.7倍稀疏计算性能从之前的40TOPS大幅提升至67TOPS内存带宽从之前的65GB/s大幅提升至102GB/sCPU时钟频率从1.5GHz提升至1.7GHz目前建议零售价为2070人民币

在保持硬件架构不变的前提下，通过提高GPU、内存和CPU的时钟频率，即可实现性能提升。之前所有的JetsonOrinNano开发者套件都可以通过升级到最新版本的JetPack，实现性能提升。

凭借这一性能升级，JetsonOrinNanoSuper开发者套件的生成式AI性能提升了70%，能够支持运行最新的基于Transformer的模型。这一套件尺寸小巧但是性能强大，可以轻松处理各种LLM、VLM和视觉Transformer（ViT），无论是较小的模型还是参数多达8B的模型（例如Llama-3.1-8B模型）都不例外。

Jetson所支持的ML框架和优化推理基础架构与其他平台相同，例如HuggingFaceTransformer、Ollama、llama.cpp、vLLM、MLC、NVIDIATensorRT-LLM等。因此，Jetson非常适合用于在云、边缘和PC之间快速调整和部署可扩展的理想解决方案。

JetsonOrinNanoSuper

开发者套件配置

表1.JetsonOrinNanoSuper开发者套件配置比较

运行各种LLM、VLM和ViT

NVIDIAJetsonOrinNanoSuper开发者套件实现了性能的颠覆性突破，对于将生成式AI带入嵌入式应用，或者在高性价比的计算机中使用最前沿的生成式AI模型，它都将是理想的选择。

LLM、VLM和视觉Transformer（ViT）是推动各个领域创新的变革性AI架构。基础LLM擅长通用语言处理和类人文本生成，结合NVIDIARiva等流式语音识别和合成管线，可实现自然的人机交互界面。

小语言模型（SLM）通过剪枝和蒸馏等技术迅速实现性能提升，发展到可与大模型媲美的程度。这些模型专门针对边缘计算场景优化，其参数规模一般不超过7B。

如今，开放式LLMs和SLMs普遍被训练用于智能体工具的使用和结构化I/O函数的调用，这使得LLM的解析和推理能力能够接入现实系统。

包括NVIDIANeMo在内的许多ML框架对LLM的微调和内存高效的LoRAs的支持也有所提升，这为特定应用领域SLMs的对齐和专业化提供了明确的指导。

ViT通过将像素片段标记化为嵌入式内容，充分发挥出Transformer在视觉方面的强大功能。它们在各种基本任务中都具有领先的性能，包括：

特征提取分类检测分割位姿估计

它们还可通过NVIDIACosmos标记器扩展到3D点云和视频等更高维度的模式。ViT推动了创造性的新型混合模型的发展，这些模型将定制的视觉功能与开放词汇语言支持以及对各种主题和对象类别的动态运行时查询相结合，而无需额外的微调。

VILA等VLM通过融合各种视觉和文本模式的ViT和LLM，使模型能够理解和生成详细的场景描述、检测感兴趣的对象并使用OCR提取文本。它们可以使用多模态推理响应用户对图像或视频序列的查询。

在经过了与SLM类似的微缩化处理后，VLM在边缘应用中的作用越来越大，并且凭借灵活的事件触发警报和摘要功能，而被用于远程监控摄像头的数据流，比如在Jetson平台服务的VLM参考工作流中。

这些技术共同推动着生成式AI和多模态系统以及现实应用的进步。全新NVIDIAJetsonOrinNanoSuper大幅提升了各种LLM、SLM、ViT和VLM的性能，并且大大降低了作为物理AI入口的最新Transformer模型的入门门槛。我们对一些常用的LLM、VLM和ViT进行了基准测试，并展示了JetsonOrinNanoSuper开发者套件较前代产品所带来的速度提升。

图1.LLM在JetsonOrinNanoSuper

开发者套件上的性能提升情况

表2.常用LLM的基准测试性能（tokens/s）

*使用MLCAPI并经过INT4量化的LLM生成性能（tokens/s）。

图2.VLM在NVIDIAJetsonOrinNanoSuper

开发者套件上的性能提升情况

表3.常用VLM的基准测试性能（tokens/s）

*所有VILA和LLAVA模型均使用MLC以INT4精度运行，

其余模型使用HuggingFaceTransformer以FP4精度运行。

图3.ViT在NVIDIAJetsonOrinNanoSuper

开发者套件上的性能提升情况

表4.常用视觉Transformer的基准测试性能（帧/秒）

*所有ViT模型均使用NVIDIATensorRT以FP16精度运行（单位：帧/秒）。

开始使用

JetsonOrinNanoSuper开发者套件

如要升级性能，请在JetPackSDK页面下载SD卡镜像，并按照入门指南进行操作。

NVIDIA发布了基于JetPack6.1的SD卡镜像以升级性能。您也可以使用SDK管理器为JetsonOrinNano开发者套件安装升级性能后的JetPack6.1。请确认已更新SDK管理器，并在安装时选择JetPack6.1(rev.1)。

启动并运行JetPack后，使用以下命令更改性能模式以获得超强性能。模式2是具有超强性能的MAXN模式。

sudonvpmodel-m2

您也可以使用Ubuntu桌面顶栏右侧的性能模式选择器更改性能模式。

图4.性能模式选择工具

在JetsonOrinNanoSuper

开发者套件上体验生成式AI

NVIDIA在JetsonAILab中提供了一系列教程和预构建容器，便于您在JetsonOrinNano开发者套件上探索生成式AI。如果您对机器人感兴趣，可以浏览LeRobot教程。如果您想要创建生成式AI聊天机器人，我们也提供了专门的创建教程。

HuggingFaceLeRobot

NVIDIA与HuggingFace合作，共同加速LeRobot开放式AI平台上的机器人研究。您可以在JetsonOrinNanoSuper开发者套件上运行HuggingFaceLeRobot，该平台所运行的生成式AI模型能够根据视觉输入和先前轨迹预测特定任务的行动。

图5.在JetsonOrinNano开发者套件上运行的HuggingFaceLeRobot

使用Ollama构建生成式AI

驱动的聊天机器人

使用带有OpenWebUI的Ollama构建一个生成式AI聊天机器人，并在JetsonOrinNanoSuper开发者套件上运行。OpenWebUI是一个被广泛使用的开源聊天机器人服务器接口，可对接本地运行的LLM。这样，该聊天机器人就可以使用检索增强生成（RAG）进一步增强用户体验和功能。

图6.在JetsonOrinNanoSuper开发者套件上运行的生成式AI聊天机器人

通过JetsonAILab推动

生成式AI的发展

JetsonAILab让您能够集中探索和尝试专为边缘设备优化的最新生成式AI技术。

通过建立一个开放协作和社区引导的环境，NVIDIA与开发者和合作伙伴携手推进开源边缘AI和机器人学习的发展。我们的Jetson设备全面支持常用的机器学习框架和经过优化的推理微服务，您可以在Jetson计算机上快速构建和部署最新的创新研究成果和模型，跟上日新月异的创新步伐。

图7所示的是NanoOWL开放词汇实时对象检测ViT的示例。

图7.实时对象检测视觉示例

图8所示的是具有交互式txt2img和img2img相似性搜索功能的NanoDB多模态矢量数据库。

图8.图像相似性搜索示例

JetsonAILab提供了近50个简单易学的教程和预构建容器，让任何经验水平的开发者都能快速开始使用设备端的LLM、SLM和多模态VLM以及各种VLA、扩散策略和语音模型变体。虽然它们都部署在本地，但却具有与云端相同的优化推理基础设施。

JetsonAILab的协作式社区引导型教程和资源大大降低了在边缘部署先进生成式AI的门槛。

所有JetsonOrinNano

和JetsonOrinNX系列模组

均可实现超强性能升级

NVIDIA还升级了整个JetsonOrinNano系列和JetsonOrinNX系列的性能。无论是小型AI摄像头，还是大型自主机器，所有边缘设备都需要算力来运行生成式AI模型。

在相同的模块硬件上，您可以使用不同模块实现最高1.7倍的性能提升。

OrinNano系列：提高GPU、CPU和内存上的频率和性能。

OrinNX系列：提高GPU和DLA的性能。

表5.JetsonOrinNanoSuper和OrinNXSuper模组规格

适用于JetsonOrinNano和OrinNX模组的性能升级支持和文档将于1月上半月随JetPack6.1.1一起发布。

由于客户对Orin的需求日益增长，NVIDIA最近还宣布将JetsonOrin的产品生命周期延长至2032年底。凭借此次超强性能升级，OrinNano系列和OrinNX系列已成为当前和未来模型的理想平台。

即刻开始您的生成式AI开发工作

JetsonOrinNanoSuper开发者套件是引领边缘计算生成式AI开发的最佳平台。即刻开始您的开发工作，加入这个由高级开发者和研究者所组成的充满活力的多元化社区，和NVIDIA一起使用物理AI解决现实世界的挑战。

现有JetsonOrinNano开发者套件用户，即刻就可以升级您的JetPackSDK以提升性能：

https://developer.nvidia.cn/embedded/jetpack

了解有关JetsonOrinNanoSuper开发者套件的更多信息：

https://www.nvidia.cn/autonomous-machines/embedded-systems/jetson-orin/nano-super-developer-kit/

【WINDRISES MINIPROGRAM PROMOTION】尊享直接对接老板

电话+V： 159999-78052

专注于小程序推广配套流程服务方案。为企业及个人客户提供了高性价比的运营方案，解决小微企业和个体拓展客户的问题