当前位置: 首页 新闻详细

最小无线可操控摄像机问世可装甲虫头部,向手机实时传输视频。视频人物秒变机器人,通义免费开启角色扮演

一、最小无线可操控摄像机问世可装甲虫头部,向手机实时传输视频。

最小无线可操控摄像机问世:可装在甲虫头部,向手机实时传输视频。

华盛顿大学的工程师们设计了一种小巧、高效的机器人视觉系统,该系统总重量只有250mg,相当于一张卡片重量的1/10。

研究人员将其固定在活甲虫的身上,并能够以1-5帧/秒的速度向智能手机实时传输视频。

这项研究成果发表在最新一期的ScienceRobotics上。

副教授ShyamGollakota带领他的团队,在微软奖学金和美国自然科学基金会的资助下,设计了一款小到可以安装在甲虫背部的视觉系统,该系统可以通过蓝牙装置实时传输甲虫第一视角画面,通信范围比足球场略大,为120米。

长久以来,复杂的视觉系统必然伴随大尺寸、高能耗,也就是说,只有大型机器人才配拥有视觉系统。而微型机器人,要么无法安装视觉装置(尺寸过大),要么必须带一根长长的线——用来通信和供电,否则续航能力堪忧。

因此,如何给微型机器人设计一款低能耗、高续航、无线的视觉系统,成为机器人领域工程师们的重大挑战。

为了解决这个难题,Gollakota和他的团队抛开工程领域,到生物学领域寻求答案。通过对一系列生物视觉系统的研究,工程师们发现了有意思的现象。

从低级物种到高级物种,生物体为视觉系统供给的能量是不一样的。比如浮游生物,虽然低级,但通过长期的进化,它们真正做到了视觉系统的“高性价比”,这恰恰是研究人员想在机器人身上实现的。

“高性价比”有两个特征:能省就省,够用就好。

华盛顿大学的工程师们发现,人类作为最高等的生物,我们的眼睛和视觉皮质占人体总重量的0.6%,而昆虫类,比如苍蝇,该比例却高达2.5%-13%。

质量占比越高,意味着能耗越大。

拿苍蝇种族中的绿头苍蝇为例,且不说整个视觉系统,单单一个视网膜,就消耗了其代谢能量的8%。

如此高的能耗,是自然界所无法接受的。因此在漫长的进化中,昆虫“学会”了一整套节约能耗的办法。

第一招,只在视网膜的一小片区域发展视觉功能。这有点“集中优势兵力打击敌人”的意味,既然视网膜耗能太高,昆虫就缩小视网膜的视觉能力范围。

第二招,多转头,少动身体。如果昆虫想要获得其他方位的画面信息,不需要移动身体,它们的头部可以独立于身体转动。转动头部显然比移动身体更节约能量。更有甚者,头也不转,可以转眼睛。

用工程师的话来说,这一招实现了“高效能收集视觉信息”。

了解到这些关键点,Gollakota团队尝试将其应用在机器人视觉系统的设计中。

他们的规划是,首先把设计的装置固定在活体甲虫背面,以测试其效果,然后用甲虫大小的机器人替换甲虫,最终实现带有视觉系统的微型机器人设计。

Gollakota等人设计的这一套机器视觉系统,可以说是昆虫视觉系统的人工版本。

在分辨率上,该系统采用的图像传感器精度和昆虫相当,较低的分辨率意味着更轻、更节约电量。最终的设计也体现了这一点,整套视觉系统总重250mg,相当于一张卡片的1/10重量。

此外,工程人员把摄像头安装在了一个可以旋转的机械装置上,该机械装置通过机载驱动器控制,可以转动60度,并且能够左右平移。此举模拟了昆虫的头部功能,即在不移动身体的情况下获得更大的视觉范围。而平移功能允许摄像头捕捉运动物体,甚至能够拍摄全景照片。

最后,工程人员创造性地在视觉系统中添加一个特殊装置——加速计,加速计可以检测甲虫是否处在运动状态。只有当甲虫处在运动状态时,才触发视觉系统的拍摄功能。

用参与项目的该校博士生VikramIyer的话说,“如果摄像头一直工作,那整个视觉系统只能续航1-2小时。安装加速计之后,续航提高到6小时”。

加入这一系列仿生设计,机器视觉系统的能耗比传统方式低24-86倍。

最终的实验结果令人满意。由于整个装置足够轻便,甲虫甚至可以背着“设备”爬树。而通过智能手机操纵可旋转的摄像头,实现了全景拍摄。

机器视觉系统在甲虫身上获得了成功,团队进而设计了一款甲虫大小的微型机器人,搭载该视觉系统,取得了同样好的实验结果。

Gollakota认为,通过大幅度降低传统视觉系统的尺寸、功率与重量,将摄像头的使用拓展到了以前不可能的新领域。

“视觉对沟通和导航都非常重要。当昆虫四处移动时,捕捉和传输实时数据对农业产业、工业物联网的发展非常有益,”Gollakota说。

同时,该团队准备公开该项目的代码,和所有研究人员共享。

在未来,他们计划在“低能耗”上更进一步——彻底摆脱电池的限制,此举可以通过利用太阳能实现。

二、微型机器人的用途

微型机器人的用途


微型机器人是一种可以执行各种任务的微型装置,其大小和形状与人体器官和组织相似,可以在人体内部执行手术、检查和修复等任务。它们也可以用于探索太空和深海,执行危险任务和探测未知环境。此外,微型机器人还可以用于执行各种任务,如检测和诊断疾病、执行化学和生物实验、监控和监测环境等。


微型机器人的优点在于它们可以深入人体内部,完成手术和其他任务,减少手术时间和风险,减少对人体的创伤和痛苦。它们还可以在极端环境下工作,例如在深海或极端气候条件下执行任务。此外,微型机器人还可以用于检测和治疗各种疾病,如癌症、心脏病和神经疾病等。


总之,微型机器人是一种非常有前途的技术,可以应用于各种领域,带来很多好处。然而,由于其小巧的特点,制造和使用微型机器人也存在一定的挑战,需要在设计和操作方面进行更严格的安全和质量控制。

视频人物秒变机器人,通义免费开启角色扮演

2024-08-0718:24·晓得智能

近日,通义App推出了一项名为“角色扮演”的新功能,该功能允许用户上传一段视频后,在App内实现现实与虚拟世界的跨界互动,完成角色的华丽变身。

据称,这项功能已吸引了众多用户的兴趣,甚至有员工在工作时间也沉浸其中。

要使用“角色扮演”功能,用户仅需准备一部智能手机、安装通义App,并录制一段不超过15秒的视频。

具体的操作流程为:打开通义App后,选择“巴黎2024”项目下的“角色扮演”模块,随后就可以开始创作自己的变身视频了。

“角色扮演”功能背后的技术支撑是通义实验室研发的人工智能模型——Motionshop。

该模型通过视频处理、角色跟踪与分割、姿态估计、光照估计等技术手段,实现了动态视频中主角从现实到虚拟世界的转换。

以下是Motionshop实现这一过程的具体技术细节:

|角色跟踪和分割

通过对视频中的角色进行检测,并进行像素级的跟踪和分割,同时补全分割后的区域,确保转换过程中背景的一致性。

|姿态估计和3D映射

应用高精度的姿态估计方法来捕捉角色的动作和表情,并将其映射到三维模型上,使新的3D模型可以模拟原始角色的动作和表情。

|光照估计

为了保持新模型与原始视频中的光照效果一致,系统会对视频中的光照情况进行精细估计。

|3D渲染

利用TIDE渲染引擎,Motionshop能够高效地将3D模型渲染成逼真的图像序列,并根据估计的场景光照条件,实现视觉上的无缝融合。

目前,“角色扮演”功能已正式上线,并且完全免费供用户体验。

通义App还计划在近期增加用户自定义角色创建的功能,让用户体验更加丰富多样。

关注我们:私信即可加入【AI交流群】,免费领取【AI大礼包】

发布人:yjsansheng75 发布时间:2024-10-14

友情链接