无人机也能“群聊” 西工大建立无人机自主“聊天群”

时间:2023-10-28 12:00:47  来源:西部网  ©原创

分享到微信朋友圈

打开微信,点击 “ 发现 ” ,使用 “ 扫一扫 ” 即可将网页分享至朋友圈。

无人机也能“群聊” 西工大建立无人机自主“聊天群”

西部网讯(记者 李卓然)在线群聊极大地方便了人们的沟通方式,能否把机器也拉进群,让它们组团商量着干活,并和人类无障碍地沟通和交流,更好地服务于生产生活?

0bbf4d66b92bc3cd1a8d2a5a69d10740.gif

无人机沟通群演示。(来源 西北工业大学)

近日,西北工业大学光电与智能研究院教授李学龙和同事们在机器交互方面取得创新进展:基于国产大模型,研发了 “群聊式”无人机控制框架,给每架无人机装上了大脑,让无人机集群在语言沟通中动态协同,实现了开放环境下“人机”和“多机”的对话交互,打破人类和机器的交互壁垒,进一步拓展了临地安防的应用场景。

受人类的认知模式启发,研究团队将认知形成的高度自主性凝练为“思维计算—实体控制—环境感知”的三元交互,建立了“书生·浦语”开源大模型驱动的自主无人机“群聊式”控制框架,实现了开放环境和复杂任务中的智能交互、主动感知和自主控制,提高了无人机任务执行的自主性。

38cb83beb5094f4d3e74d43d5167cf7e.gif

无人机群聊沟通演示。(来源 西北工业大学)

总体而言,类人对话交互、主动环境感知、自主实体控制,是自主无人机集群的主要能力。

在类人对话交互方面,研究团队提出“群聊式”对话交互方法,将声音、图像和无人机自身状态等多种信息,通过大模型转换为自然语言的对话形式,实现了用户与无人机,以及无人机与无人机之间自主和直观的交互方式。

e1ecafb6af4e93e0e6dc35d91a4ba4f7.gif

无人机主动发现并靠近目标演示。(来源 西北工业大学)

同时,研究团队设计了一套高效的实时反馈机制,使得无人机能够在任务执行的关键节点通过对话报告自身状态、寻求用户确认,大大提高了复杂任务执行的稳定性和安全性。

在飞行过程中,无人机主动感知外部环境,实时调整任务规划,是完成复杂任务的关键环节。针对此,研究团队设计了任务引导的主动感知机制,提出了多传感器融合的低空搜索、动态避障和视觉定位算法。在实际任务执行中,根据感知信息和任务目标,动态调整无人机飞行路径和观测位姿,尝试从不同角度和位置感知周围世界,逐渐降低环境中的不确定性,实现高效的信息采集和任务执行。

a17da654f14f96edf58893d849a88233.gif

无人机动态环境避障演示。(来源 西北工业大学)

探索复合智能体形态,增强复杂任务处理能力,是大模型时代新型智能体的研究重点。为此,研究团队依托无人机平台设计了夹爪等末端执行器,将传统无人机拓展为“飞行机器人”,长出“手”来,具备抓取能力。同时,构建了异构无人机集群协同控制机制,结合环境感知反馈,实时调整无人机编队的飞行状态,使集群分工执行区域搜索、目标定位和抓取等任务。

d3c04780795db1a53f14717cc10be5ad.gif

无人机自主目标抓取演示。(来源 西北工业大学)

据悉,大模型自主无人机集群是研究团队将生物智能 “思维计算—实体控制—环境感知”的三元交互模式应用于自主智能体的一次成功尝试,依托大语言模型、无人机平台和多种传感器,实现对话交互、主动感知和自主控制,对安防巡检、灾害救援、空中物流等临地安防场景下的应用具有重要意义。

078ecfc2b2eafa78a6cc58fd8b5c50b4.gif

异构无人机集群协同控制演示。(来源 西北工业大学)

编辑:郭晶晶

网站简介 |  本网动态 |  友情链接 |  版权声明 |  我要投稿 |  联系我们 |  工作邮箱 | 不良信息举报 | 中国互联网联合辟谣平台
本网站法律顾问:陕西洪振律师事务所主任 王洪
陕ICP备07012147号 互联网新闻信息服务许可证:61120170002
信息网络传播视听节目许可证:2706142 陕公网安备 61011302000103号
地址:陕西省西安市长安南路336号 联系电话:029-85257337(传真) 商务电话:029-85226012 投稿邮箱:news@cnwest.com
Copyright ©2006- 西部网(陕西新闻网) WWW.CNWEST.COM, All Rights Reserved.