飞机装配中的数字孪生+增强现实AR技术
时间:2022-10-19 00:35       作者:我有一堆森林       阅读:5130       频道:A R
威锐网 主站首页 A R 查看内容


导读

INTRODUCTION
飞机的分系统装配过程中,涉及的零件复杂,种类繁多,传统的纸质装配大纲对于装配人员的理解构成一定的挑战。而应用基于增强现实AR技术的辅助装配方法,可以帮助操作人员快速理解装配过程、辅助装配操作。
文章来源
本文引自:《虚拟现实与增强现实技术》(作者:赵罡,韩鹏飞,刘亚醉),由清华大学出版社「智造苑」原创首发,数字化企业经授权发布。

另外,装配状态的监测对于保证装配质量非常重要的,将增强现实AR技术应用装配状态检测,可以构建其虚拟装配实体,与工艺要求进行比对实现动态检测。这里介绍在中机身部段的系统件装配现场应用增强现实AR设备实现装配过程可视化展示技术,以及不同装配场景下的智能化辅助装配系统。该系统的功能包括增强现实AR环境下的航空线缆安装实时可视化指导,基于增强现实AR的支架安装状态检测,以及基于云服务器的集成控制技术。
01

基于增强现实AR的线缆接头

装配过程可视化
基于增强现实AR头显的线缆接头安装辅助系统结构如图1所示。由于飞机上用到的线缆和接头种类极其繁多,需要参考图纸才能完成线缆和接头的安装。而线缆上的编号较小,人工辨认效率低,寻找安装孔效率也很低。因此在安装过程中自动辨认编号,定位安装孔,可以提高线缆接头安装过程的效率。


图1 基于增强现实AR头显的线缆接头安装辅助系统架构
基于增强现实AR头显的线缆接头安装辅助系统主要由两部分组成:数据库构建端和头显端。数据库构建端负责建立接头型谱图数据库,包含线缆和接头的对应关系,为头显端做数据准备。头显端负责在安装过程中显示线缆和接头的信息和装配大纲中的核心步骤等,辅助工人完成线缆和接头的安装。
在数据库构建端,开发型谱图数据库构建软件,可以直接从接头的照片中提取信息,并利用CAD软件进行二次开发,绘制接头型谱图。首先通过图像算法提取照片中的接头型谱图信息,其计算过程如图2所示。在图像算法的开发中,提出了插头孔位小目标的检测网络,实现了对不同类别的孔位的高精度检测与识别。在识别到空位的轮廓和编号引导线之后,就可以在程序中完成孔位编号的自动生成,产生的型谱图如图3所示。为了获得每一个孔位的编号,生成规范的型谱图,设计了无序孔位的分布排列算法。型谱图的生成利用了国产CAD软件CAXA提供的二次开发接口,在CAD中构建二维的准确型谱图。


图2 从照片中提取型谱图的过程


图3 型谱图的生成
在操作人员佩戴增强现实AR头显执行装配操作时,其眼前展示的场景如图4所示。利用头显上的摄像机识别到线缆上的标号,然后与数据库中的装配工艺进行匹配,找出正确的安装位置。这里识别编号的功能通过OCR相关算法实现,并且对于扭曲 进行了特殊处理,保证了较高的识别精度。同时,操作人员还可以通过语音识别技术识别线缆编号。


图4 增强现实AR头显中的装配信息可视化展示
在编号识别和型谱图构建的基础上,系统可以在增强现实AR头显中叠加显示二维的孔位频谱图,在其上高亮显示导线对应插孔,辅助导线接头安装过程。另外,还可以通过图像识别技术,对安装好的插头进行检查,实现错装导线的孔位和漏装导线的孔位的检错,在增强现实AR头显中展示检错警告。
02

基于增强现实AR的支架安装状态检测


支架的作用是用于固定线缆,安装在飞机机身壁板上,保证线缆的正确走线路径。由于飞机上的线缆支架种类繁多,安装过程繁琐,需要一种辅助的装配状态监测对比手段。在增强现实AR系统中实现采用基于图像处理的线缆支架识别功能,具有轻量、便捷、高效的特点。
基于增强现实AR头显图像处理的支架安装状态检测方案如图5所示。由于通过图像直接进行支架的三维模型匹配和监测需要很高的计算性能,而目前增强现实AR头显还无法满足这一要求,这里将其转化为二维图像处理问题来解决。即预先将支架在各个角度生成二维图像,并在服务器中存储为图库。实际监测时,通过将拍摄的支架图片进行图像处理,提取图像轮廓,计算轮廓矩,作为当前支架姿态的特征,输入到姿态数据库(图库)中进行kNN最邻近搜索,查找到与其最匹配的姿态作为输出。

飞机装配中的数字孪生+增强现实AR技术 飞机装配中的数字孪生+增强现实AR技术w6.jpg
图5 基于增强现实AR的支架安装状态监测系统架构
以单独支架状态监测为基础,面对整块装配区域的多个安装位置的支架,可以通过模板匹配的方法,识别整个区域的所有支架状态。如图6所示,首先分割装配区域的整体图像,将支架与壁板分离,然后检测每一支架的安装状态。查找装配工艺数据库,检查出漏装、反装及型号错误问题,为现场操作人员提供安装状态的建议。

飞机装配中的数字孪生+增强现实AR技术 飞机装配中的数字孪生+增强现实AR技术w7.jpg
图6 支架的漏装,反装及型号错误问题的检测
与工业机器人的结合,使得基于图像的支架状态识别技术不再局限于增强现实AR头显,可以实现自动化的装配检测,减轻了操作人员的负担。如图7所示,机器人的末端执行器安装有工业相机,可以拍摄支架的照片。在机器人虚拟仿真环境中,给定了支架的位置,可以自动规划出机器人运动轨迹,实现控制真实机器人完成监测任务。

飞机装配中的数字孪生+增强现实AR技术 飞机装配中的数字孪生+增强现实AR技术w8.jpg
图7 机器人自动化支架状态检测(仿真环境与实物对比)
03

基于云服务的装配状态监控

集成控制系统


受限于当前增强现实AR头显的计算能力不足和较小的存储空间,线缆接头装配和支架状态检测中,有很多功能和数据需要借助云服务来实现。如图8所示,云服务(GrapeServer)中提供了多项功能,包括OCR,语音指令识别,支架图片监测,业务信息存储。云服务为增强现实AR智能头显的使用提供了有力支撑。


图8 基于增强现实AR装配的云服务架构
为了方便管理云服务中的功能,加入了ManagerServer用于提供管理入口。采用浏览器/服务器模式提供后台服务,可以为用户分配管理员、观察者、监察者三种角色,并赋予不同的操作权限。管理员对系统所需信息进行维护,监察者对任务提供远程装配指导与监控,观察者对系统运行进行查看。由于在浏览器中可以完成所有操作,对云服务的管理不再受限于设备类型和工作地点。

飞机装配中的数字孪生+增强现实AR技术 飞机装配中的数字孪生+增强现实AR技术w10.jpg
推荐视频

关注「数字化企业」视频号看一线干货


智能工厂规划与实践实训班 ● 上海



长按二维码看详情或 阅读原文快速在线报名↓











来源:“数字化企业”
声明:转载此文章仅供网友阅读了解该主题,出于传递更多信息之目的,并不意味着赞同其观点或证实其描述!

上一篇:投融资活泼 多地出台政策推动元宇宙财产发展
下一篇:亚洲前沿科技"Cutting_edge Technology"展望:人工智能与区块链的融合发展
关注威锐网,随时随地,阅读分享元宇宙!

路过

雷人

握手

鲜花

鸡蛋

最新评论






威锐网元宇宙ARVRAI前沿科技网站-记录ARVRAI前沿科技见证元宇宙未来-本站除原创AR增强现实VR虚拟现实AI人工智能元宇宙前沿科技新闻资讯-其它内容来源自网络·已标明来源出处,如已侵犯您的版权,请联系我们删除