[PConline 资讯]Facebook 于今日宣布开源旗下 Droidlet 机器人开发平台,特点是能够利用自然语言处理(NLP)和计算机视觉(CV)技术来感知周围世界。 其宣称能够简化机器学习算法在机器人项目中的集成,并促进快速的软件原型设计。尽管当前机器人已能够通过编程来执行舞蹈等特定应用,但还是缺乏可在更深层次上处理信息的能力。 Droidlet 项目 - GitHub 传送门 当然,Droidlet 并不是所有问题的万能解决方案,而是一种测试不同 NLP 和 CV 处理模型的方法。 其允许开发者构建能够在现实世界中、或《我的世界》和 Facebook 的 Habitat 等模拟环境里完成相关任务的系统。开发者可按需更换组件,来支持可在不同机器人上使用的相同系统。 此外 Droidlet 平台提供了一个仪表板,方便开发者添加调试与可视化小部件和相关工具,以及一个用于纠错和注释的界面。 除了用于测试针对机器人设置进行微调的视觉模型的环境之外,Droidlet 还附带了用于将机器学习模型连接到机器人的封包器。 Droidlet 有一系列组件构成,其中某些为启发式的、另一些则是学习向的,开发者可在方便时调用静态数据、然后适当调用动态数据开展训练。其设计由以下几个模块到模块的接口组成:
Facebook 指出,这些模块中的每一个,都可进一步分解为可训练或启发式的组件,且相关模块与仪表板支持在 Droidlet 之外的生态系统中使用。 对于研究人员和爱好者,Droidlet 还提供了对“内置电池”系统的支持,可通过预训练的物体检测和姿态预估模型来感知环境,并将观察结果存储在机器人的内存中。 通过这种表示,系统可响应诸如“前往红椅子处”之类的语音命令,利用预训练的神经语义解析器,将自然语言转换为可由机器人执行的程序。 |
正在阅读:Facebook宣布开源Droidlet机器人开发平台Facebook宣布开源Droidlet机器人开发平台
2021-08-05 15:30
出处:cnBeta.COM
责任编辑:tanghongying