记录 UAV / 具身智能 / VLN 的学习与实践。
标签
共 12 篇文章
知识路线图
按时间大致梳理与「VLN」相关的文章，可作为学习路线的参考。
论文大全GitHub jonyzhang2023/awesome-embodied-vla-va-vln: A curated list of state-of-the-art research in embodied AI, focusing on vision-language-action (VLA) models, vision-language navigation (VLN), and related multimodal learning approaches. About VLM (25 封私信 / 56 条消息) 视觉大模型（VLM）：2025技术进展与未来展望 - …
讲解 Project1 Task2 中 Seq2Seq 基线模型的实现细节，并分析训练指标（SR、SPL、NavError）的预期趋势与含义。
Project2 任务是复现文章，最难受的是配环境，这里我把可能会遇到的大坑做一些提示。 但是环境的坑，千人千面，遇到问题，随时在群里交流。 任务1 Habitat模拟器的安装与基础操作 说明 为适配VLN-CE的依赖，我们采用老版本 habitat-sim v0.1.7 ，最新版本的安装与使用请自行
Project 3: REVERIE数据集与DUET模型 总体目标 深入理解 **REVERlE (Remote Embodied Visual Referring Expression in Real Indoor Environments)**数据集结构及路径可视化方法。 掌握并复现 **DUET(Dual-scale Graph Transformer)**模型，理解其在多模态指令导航与目标定位中的工作机制。 REVERlE 发音 [ˈrev
AerialVLN模拟器与AirVLN任务 总体目标 1.掌握AerialVLN模拟器的安装 学会如何搭建AerialVLN模拟器。 2.复现AirVLN任务 准备AirVLN相关的数据集，并了解数据组成，复现AirVLN任务。 任务0 建立工作目录 mkdir AirVLN_ws
详解DeepSeek-R1核心强化学习算法：GRPO https://zhuanlan.zhihu.com/p/21046265072 VLN课程学习笔记 #VLN课程学习笔记 #第四章 学习范式：IL&RL #部分可观测马尔可夫决策过程（POMDP） #VLA #IL vs RL #模仿学习 #典型：seq2seq模型 #数据增强：Speaker
2018-2022模型演化
VLN学习笔记 [!quote|#5fb236]+ Test Hello xhost＋ docker run -itd --gpus all \ -v /dev/shm:/dev/shm \ -v /tmp/.X11-unix:/tmp/.X11-unix \ -v $(pwd)/data:/root/VLN-CE/data \ -e DISPLAY=$DISPLAY \ hccz95/vlnce:main test python run.py --exp-config vlnce_baselines/config/r2r_baselines/nonlearning.yaml --run-type eval [!quote|#5fb236]+ Reference In …
部署到无人机上，会有视点可能不匹配的问题 Gap 现在的VLN还没收敛到可以用很低的成本去实现，也就是真正在边侧上部署的并没有 DDPPO网络预测深度 AerialVLN复现 最后我想简单地做个真机部署，就通过Crazyflie或者tello 同时还调研了
本周我系统学习了VLN，核心收获如下： 学习范式：模仿学习（IL）快速入门但性能有限，强化学习（RL）能超越专家但效率低，两者结合（IL+RL）成为主流。 预训练模型：通过自监督学习（如MLM、ITM）让模型掌握跨模态理解，典型模型有PREVA
REVERIE数据集和DUET模型 现在都是还在前期的学习和探索阶段。 读这篇论文： REVERIE： Remote Embodied Visual Referring Expression in Real Indoor Environments （CVPR 2020） REVERlE 发音 [ˈrevəri] DUET(Dual-scale Graph Transformer) REVERIE 是 REVERIE： Remote Embodied Visual Referring Expression in Real Indoor Environments （CVPR 2020） 中引入的大规模远程
📘 Reference Information Title: AerialVLN: Vision-and-Language Navigation for UAVs Authors: Liu, Shubo; Zhang, Hongsheng; Qi, Yuankai; Wang, Peng; Zhang, Yanning; Wu, Qi Publication: (2023) Citekey: liuAerialVLNVisionandLanguageNavigation2023 DOI: 10.1109/ICCV51070.2023.01411 Links: Online | PDF 🧾 Metadata Start date: 2025-10-01 End date: …