技术博客

随着人工智能技术的快速发展，嵌入式AI系统在移动机器人、无人驾驶汽车和无人机等领域的重要性日益凸显。这些系统需要具备持续学习能力，以适应复杂多变的环境，同时避免灾难性遗忘问题，确保新旧知识的有效融合，从而提升系统性能与可靠性。

最新综述论文由哈尔滨工业大学和中国科学院联合发布，深入探讨了知识蒸馏技术在持续学习领域的应用。研究聚焦于通过模仿先前模型的输出结果来减轻灾难性遗忘的问题。实验在十个不同数据集上展开，验证了知识蒸馏在加强记忆保持方面的效果。结合数据回放和使用分离的softmax损失函数可进一步增强其性能。

本文介绍了一种创新方法，旨在为多模态大型语言模型（LLM）引入ControlNet概念，并通过开源插件来解决灾难性遗忘问题。与主流的LLaVA架构相比，IAA在设计上保持了基础语言模型的参数不变，有效避免了灾难性遗忘的发生。在多模态知识的学习方面，IAA通过引入多个专门的插入层来处理，从而实现了对多模态信息的有效学习。

在即将召开的CIKM 2024会议上，上海大学的两位本科生作为第一作者，首次提出了一种结合“持续学习”和“少样本”的新框架。该框架旨在解决知识图谱补全中的灾难性遗忘问题和样本稀缺的挑战。这一创新成果不仅推动了学术领域的发展，还为实际应用中的模型在动态变化环境和数据不足情况下的表现提供了重要参考，显著增强了模型的应用能力。