技术博客

iniStore:开启大型语言模型推理集群的高性能存储新纪元

iniStore 是一款专为大型语言模型(LLM)推理集群设计的开源高性能键值存储系统。它能够以高速、低延迟的方式,在推理节点间提供稳定的键值存储服务,无论集群是否采用预填充解码分解模式,iniStore 均可显著优化性能表现,满足复杂场景下的存储需求。

iniStore系统高性能存储键值存储语言模型低延迟服务
2025-03-21
SEARCH-R1框架:创新强化学习在大型语言模型中的应用

本研究提出了一种名为SEARCH-R1的创新强化学习框架,旨在显著提升大型语言模型(LLM)在多轮搜索与推理方面的能力。不同于传统的检索增强生成(RAG)或工具使用方法,SEARCH-R1通过强化学习技术,使LLM能够自主生成查询语句,并优化其对搜索引擎结果的推理过程,从而实现更高效、精准的信息处理。

SEARCH-R1框架强化学习多轮搜索推理能力语言模型
2025-03-21
RAG技术演进综述:从基础检索到自适应RAG的探索之旅

本文回顾了RAG技术自2020年以来的发展历程,从基础检索到记忆增强,再到自适应RAG的五大范式。通过时间线梳理,文章聚焦于RAG研究的三大领域:基础研究(包括RAG学习与框架)、进阶研究及效果评估,并结合关键语言模型如GPT-3、GPT-4等的技术节点,为理解RAG演进提供了系统性参考。

RAG技术检索增强自适应RAG语言模型技术演进
2025-03-21
开源系统'O':解耦剪辑与动态采样在语言模型强化学习中的应用

开源系统“O”是一种专为大型语言模型(LLM)设计的强化学习系统。通过采用解耦剪辑与动态采样策略优化技术,“O”系统能够高效实现对大规模语言模型的训练与优化。解耦剪辑技术有效提升了模型稳定性,而动态采样策略则进一步增强了训练效率,使模型在复杂任务中表现出更优性能。这一创新系统为语言模型的开发提供了新方向,推动了人工智能领域的进步。

开源系统O解耦剪辑动态采样语言模型强化学习
2025-03-21
大型语言模型在视觉语言指令微调中的质量控制关键

为了提升大型语言模型在视觉语言指令微调任务中的表现,必须对模型生成的数据实施严格的质量控制。由于语言模型可能生成错误数据且数据分布不稳定,构建高质量的视觉语言指令微调数据集成为关键步骤。这一过程不仅能够优化模型性能,还能确保其输出的可靠性与稳定性。

语言模型质量控制数据分布视觉语言指令微调
2025-03-21
新算法赋能:大型语言模型的创新能力跃升

一项新算法显著提升了大型语言模型(LLM)的创新能力,这得益于AI的自我进化能力。例如,当要求LLM基于提示词“a creative time display”生成创意时钟设计时,它能够提供独特的创新方案。这种进步不仅展现了AI技术的发展潜力,也为创意设计领域带来了更多可能性。

新算法语言模型创新能力AI进化创意设计
2025-03-20
深入探索:为预训练大型语言模型添加新token的策略与实践

为预训练大型语言模型(LLM)添加新token是优化分词器性能的重要策略。随着应用场景的扩展,传统分词器可能无法有效处理新兴词汇或领域特定术语,因此需要引入新token以提升模型表达能力。实施这一过程通常包括分析语料特征、选择合适的新token以及更新分词器配置等步骤。通过优化分词器,模型能够更好地理解复杂语境,提高生成质量与准确性。

预训练模型新token策略分词器优化语言模型实施步骤
2025-03-19
语言模型的人类反馈修正效果探究:InterFeedback框架解析

新加坡国立大学的华人研究团队发现,尽管有人类反馈的帮助,最先进的语言模型(LMM)纠正错误的成功率仍不足50%。为此,他们提出了新框架InterFeedback,用于评估LMM在人类反馈下的表现。研究表明,即使是最优秀的LMM,其通过人类反馈修正结果的比例也不超过50%,这一发现揭示了当前语言模型在错误纠正方面的局限性。

语言模型人类反馈错误纠正InterFeedback华人研究
2025-03-17
《深入浅出:从零开始掌握大模型构建》

《从零构建大模型》是一本专为新手打造的开源教程,旨在深入浅出地讲解大型语言模型(LLMs)的工作原理。通过系统化的指导,读者将学习如何编写代码并逐步实现一个大模型的构建过程,从而全面掌握语言模型的核心技术。

大模型构建语言模型开源教程新手指南代码实现
2025-03-17
探索macOS的力量:Sidekick应用的深度解析

Sidekick 是一款专为 macOS 打造的本地 AI 助手应用,用户无需额外安装软件即可与内置大型语言模型(LLM)互动。该应用支持直接调用 Mac 上的文件、文件夹及网站信息生成响应,并通过本地化交互确保数据隐私与安全,为用户提供高效、可靠的智能辅助体验。

Sidekick应用macOS本地AI助手隐私保护语言模型
2025-03-17
ntOps平台:简化人工智能代理与大型语言模型应用的利器

ntOps平台是一款专为开发者设计的工具,旨在简化人工智能代理和大型语言模型(LLM)应用的测试、调试与部署流程。该平台支持与多种框架(如OpenAI Agents SDK、CrewAI和Langchain)集成,提供统一的可观察性和开发工具支持,助力开发者高效构建AI解决方案。

ntOps平台人工智能语言模型开发工具统一平台
2025-03-17
语言模型的反馈修正挑战:InterFeedback框架解析

新加坡国立大学的一支华人研究团队提出了名为InterFeedback的新框架,用于评估语言模型(LMM)在人类反馈下的表现。研究表明,即使是最先进的LMM,其通过人类反馈纠正错误的比例也不足50%。这一发现揭示了语言模型在接收人类反馈时的性能限制,表明LMM的修正率在最佳情况下仍远低于预期。

语言模型人类反馈性能限制修正率低InterFeedback
2025-03-17
探秘未来:InfiniRetri技术下的语言模型新纪元

一种先进的语言模型通过InfiniRetri技术实现了无需额外训练即可达到完美的检索效果。该技术显著提升了超长文本的检索能力,将有效上下文token长度从32K扩展至1000+K。这一突破使7B参数的模型在检索任务中的表现接近72B参数的模型,大幅提高了参数效率,为语言模型的应用开辟了新路径。

语言模型InfiniRetri超长文本检索能力参数效率
2025-03-17
语言模型的反馈困境:InterFeedback框架下的新发现

新加坡国立大学的华人研究团队提出了一种名为InterFeedback的框架,用于评估语言模型(LMM)在接收人类反馈时的表现。研究表明,即使是最先进的LMM,其通过人类反馈进行错误纠正的成功率也不足50%。这一发现揭示了语言模型在处理人类反馈时的局限性,表明即便在理想条件下,LMM的反馈修正率仍远低于预期。

语言模型人类反馈错误纠正修正率低InterFeedback
2025-03-17
谷歌Scaling Law:引领人工智能行业新纪元

谷歌公司近期推出了一项名为Scaling Law的技术,该技术通过一种创新方法——DiLoCo,显著优化了Transformer模型的性能。这项技术使语言模型(LLM)能够在多个数据中心更高效地训练,规模更大且速度更快。据研究团队表示,DiLoCo方法在性能、速度和效率上均优于现有技术,为价值3万亿美元的人工智能行业带来了重要转折点,进一步推动了AI技术的发展。

Scaling LawDiLoCo方法语言模型谷歌技术人工智能
2025-03-17
语言模型的自我修正之路:人类反馈的局限性解析

新加坡国立大学(NUS)的华人研究团队开发了名为InterFeedback的新框架,用于评估语言模型(LMM)在人类反馈下的修正效果。研究表明,即使最先进的LMM,其通过人类反馈进行结果修正的比例也不超过50%。这一发现凸显了LMM在自我修正能力上的局限性,表明其改进空间仍很大。

语言模型人类反馈InterFeedback自我修正局限性
2025-03-17