技术博客

京东零售大模型推理优化:如何在高吞吐量与低延迟间找到平衡点

在近日举行的北京AICon会议上,京东零售分享了其在大模型推理优化中的实践经验。会议重点探讨了如何在提供高效服务时平衡高吞吐量与低延迟这一关键问题。通过技术手段的不断改进,京东零售致力于提升用户体验,同时确保系统性能的稳定与高效。

京东零售大模型优化高吞吐量低延迟AICon会议
2025-06-11
流量镜像技术在微服务架构中的调试与测试应用

流量镜像技术最初作为网络安全工具,现已发展为调试和测试微服务架构的强大手段。通过将生产流量安全复制到影子环境,开发团队能够在不影响用户体验的前提下,重现复杂缺陷、分析性能表现、验证新功能稳定性及检测回归问题,同时确保生产环境的隔离性。

流量镜像技术微服务架构生产环境调试测试影子环境
2025-06-11
人工智能驱动下芯片设计的革命:启蒙系统的突破

中国科学院计算技术研究所与软件研究所联合推出了“启蒙”系统,该系统基于人工智能技术,实现了处理器芯片设计的全流程自动化。从软硬件协同到具体设计环节,“启蒙”系统展现出卓越性能,其设计水平不仅媲美人类专家,甚至在部分领域实现超越,为芯片设计行业带来了革命性突破。

启蒙系统人工智能芯片设计自动化中科院
2025-06-11
人工智能驱动下芯片设计的革命:启蒙系统的突破

中国科学院计算技术研究所与软件研究所联合推出了“启蒙”系统,该系统基于人工智能技术,实现了处理器芯片设计的全流程自动化。从软硬件协同到具体设计环节,“启蒙”系统展现出卓越性能,其设计水平不仅媲美人类专家,甚至在部分领域实现超越,为芯片设计行业带来了革命性突破。

启蒙系统人工智能芯片设计自动化中科院
2025-06-11
Adobe实时视频生成技术革新:NVIDIA RTX 4090显卡的突破性应用

Adobe公司近期发布了一项突破性研究,通过一块NVIDIA RTX 4090显卡即可实现实时视频生成。这项技术有望显著降低游戏直播和实时渲染领域的技术门槛,为创作者提供更高效、便捷的工具支持,从而推动相关行业快速发展。

实时视频生成NVIDIA显卡Adobe研究游戏直播实时渲染
2025-06-11
华为AI算力集群:引领人工智能新时代

华为在人工智能领域取得突破性进展,其AI算力集群在万卡规模的训练中实现了98%的可用性,并具备秒级故障恢复与分钟级问题诊断能力。这一成就为大型AI模型的实际应用提供了性能稳定的强大支撑,标志着构建大规模算力集群技术的重大突破。

华为AI算力万卡规模故障恢复问题诊断性能稳定
2025-06-11
液态玻璃效果的网页设计:引领潮流的秘诀

如果你对苹果公司最新发布的液态玻璃效果感到兴奋,并希望将其融入网页设计中,那么藏师傅的研究成果将为你提供帮助。经过一上午的探索,他成功找到了一种方法,可将这一潮流效果集成到网页生成提示词中。预计未来一段时间内,液态玻璃效果将成为设计趋势,频繁出现在各类设计需求中。本文将指导你一键实现这一创新设计,紧跟行业潮流。

液态玻璃效果网页设计趋势苹果公司创新潮流设计实现藏师傅教程
2025-06-11
Transformer架构革新:MTLA注意力机制破解计算复杂度难题

在大语言模型快速发展的背景下,Transformer架构作为核心组件发挥了重要作用,但其自注意力机制的计算复杂度为二次方的问题一直备受关注。剑桥大学提出了一种名为MTLA的新型注意力机制,通过时空压缩技术将推理速度提升5倍,同时显存需求降低至原来的1/8。这一研究突破性地解决了Transformer架构中的计算瓶颈,为大规模语言模型的应用提供了更高效的解决方案。

Transformer架构自注意力机制MTLA注意力时空压缩技术显存需求减少
2025-06-11
Prompt技术在软件工程领域的应用与影响

近期,巴西联邦大学与加州大学尔湾分校的研究团队针对Prompt工程技术在软件工程领域的应用展开了深入研究。通过对58种技术的筛选,最终整理出46种相关技术,并重点测试了其中14种主流技术在10个软件工程任务中的表现。实验采用包括Deepseek-V3在内的4个大型模型,累计完成2000多次实验,为Prompt技术的实际应用提供了重要参考。

Prompt技术软件工程Deepseek-V3学术研究大型模型
2025-06-11
优化大型语言模型领域知识偏差:SFT训练集构成新策略

大型语言模型(LLM)在特定领域知识上常存在偏差问题。上海交通大学与上海人工智能实验室联合研究发现,通过优化SFT训练集构成,可显著减少LLM的知识偏差。此方法提供了一种有效策略,以调整训练数据集来提升LLM性能,为相关技术发展奠定了基础。

大型语言模型知识偏差监督微调训练数据集上海交通大学
2025-06-11
OpenAI新一代推理模型o4:揭秘GPT-4.1与GPT-4.5之间的秘密项目

根据SemiAnalysis的最新爆料,OpenAI正秘密开发一款新模型,该模型位于GPT-4.1与GPT-4.5之间。下一代推理模型o4将以GPT-4.1为基础进行训练,强化学习技术在这一过程中起到关键作用,为模型性能提升提供了重要支持。这一进展可能进一步推动人工智能技术的发展。

OpenAI新模型GPT-4.1训练推理模型o4强化学习技术SemiAnalysis爆料
2025-06-11
OpenAI新推理模型o3-pro:性能飙升,价格腰斩,挑战市场霸主

近日,OpenAI正式推出全新推理模型o3-pro,该模型在性能上显著超越前代产品o1-pro和o3,同时价格下降了80%,展现出极高的性价比。在数学、编程和科学领域的基准测试中,o3-pro表现优异,其上线迅速引发行业关注,并对Gemini 2.5 Pro的市场地位形成直接挑战。这一举措不仅推动了人工智能技术的发展,也为用户提供了更多选择。

o3-pro推出性能提升价格下降基准测试市场挑战
2025-06-11
大型语言模型:技术互动的新篇章

近年来,大型语言模型(LLM)通过卓越的文本生成与逻辑推理能力,深刻改变了人类与技术之间的互动方式。然而,其内部运行机制如同一个复杂的“黑箱”,难以被直观理解,这为模型的透明性和可解释性带来了挑战。尽管如此,LLM仍持续推动技术创新,并在多个领域展现巨大潜力。

大型语言模型文本生成逻辑推理技术互动黑箱机制
2025-06-11
机器人学习领域重大突破:少量数据实现高性能

在机器人学习领域,一项突破性进展表明,仅需10%的训练数据即可实现100%的性能表现。这一成果由美国密歇根大学研究生陈昌和及其导师Nima Fazeli教授共同完成。陈昌和的研究专注于基础模型、机器人学习与具身人工智能,尤其在机器人的操控能力、物理交互及控制优化方面取得显著成就。该研究为减少数据依赖、提升机器人学习效率提供了新方向。

机器人学习训练数据性能表现陈昌和具身人工智能
2025-06-11
英伟达与香港大学联手突破:GSPN技术加速视觉注意力机制研究

英伟达与香港大学在视觉注意力机制领域取得重要突破,共同研发的GSPN技术显著提升了高分辨率图像生成的速度。实验数据显示,该技术可将图像生成加速超过84倍,为视觉注意力机制的研究提供了全新方向,推动了人工智能在图像处理领域的应用进展。

英伟达合作视觉注意力GSPN技术高分辨率图像生成
2025-06-11
DeepMath-103K数据集:AI数学推理的突破之路

DeepMath-103K数据集是由腾讯AI Lab与上海交通大学团队联合开发的创新项目,包含103,000个数学问题。该数据集致力于提升大型人工智能模型在数学推理方面的能力,为AI技术的发展提供了重要支持。通过这一数据集,研究人员能够训练和优化模型,使其更高效地解决复杂数学问题。

DeepMath数据集数学推理AI模型腾讯AI Lab上海交大
2025-06-11