技术攻坚!广和通突破端侧LLM长上下文限制

发布时间:2026-06-15 09:41
作者:AMEYA360
来源:广和通
阅读量:731

  近日,广和通AI研究院取得关键技术突破,自研端侧长文本缓存管理技术FiboCache面向大模型推理中的缓存膨胀、内存受限、端侧部署效率低等业界难题,在有限缓存占用下支撑16K+上下文稳定推理,为端侧设备处理长文档、多轮交互及复杂任务提供核心支撑。

技术攻坚!广和通突破端侧LLM长上下文限制

  AI要走向复杂任务,先要“理解得更完整”

  长文档理解、代码分析和多轮交互,正成为AI演进的重要方向。大模型能够参考的信息越完整,对复杂任务的理解、判断和执行也越可靠。

  在实际应用中,信息长度直接影响任务效果。上下文不足时,对话记忆快速衰减,模型输出容易停留在片段总结和局部判断,难以支撑复杂业务流程。

技术攻坚!广和通突破端侧LLM长上下文限制

  在云端,这一问题可以依托服务器算力和大显存持续缓解。但在端侧,终端设备受到内存、功耗、成本和散热等限制,长文本处理难度显著提升。

  随着输入信息不断增加,模型推理过程中用于保存中间状态的KV缓存会快速膨胀,带来时延上升、资源占用增加和运行稳定性下降。

  如何让设备在有限资源中持续、稳定、低成本地处理大量信息,成为端侧长文本处理的关键挑战。

  有限缓存,跑出更强理解力

  FiboCache是广和通AI研究院自研的端侧长文本缓存管理技术,能够在有限缓存条件下,让端侧设备处理更大规模的信息输入。

  该技术面向端侧静态图推理环境设计,可在推理过程中对历史信息进行高效管理,自动识别和保留与当前任务相关性更高的关键Token,减少低价值信息对缓存空间的占用。

  在实际部署中,FiboCache可在约4K级缓存占用下支撑16K至32K级上下文推理,在显著降低资源占用的同时保持生成质量稳定。

技术攻坚!广和通突破端侧LLM长上下文限制

  同时,该技术面向主流大语言模型架构设计,不绑定单一模型或单一芯片平台,可作为Fibocom AI Stack使能平台的通用能力,赋能各类终端落地端侧 AI。

  真实场景落地,让端侧AI真正处理“超大信息量”

  基于FiboCache,广和通AI Stack解决方案可进一步覆盖更复杂的信息处理场景。

  在AI会议机场景中,设备可在本地处理更长会议转写内容,完成纪要生成与重点总结,帮助用户从海量会议文本中提炼关键洞见,并实现数据本地驻留。

技术攻坚!广和通突破端侧LLM长上下文限制

  在AI陪伴、智能座舱和家用AI助手场景中,终端可保留历史对话与用户偏好,让交互更连贯,个性化角色设定更稳定。

技术攻坚!广和通突破端侧LLM长上下文限制

  在广和通龙虾智算盒等端侧AI设备中,FiboCache可支撑长文档摘要、复杂知识问答、多轮任务规划与本地化执行,帮助企业和行业客户在边缘侧部署更复杂的AI应用。

技术攻坚!广和通突破端侧LLM长上下文限制

  面向智慧工业与IoT场景,边缘设备可本地处理长周期设备日志、连续巡检记录和多源告警信息,完成故障排查、异常定位和预测性维护分析,提升现场响应效率。

技术攻坚!广和通突破端侧LLM长上下文限制

  底层能力突破,夯实端侧AI技术底座

  FiboCache的突破,进一步补齐了广和通在端侧推理中的关键能力,为AI的深度应用提供坚实支撑。

  围绕前沿模型适配、长文本处理等方向,广和通AI研究院将持续推进端侧AI技术创新,加速大模型能力向终端设备与业务场景落地,助力千行百业迈向万物智联的AI时代。

技术攻坚!广和通突破端侧LLM长上下文限制


(备注:文章来源于网络,信息仅供参考,不代表本网站观点,如有侵权请联系删除!)

在线留言询价

相关阅读
广和通战略投资烨知心,深化端侧AI生态布局
  近日,广和通完成对烨知心科技(Yeats AI)的战略投资。目前,烨知心已获得蚂蚁集团、中科创星、深创投、TCL创投、和利资本、九合创投、同歌创投、艾为电子、国开科创、朝晖资本等知名产业方及头部VC的联合支持。  烨知心专注于端侧AI计算,聚焦NPU架构及软硬件协同。此次投资将进一步加强广和通与上游端侧算力伙伴的产业协同,持续完善面向AI终端的生态布局。  端侧AI迈向产品化  随着多模态、Agent等能力持续向终端侧延伸,AI手机、AI PC、智能眼镜、机器人等新一代终端加快智能化演进,端侧AI正进一步从模型部署走向产品化应用。  弗若斯特沙利文预测,2029年中国端侧AI市场规模将达3077亿元,五年复合增长率39.9%。快速增长的市场背后,功耗、性能与成本的平衡,仍是规模化落地需要解决的核心问题。  尤其在智能眼镜、可穿戴设备等对体积、散热和续航高度敏感的新兴终端中,芯片能效比直接影响终端的计算性能、续航表现与实际使用体验。  作为面向AI计算优化的重要架构,NPU能够提升端侧计算任务的处理效率与能效表现。随着更多模型向终端侧部署,高能效计算与面向不同模型、产品形态的适配能力,正成为端侧AI规模化落地的重要技术基础。  布局端侧算力生态  烨知心创始团队曾任职于苹果AI加速平台——Apple Neural Engine团队,公司专注于下一代AI Native硬件的极致能效推理场景,打造新一代统一生态的通用计算平台,为Agentic和Physical AI下不同场景提供跨终端平台的统一软硬件解决方案,实现架构+硬件+软件协同开发。  “端侧AI走向产品化,需要底层算力与终端需求更紧密结合。”烨知心相关负责人表示,“广和通在智能模组、终端客户及行业应用方面的积累,为端侧算力技术更快进入实际产品提供了良好基础。”  广和通高级副总裁、董秘陈仕江 表示:“此次投资是广和通端侧AI全栈布局的关键落子。烨知心在NPU架构及端侧计算方面的积累,与广和通面向智能终端的产品布局形成互补,将进一步完善‘算力底座—智能终端—场景应用’的协同链路。”  面向AI终端加速演进,广和通将以无线通信与人工智能为技术底座,持续链接上下游优质伙伴,推动更多智能能力向终端与场景落地,加速千行百业从“万物互联”迈向“万物智联”。
2026-09-11 11:01 阅读量:250
MiFi选型的轻量化新解:广和通推出超紧凑5G RedCap MiFi PCBA
  做一款MiFi,选型越来越像一道“综合题”。速率之外,尺寸、续航、发热、成本和多设备共享体验,都会直接影响最终产品。随着MiFi产品定位持续细分,Cat.4、高规格5G以及5G RedCap,也分别对应着不同的产品需求。  近日,广和通推出MRU3A0-CN 5G RedCap MiFi PCBA。产品基于紫光展锐V527 RedCap平台,采用COB高集成设计,将PCBA尺寸压缩至61.9 × 31.8 × 5.0 mm,以超紧凑设计为便携式MiFi释放更多整机空间。并围绕便携设备进一步优化功耗、发热与使用时长,为MiFi产品开发提供新的轻量化选择。  RedCap带来MiFi新选择  不同的MiFi产品,对通信方案的需求并不相同。  Cat.4拥有成熟的网络和产品生态,高规格5G能够提供更强的数据性能,而5G RedCap则将5G连接能力进一步轻量化,在速率体验、功耗、成本和终端复杂度之间形成新的平衡。  MRU3A0-CN支持5G RedCap(NR-Light)与LTE双模,兼容3GPP Release 17标准。在移动办公、商旅出行、多终端共享联网等场景中,可为希望兼顾5G体验与便携产品设计的客户增加一种新的选型方案。  对于产品经理而言,这意味着RedCap带来的不只是一次网络制式升级,也为产品尺寸、续航和成本之间的组合留下了更多设计空间。  超小尺寸设计,释放整机空间  对于MiFi这样的便携设备,PCB每缩小一点,整机设计就多一分自由度。  MRU3A0-CN基于V527平台采用COB硬件设计,将芯片及MiFi核心能力直接集成至紧凑PCBA中,最终将板级尺寸控制在61.9 × 31.8 × 5.0 mm。  更小的主板,可以为电池、结构件以及整机布局释放更多空间,让终端厂商在小型化、轻量化设计上拥有更高灵活度。  低功耗设计,延长移动使用时间  基于展锐V527平台,MRU3A0-CN通过低功耗器件选型、优化PCB布局及散热设计,并结合软件温控策略,对整机功耗和温升表现进行综合优化。  在满足MiFi多设备连接需求的同时,MRU3A0-CN有效降低设备运行过程中的功耗与热量积累,有助于延长终端使用时间,为移动场景下的稳定使用带来更优体验。  一块PCBA,把MiFi核心体验装进去  结合RedCap速率区间以及便携设备对功耗和成本的综合需求,MRU3A0-CN集成2.4GHz Wi-Fi 6,理论速率最高可达287Mbps,支持最多10台设备同时使用,可满足手机、电脑、平板等多终端共享联网需求。  针对移动使用场景,MRU3A0-CN在PCBA层已集成反向充电、USB网络共享及Web UI等能力,并配备Type-C USB 2.0接口,终端厂商可结合不同整机形态进行灵活设计。  同时,产品支持uSIM + eSIM灵活SIM方案,为不同客户及运营商部署提供更多选择。广和通还提供参考设计及应用开发支持,帮助客户更高效地推进整机设计与产品导入。目前,MRU3A0-CN已实现小批量商用,产品正进入实际市场应用阶段。  从5G RedCap连接,到Wi-Fi共享、供电和终端管理,再到更紧凑的板级设计,MRU3A0-CN关注的不只是单项参数,而是一款MiFi最终落到用户手中时,需要同时解决的一组产品问题。  当MiFi选型越来越细分,产品定义也拥有了更多答案。MRU3A0-CN以超紧凑5G RedCap MiFi设计、优秀的低功耗性能、轻量化连接能力和完整的MiFi功能配置,为终端厂商打造下一款便携联网产品提供了新的选择。
2026-09-04 13:08 阅读量:277
广和通推出RU311 5G RedCap模组,让中速终端更轻量接入5G
  物联网终端的5G升级,并不总是指向更高带宽。对于工业网关、安防监控、车载后装、能源应用、MiFi等场景,客户更关注的是稳定连接、功耗控制、成本结构和产品迭代效率。面向这类中速物联网需求,广和通正式推出RU311 5G RedCap模组系列,为客户从4G走向轻量化5G提供新的产品选择。  RU311系列采用紫光展锐UNISOC V527平台,支持5G RedCap技术,并兼容LTE Cat.4。在传统4G与高规格5G之间,为中速物联网应用提供一条更具适配性的升级路径。  让中速终端走向轻量化5G  对这些设备来说,5G升级的关键不在于“跑得多快”,而在于能否以更合适的方式接入5G网络。  RU311系列支持5G RedCap与LTE Cat.4双模连接,5G RedCap峰值速率可达下行226Mbps、上行120Mbps,LTE峰值速率可达下行150Mbps、上行50Mbps,可满足状态回传、远程控制、视频上行、移动宽带接入和工业数据传输等需求。  对于正在规划产品迭代的客户,RU311兼顾5G演进能力、功耗与成本,有助于推动既有中速终端平滑升级。  兼容设计,减少升级改动  终端升级真正困难的,往往不是通信制式本身,而是后续的主板改版、接口适配、测试验证和项目导入周期。RU311 LGA版本用32mm × 29mm × 2.4mm紧凑型封装,并在PIN布局上考虑与广和通FG132 RedCap模组、NL668/L716 Cat.4模组的兼容性,便于客户实现5G/4G产品兼容设计。  对于已有4G产品平台的客户,这一设计有助于减少硬件迁移和重复开发工作,让产品升级更聚焦于应用体验、场景适配和市场导入。  多形态组合,加快项目导入  围绕不同终端形态与开发阶段,RU311系列提供LGA、M.2、MiniPCIe等选择。  其中,M.2版本适合快速验证和平台导入,MiniPCIe版本可适配工业网关、路由器、工控机及嵌入式平台,帮助客户减少硬件适配工作,加快产品开发。  RU311系列还支持TCP/UDP、HTTP/HTTPS、SSL、MQTT等协议,并提供USB、UART、RGMII、SDIO、I2C、SPI、GPIO等接口资源,覆盖设备联网、远程运维、数据传输和平台接入等关键环节。  “RedCap进一步拓展了5G在中速物联网市场的应用空间,为更多终端在性能、功耗与成本之间取得平衡提供了新的技术选择。” 紫光展锐相关负责人表示,“此次广和通RU311基于紫光展锐UNISOC V527平台打造,双方将持续深化合作,共同拓展RedCap技术的应用边界与产业生态。”  广和通MTC事业部总经理 李洋 表示:“从4G向5G演进,不同物联网终端需要与自身业务需求相匹配的连接能力。RU311进一步丰富了广和通5G RedCap产品布局。未来,广和通将携手展锐持续推动RedCap产品创新,为客户提供更丰富、更具适配性的5G连接选择,支持不同类型终端持续演进。”  此次RU311系列正式推出,进一步完善了广和通5G RedCap多平台、多形态产品组合,也将推动RedCap在更多中速物联网场景加速落地。
2026-08-31 09:50 阅读量:289
广和通携手卡奥斯推进双基地建设,共筑数智化灯塔工厂
  对于新建智能工厂,规划阶段就决定了生产流程、自动化设备、制造系统与数据能力能否真正协同。越早完成智能制造顶层设计,后续柔性生产、质量管理与稳定交付就越有基础。  8月21日,广和通与海尔旗下卡奥斯COSMOPlat(以下简称“卡奥斯”)在深圳举行项目合作启动仪式。双方将围绕龙华、江西两大现代化生产基地,在规划建设阶段开展智能制造顶层设计,统筹生产流程、自动化布局、制造系统与数据能力,为研发制造协同、柔性生产及稳定交付构建更扎实的制造基础。  广和通 & 卡奥斯签约仪式现场  需求更多元,研发制造如何高效协同?  随着“通信+AI”进入更多行业场景,产品向高端化、定制化发展。从试产验证到规模生产,各环节的衔接效率都会影响产品落地。更紧密的研发制造协同,也成为制造体系响应差异化需求的重要能力。  围绕这一需求,广和通在既有成熟制造合作体系基础上,通过龙华、江西两大生产基地进一步完善自有制造能力,为差异化产品从研发验证到稳定交付提供更有力支撑。  其中,龙华基地规划建设集研发、智能生产、自动化仓储及配套办公于一体的现代化生产基地,重点面向高端化、定制化产品制造,计划于2027年3月建成投产;江西基地则将与龙华基地形成产能互补。  两大基地建成投产后,预计可提供1000余个就业岗位,并进一步带动当地就业与产业协同发展。  顶层设计,让流程、设备、系统与数据协同  新工厂的优势之一,是可以在建设早期将生产流程、自动化设备、制造系统与数据能力纳入统一蓝图,提前明确整体架构与实施路径,为柔性生产、质量管理及后续智能化应用构建协同基础。  依托海尔40余年制造实践,卡奥斯已参与打造20座世界“灯塔工厂”,并在大规模个性化定制等智能制造实践中形成系统能力。  此次双方将结合龙华、江西两大基地的业务及生产需求,把相关经验从顶层规划延伸至自动化建设、制造系统及数据应用,让智能制造能力伴随基地建设逐步形成。  卡奥斯副总经理 谢海琴 表示:此次携手广和通,卡奥斯将依托工业互联网平台与灯塔工厂落地实践经验,深度匹配广和通多元化产品的生产制造需求,服务龙华、江西两大现代化生产基地建设。我们将把工艺规划、工程建设与数字化能力融为一体,从智能制造顶层设计出发,兼顾当下投产需求与远期产能迭代,助力广和通打造高标准、可迭代的智能制造基地,实现双方价值共创。  卡奥斯副总经理 谢海琴  广和通CEO 应凌鹏 表示:此次合作将帮助广和通以更高起点、更系统的方式推进两大基地建设,把成熟的智能制造实践逐步沉淀为自身长期制造能力,为未来产品创新和业务发展提供更加坚实的制造支撑。  广和通CEO 应凌鹏  随着龙华、江西两大生产基地逐步建成投产,两大基地将与既有制造合作体系形成更加灵活、有韧性的制造布局,让产品创新更快完成验证、更稳定走向生产,并更高效地支撑全球客户规模化应用。
2026-08-24 11:11 阅读量:339
  • 一周热料
  • 紧缺物料秒杀
型号 品牌 询价
CDZVT2R20B ROHM Semiconductor
TL431ACLPR Texas Instruments
BD71847AMWV-E2 ROHM Semiconductor
RB751G-40T2R ROHM Semiconductor
MC33074DR2G onsemi
型号 品牌 抢购
STM32F429IGT6 STMicroelectronics
BU33JA2MNVX-CTL ROHM Semiconductor
IPZ40N04S5L4R8ATMA1 Infineon Technologies
BP3621 ROHM Semiconductor
TPS63050YFFR Texas Instruments
ESR03EZPJ151 ROHM Semiconductor
热门标签
ROHM
Aavid
Averlogic
开发板
SUSUMU
NXP
PCB
传感器
半导体
相关百科
关于我们
AMEYA360微信服务号 AMEYA360微信服务号
AMEYA360商城(www.ameya360.com)上线于2011年,现 有超过3500家优质供应商,收录600万种产品型号数据,100 多万种元器件库存可供选购,产品覆盖MCU+存储器+电源芯 片+IGBT+MOS管+运放+射频蓝牙+传感器+电阻电容电感+ 连接器等多个领域,平台主营业务涵盖电子元器件现货销售、 BOM配单及提供产品配套资料等,为广大客户提供一站式购 销服务。

请输入下方图片中的验证码:

验证码