自Transformer架构提出以来，围绕其架构的创新一直是产学研各界的研究焦点。总体来看，对于其注意力机制的补丁式创新和替代性创新成为了主要研究方向。补丁式创新主要采用更为简单的算子或精度来模拟注意力机制的计算，替代性创新主要通过其他算法替代注意力机制来挖掘上下文关系。除此之外，越来越多回归循环神经网络（Recurrent Neural Network，RNN）的算法架构及对于多层感知机（Multi-Layer Perceptron，MLP）架构的创新百花齐放，为未来算法架构的创新探索打下了坚实基础。

车友邦讯 3月26日，继发布中国AI战略后，宝马加速推进AI在技术研发和产品端应用，今日与阿里巴巴集团联合宣布在中国深化战略合作，推动AI大语言模型“上车”。基于全球先进的通义大模型，以斑马元神AI为基础，全新BM ... ,车友邦网

北京时间2月6日，昆仑万维正式发布新版MoE大语言模型「天工2.0」与新版「天工AI智能助手」APP，这是国内首个搭载MoE架构并面向全体C端用户免费开放的千亿级参数大语言模型AI应用。用户即日起可在各手机应用市场下载「天工AI智能助手」APP，体验昆仑万维「天工2.0」MoE大模型的卓越性能。 「天工2.0...

（报道：乔志斌）近日发布的《大语言模型能力测评报告2024》通过3000多道测试题，对国内外主流的10个大语言模型进行了评测，结果显示大模型行业也存在“马太效应”：一直处于领先地位的文心一言和ChatGPT继续领跑中美大模型，且优势愈发明显，进一步拉开了与其他大模型的差距。 报告显示，GPT-4以83...

家中设备不仅理解人类需求并能与之交流、开发人员以前所未有的速度和精度编写代码、图像只需轻轻一点便能转换成高清杰作……数字化时代，人工智能快速发展，尤其是生成式人工智能技术的突破和应用已经深入影响到人们的工作和生活。2023年三星人工智能论坛上，三星官方正式公布了其自研的生成式人工智能产品Gauss（高斯）。三星以科技创…

（报道：乔志斌）9月17日，由中国人工智能学会、江西省科学技术厅、南昌市人民政府共同主办的2023第十二届中国智能产业高峰论坛（CIIS 2023）在江西南昌开幕。中国工程院戴琼海院士、赵春江院士，蒋昌俊院士等多位高校科研院所和企业嘉宾分享学术前沿、展示技术创新，共同推动智能产业高质量发展。百度自研大语言模型“...

昆仑万维表示：传统搜索到AI搜索，是一次跨越，从找内容到获取答案；从信息到知识；从模糊到精确；从通用到个性。可以预见的是，AI搜索作为下一代互联网基础设施和超级流量入口，将成为新一代生产力工具的入口和门户。 8月23日，昆仑万维宣布正式推出国内第一款融入大语言模型的搜索引擎——天工AI搜索。据了解，天工AI搜索将对标集...

最近，AI大模型测评火热，尤其在大语言模型领域，“聪明”的上限被不断刷新。 商汤与上海AI实验室等联合打造的大语言模型“书生·浦语”（InternLM）也表现出色，分别在智源FlagEval大语言模型评测8月排行榜和中文通用大模型综合性评测基准SuperCLUE 7月评测榜两项业内权威大模型评测榜单中获得优异成绩。 “...

美国科技巨头谷歌正在把最新的生成式人工智能技术整合到其产品阵列中，而内部文件显示，谷歌网络广告业务成为最新整合的部门