图:支付宝小程序云技术负责人李铮宣布CodeFuse正式开源。 这是蚂蚁自研的代码生成专属大模型,根据开发者的输入提供智能建议和实时支持,帮助开发者自动生成代码、自动增加注释,自动生成测试用例,修复和优化代码等,以提升研发效率。无论用户是初学者还是有经验的开发者,CodeFuse都能够极大地提高编程效率和准确性,让人人可编程、可创新成为现实。 CodeFuse基于蚂蚁基础大模型研发,在近期代码补全的HumanEval评测中,CodeFuse得分74.4%,超过GPT-4 (67%)的成绩,也超过了WizardCoder-34B 73.2%的得分,在开源模型中位于国际前列。本次开源内容包括代码框架、模型等,现已上架相关平台,模型可在HuggingFace下载。 代码框架部分包括自研的多任务微调(Multi-task fine-tuning,缩写为MFT)框架。MFT支持代码生成、代码翻译、测试用例生成、bug修复等数10个任务一起微调,它充分利用多任务之间的信息互补,通过创新的loss设计处理不同任务之间收敛难易不均衡的难题,最终取得比单任务微调SFT更好的效果。MFT微调框架支持蚂蚁自研模型,以及多个开源大模型的代码能力微调。同时,框架内含创新的微调数据打包技术,提升微调速度约8倍;并使用多重部署优化技术,使推理加速约2倍。 模型部分包括CodeFuse13B-4K、CodeFuse-CodeLlaMa34B-MFT两个大模型。模型训练过程中,CodeFuse使用了程序分析校验技术,对高质量代码数据进行筛选,并构建了代码领域专用字典,编码平均长度低10%+。 早在2022年1月,蚂蚁集团内部成立了代码智能生成专项,随着公司整体战略的推进,在统一软硬件基础设施支持下,从零到一训练了多个代码大模型,最终基于13B版本,打造了CodeFuse,并在今年6月开始内测,用以真实开发环境,可以助力开发者低门槛编程,例如用自然语言编写H5小游戏、快速开发支付宝小程序等。 基于CodeFuse的应用场景有开发助手、IDE插件、数据分析器等,覆盖了目前研发工作的主要需求,在蚂蚁集团内部研发流程中陆续得到验证。 CodeFuse的目的是重新定义下一代AI研发,提供全生命周期AI辅助工具。蚂蚁集团期望通过开源CodeFuse,和社区一起推进软件工程领域的范式跃迁,重塑软件研发的各个领域,加速各行各业的数字化进程。 据了解,外滩大会上蚂蚁集团还发布了工业级金融大模型,两大应用产品将在完成相关备案工作后上线,包括面向消费者的应用产品—智能金融助理“支小宝2.0”,以及面向金融行业专家的智能业务助手 “支小助1.0”, 展示了蚂蚁在大模型领域从技术到行业应用的全面布局和进展。(栀橙)
9月8日,外滩大会分论坛上,蚂蚁集团首次开源了代码大模型CodeFuse。 图:支付宝小程序云技术负责人李铮宣布CodeFuse正式开源。 这是蚂蚁自研的代码生成专属大模型,根据开发者的输入提供智能建议和实时支持,帮助开发者自动生成代码、自动增加注释,自动生成测试用例,修复和优化代码等,以提升研发效率。无论用...
谷歌AI搜索强推引反弹 意外为对手无AI页面引流
梅西居然也玩QQ!网友扒出梅西QQ空间 走红全网
医药产业
RTX 5090用一年拆开后惨不忍睹:导热凝胶大面积溢出布满PCB!
手机战报
科技透气 清凉一夏 名创优品短裤29.9元大促
长三角地区
5月中国电视销量大幅下滑 均价反而涨了500多元
AI巨头的Token补贴大战 快打完了吗?
全球首例!53岁脑死亡男子接受猪肝猪双肾移植
裁掉5万人 救得了当年“神车”吗?
电脑用内存、固态硬盘供货紧张:部分机型涨幅已超20%
看富二代破产求生 成了老百姓最爱的综艺?
比亚迪大唐:我要打十个
下跌
算力芯片
中国裁判马宁世界杯首秀丢出6张黄牌!网友:没有软肋的裁判最可怕
最新研究:每天喝一杯酒会激增10种患癌风险!
研究:美国本田车主在网上最爱说脏话 大众车主最文明
AI支付
免责声明:本文内容来源于第三方或整理自互联网,本站仅提供展示,不拥有所有权,不代表本站观点立场,也不构成任何其他建议,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容,不承担相关法律责任。如发现本站文章、图片等内容有涉及版权/违法违规或其他不适合的内容, 请及时联系我们进行处理。
