天垓100率先完成百亿级参数大模型训练

6月10日,在第五届智源大会AI系统分论坛上,上海天数智芯半导体有限公司(以下简称“天数智芯”)对外宣布,在天垓100加速卡的算力集群,基于北京智源人工智能研究院(以下简称“智源研究院”)70亿参数的Aquila语言基础模型,使用代码数据进行继续训练,稳定运行19天,模型收敛效果符合预期,证明天数智芯有支持百亿级参数大模型训练的能力。

图片9.png图 天数智芯产品线总监宋煜

在北京市海淀区的大力支持下,智源研究院、天数智芯与爱特云翔共同合作,联手开展基于自主通用GPU的大模型CodeGen(高效编码)项目,通过中文描述来生成可用的C、Java、Python代码以实现高效编码。智源研究院负责算法设计、训练框架开发、大模型的训练与调优,天数智芯负责提供天垓100加速卡、构建算力集群及全程技术支持,爱特云翔负责提供算存网基础硬件及智能化运维服务。

图片10.png

图 天数智芯大模型训练全栈方案

 在三方的共同努力下,在基于天垓100加速卡的算力集群上,100B Tokens编程语料、70亿参数量的AquilaCode大模型参数优化工作结果显示,1个Epoch后loss下降到0.8,训练速度达到87K Tokens/s,线性加速比高达95%以上。与国际主流的A100加速卡集群相比,天垓100加速卡集群的收敛效果、训练速度、线性加速比相当,稳定性更优。在HumanEval基准数据集上,以Pass@1作为评估指标,自主算力集群训练出来的模型测试结果达到相近参数级别大模型的SOAT水平,在AI编程能力与国际主流GPU产品训练结果相近。

图片11.png

图 基于天垓100算力集群的AquilaCode大模型训练性能采样

天垓100率先完成百亿级参数大模型训练,迈出了自主通用GPU大模型应用的重要的一步。这一成果充分证明了天垓产品可以支持大模型训练,打通了国内大模型创新发展的关键“堵点”,对于我国大模型自主生态建设、产业链安全保障具有十分重大的意义。

接下来,天数智芯将与合作伙伴们继续深入合作,建设更大规模的天垓100算力集群,完成更大参数规模的大模型训练,以自主通用GPU产品更好支持国内大模型创新应用,进一步夯实我国算力基础,助力人工智能产业自主生态建设。

 

关于智源研究院

北京智源人工智能研究院(简称“智源研究院”)是人工智能领域的新型研发机构。2018年11月14日,联合北京多家人工智能领域优势单位共建。智源研究院的愿景和目标是聚焦原始创新和核心技术,建立目标导向与自由探索相结合的科研体制,营造全球最佳的学术和技术创新生态,推动北京成为全球人工智能学术思想、基础理论、顶尖人才、企业创新和发展政策的源头,率先成为国际领先的人工智能创新中心,推动人工智能产业发展和深度应用,改变人类社会生活,促进人类、环境和智能的可持续发展。

 

关于天数智芯

上海天数智芯半导体有限公司(简称“天数智芯”)是中国领先的通用GPU 高端芯片及超级算力系统提供商。天数智芯以“服务国家战略”为己任,坚持“四个面向”,致力于开发自主可控、国际领先的高性能通用GPU产品,探索通用GPU赶超发展道路,加快建设自主产业生态,为全产业提供高端算力解决方案。未来,天数智芯将坚持中国特色的自主自强创新发展道路,打造更可信、更高效、更绿色的世界一流算力引擎,赋能千行百业数字化转型,促进我国数字经济高质量发展,开启中国引领世界走向元宇宙、数字孪生的崭新一页。

 

关于爱特云翔

爱特云翔专注为政企客户提供大数据中心、云计算、人工智能服务,是以“cloud + AI”为技术基座的科技创新型企业。爱特云翔目前拥有淄博临淄、宁夏中卫、青岛即墨等三个大数据产业园和IDC,总机柜数为2.2万个,已具备覆盖华北、华中、华东、华南的光纤网络,建立有北京、上海、淄博软件与算法研发中心、济南技术支持中心、深圳硬件设计中心、聊城智能物联生产线,及全国各地子公司等分支机构。

本文转载并注明其他来源的稿件,是本着为读者传递更多信息的目的,并不意味赞同其观点或证实其内容的真实性。如有疑问,请联系695036288@qq.com。

(0)
IC创客的头像IC创客管理员
上一篇 2023-06-13 15:35
下一篇 2023-06-13 15:52

相关推荐

  • 睿创微纳布局光子芯片,聚焦短波红外探测器和半导体激光器

    非制冷红外探测器领先厂商睿创微纳3月13日发布公告称:将通过设立子公司,布局光子芯片,打造国产特种芯片企业。 据披露,睿创微纳与无锡微分企业管理合伙企业(有限合伙)拟共同出资1000万元设立睿创光子(无锡)技术有限公司,其中公司出资600万元,无锡微分出资400万元。由于睿创微纳实际控制人马宏担任无锡微分的执行事务合伙人,公司高管陈文礼担任无锡微分的合伙人,…

  • 中国半导体行业协会于燮康:聚焦创新方向,分散破解瓶颈

    7月20日,2023世界半导体大会暨南京国际半导体博览会在南京开幕。中国半导体行业协会副理事长于燮康出席开幕式并致辞。 于燮康指出,近几年来,我国半导体产业快速发展,市场规模近三年复合增长率达7.6%。从制造设备到原材料,再到设计软件,我国不断加快研发进程,在部分领域已形成较强竞争力。当前,我国半导体产业虽然面临技术和地缘政治的双重挑战,但高速增长的国内市场…

    2023-07-24
    00
  • 英特尔发布首款支持PCIe 5.0和CXL 2.0标准的FPGA芯片

    日前,英特尔宣布发布首款支持PCIe 5.0和CXL 2.0功能的Agilex 7 FPGA R-Tile。英特尔官方表示,该款FPGA芯片基于英特尔10纳米工艺技术,还引入了最新的芯粒技术,即R-Tile,它负责在硬件加速、硬编码的IP块中提供最新的连接技术——即支持PCIe 5.0和CXL2.0标准。 据了解,PCIe 5.0是I/O一种数据传输标准,意…

    2023-05-29
    00
  • 英特尔宣布晶圆代工将于明年一季度独立运作,成为全球第二大晶圆代工企业

    据媒体报道,英特尔宣布组织架构重组,从 2024财年第一季度开始,旗下制造业务(包括现有的自用的IDM制造及晶圆代工业务(IFS))将独立运作并自负盈亏。而在这种新的“内部代工厂”模式中,英特尔的产品业务部门将以与无晶圆厂半导体公司(Fabless)与外部晶圆代工厂类似的合作方式与公司制造业务集团进行合作。 英特尔表示,基于调整后的新模式,英特尔明年将成为第…

    2023-06-23
    00
  • 苏半科技产业园正式开园,规划打造为集聚中高端半导体总部园区

    11月16日,苏半科技产业园开园仪式暨姑苏“金才荟”高层次人才投融资对接会举行。据悉,苏半科技产业园项目位于姑苏区沧浪街道南门商圈核心位置,占地68亩,为苏州半导体总厂的办公地址,将打造成极具苏州园林风格的高科技产业园区。项目共分为三期,此次开放的一期项目,建筑面积约18000平方米,规划打造为集聚中高端半导体及相关高新技术产业的园林式总部园区。 &nbsp…

    2023-11-21
    00

发表回复

登录后才能评论