视海芯图创始许达文出席2023松山湖中国IC创新高峰论坛,分享多模态芯片SH1580

作者:超级管理员 浏览:324 日期:2023-05-15 11:35:27

视海芯图创始许达文出席2023松山湖中国IC创新高峰论坛,分享多模态芯片SH1580

2023年5月12日,2023松山湖中国IC创新高峰论坛(第十三届)在东莞松山湖开幕。成都视海芯图微电子有限公司创始人兼董事长许达文博士受邀出席,并向外界展示了公司最新款多模态智能芯片SH1580。

 1.png

许达文博士出席2023松山湖中国IC创新高峰论坛

随着ChatGPT浪潮的席卷,作为支撑该类应用的主要架构,Transformer的热度也是一涨再涨,目前已经可以实现虚拟教师、AI智能对话,包括代码自动生成等功能。当然要实现这些功能,底层的芯片能力是关键。许达文博士指出,在云端方面,Transformer有GPU的硬件支持,但在终端方面,面向机器人、智慧教育等场景,开发者可以通过知识增流,还有信息化方式把Transformer的模型做小,做轻量级。不过硬件支撑方面,终端产品不能通过Transformer来做,必须要加速,需要依赖于支撑人工智能加速的NPU部分。

然而目前部分NPU面临的问题在于Transformer结构区别与传统的CNN结构不同。后者是以计算为核心的架构,但Transformer更多是以计算为中心的架构,这就给Transformer映射带来中断芯片的挑战。

基于此,公司推出了能加速Transformer架构的芯片SH1580。SH1580集成4亿晶体管,采用12nm工艺,是一款高性能智能视觉SoC,自主设计了多态神经网络处理器(PTPU)和3D视觉ISP,配备了4核Arm CPU A53。其中自主研发的多态神经网络处理器具备4 ToPS算力,不仅能支持善于提取局部特征的CNN,也对Transformer、Bert和点云神经网络等新兴AI模型有针对性加速效果。此外,SH1580还采用多通道DDR,具备超高数据高带宽,针对新兴AI模型优化的片上存储模块设计,可以为片内计算阵列提供可重构的高速数据流,从而,让视频流AI处理、多模态数据融合和点云神经网络等在AIoT终端落地实现可能,在智能教育硬件、服务机器人和ADAS等领域具有重大潜力。

作为国内首批3D数字化芯片量产团队,在这场由GPT引领的热潮中,视海芯图将积极把握其中的机遇,持续推进Transformer架构加速,助力更多终端应用落地。