视海芯图创始许达文出席2023松山湖中国IC创新高峰论坛，分享多模态芯片SH1580

2023年5月12日，2023松山湖中国IC创新高峰论坛（第十三届）在东莞松山湖开幕。成都视海芯图微电子有限公司创始人兼董事长许达文博士受邀出席，并向外界展示了公司最新款多模态智能芯片SH1580。

许达文博士出席2023松山湖中国IC创新高峰论坛

随着ChatGPT浪潮的席卷，作为支撑该类应用的主要架构，Transformer的热度也是一涨再涨，目前已经可以实现虚拟教师、AI智能对话，包括代码自动生成等功能。当然要实现这些功能，底层的芯片能力是关键。许达文博士指出，在云端方面，Transformer有GPU的硬件支持，但在终端方面，面向机器人、智慧教育等场景，开发者可以通过知识增流，还有信息化方式把Transformer的模型做小，做轻量级。不过硬件支撑方面，终端产品不能通过Transformer来做，必须要加速，需要依赖于支撑人工智能加速的NPU部分。

然而目前部分NPU面临的问题在于Transformer结构区别与传统的CNN结构不同。后者是以计算为核心的架构，但Transformer更多是以计算为中心的架构，这就给Transformer映射带来中断芯片的挑战。

基于此，公司推出了能加速Transformer架构的芯片SH1580。SH1580集成4亿晶体管，采用12nm工艺，是一款高性能智能视觉SoC，自主设计了多态神经网络处理器（PTPU）和3D视觉ISP，配备了4核Arm CPU A53。其中自主研发的多态神经网络处理器具备4 ToPS算力，不仅能支持善于提取局部特征的CNN，也对Transformer、Bert和点云神经网络等新兴AI模型有针对性加速效果。此外，SH1580还采用多通道DDR，具备超高数据高带宽，针对新兴AI模型优化的片上存储模块设计，可以为片内计算阵列提供可重构的高速数据流，从而，让视频流AI处理、多模态数据融合和点云神经网络等在AIoT终端落地实现可能，在智能教育硬件、服务机器人和ADAS等领域具有重大潜力。

作为国内首批3D数字化芯片量产团队，在这场由GPT引领的热潮中，视海芯图将积极把握其中的机遇，持续推进Transformer架构加速，助力更多终端应用落地。