人工智能产业深度研究半导体篇目,人工智能芯片分析

温馨提示：如需原文档，可在PC端登陆未来智库官网（www.vzkoo.com）搜索下载本“人工智能深度研究”。

人工智能平 台(包括 芯片，模 组，软件)在一般 人看起来 像是一种 新型应 用, 但在我们看来人工智能芯片在整合软硬件后将成为各种物联网应用的提升效 能工具平台, 这就像我们常用的微软 Office 软件,微软 Office 软件是我们在办公 室应付各种应用的生财工具, 因此人工智能平台除了被广泛利用在云端大数据的 深度学习训练和推断外, 我们认为人工智能平台也将出现在各式各样的应用端的 边缘设备，从英伟达公布的数字来看，早在 2016 年，公司就累计了 7 大领域(高等教育，发展工具，互联网，自驾车，金融，政府，生命科学)及 19,439 客户使用其深度学习的服务工具, 配合软件和之前在云端大数据的深度学习训练 和推断的数据成果库, 来达到帮助使用者或取代使用者来执行更佳的智能判断推 理。

虽然目前人工智能芯片仍多是以昂贵的图形处理器(GPU),张量处理器 (Tensor Processing Unit), 或现场可 编程门阵列 芯片配合中 央处理器 (FPGA CPU) 为主, 来用在云端的深度学习训练和推理的数据中心, 但未来特定 用途集成电路 (ASIC)将在边缘运算及设备端所需推理及训练设备遍地开花，及 逐步渗透部分云端市场，成为人工智能芯片未来的成长动能, 我们预估全球人工 智能云端半导体市场于 2018-2025 年复合成长率应有 37%，边缘运算及设备端 半导体市场于 2018-2025年复合成长率应有 249% (请参考图表), 远超过全球 半导体市场在同时间的复合成长率的5%,整体约占全球半导体市场的份额从 2018 年的 1% 到 2025 年的 10%。

当大多数的产业研究机构把自驾车(Autonomous drive vehicle), 虚拟/扩增 实境(Virtual Reality/Augmented Reality), 无人商店 (Unmanned store), 安防智 能监控 (Smart Surveillance System), 智能医疗，智能城市，和智能亿物联网 (Internet of Things, IoT) 分别当作半导体产业不同的驱动引擎, 国金半导体研究 团队认为其实自驾/电动车, 5G, 虚拟/扩增实境, 无人商店, 安防智能监控, 智能 医疗，智能城市其实都只是人工智能亿物联网的延伸。

无人驾驶/电动/联网车对半导体的需求爆增 10 倍:虽然全球汽车半导体产 业，目前由传统的整合元件制造商(IDM)掌控，但未来很难说，主要是 因为先进 辅助或自 动驾驶 系统兴 起，人 工智能， 摄像， 传感， 雷达芯 片公 司的出现。像英伟达图形处理器(Xavier，Pegasus 320)，谷歌张量处理 器 (Tensor Processing Unit)，英特尔/Altera/Mobileye的 CPU/FPGA/AI 解决方案，地平线 L3/L4 自动驾驶 (Matrix 1.0 平台，征程 2.0 芯片), 高通， 联发科，华为/海思的5G 无线通信平台及毫米波雷达，索尼，豪威的传 感器，博 通及瑞昱 的以太 网络芯 片。尤 其是自动 驾驶对 雷达， 摄像头 ，传 感器及芯片的 3 倍增幅; 千倍的 3D 视频数据的上传及云端的存储, 学习, 推 理;因无人驾驶车设备及云端建制成本高昂(US$150,000/Waymo 车), 额 外成本必须由广大消费者共同分摊费用较有利，乘坐共享, 公交服务业, 产 品运送的后勤支援业无人驾驶应会领先乘用车市场，而 Waymo/谷歌将带 动出租车/公交车 自动驾 驶市场 ，领先 英伟达的 自驾乘 用车市 场(请 参阅 国金电动，无人驾驶，车联网的三部曲驱动力的深度报告), 依照美国加州 DMV(Department of Moter Vehicles)最新公布的资料显示 Waymo 于去 年测试的 120 万英里中，每 1000 英里发生解除自驾系统状况频率是 0.09 次，运低于前年的 0.179 次，及通用 Cruise 的 0.19 次，苹果的 872 次， 及 Uber 的 2860 次;自动泊车、车道偏离检测、无人驾驶的带宽需求，及 车内电线费用和重量的不断增加。为了让增加数倍的电子控制单元 (ECU) 能彼此间快速地沟通, 数倍的以太网路节点和转换器芯片需求便随之而来。

无人商店及安防智 能监控: 除了自动驾车联网外, 最近风起云涌的无人商店 和智能监控, 不也是利用大量监控摄像头, 配合三维人脸辨识系统, 二维码/ 近场通讯来收集大数据资料,再透过 WiFi/xDSL/光纤传输, 将资料送到云端 人工智能 储存与处 理来达 到无需 柜台人 员的无人 商店和 能随时 辨识的 视频 智能监控, 而政府机关可透过此系统来调查人口移动来重新设计城市智能公 共交通系统, 协寻通缉犯, 恐怖分子,失踪人口, 及在展场, 车站, 机场, 学校, 大型活动场地的安全监护; 系统整合业者除可做无人商店外, 也可靠着人口 动向来预测消费热点 (商家必备), 人口居住热点 (房地产业必备), 如果再配 合无人商店，线上购物系统，和政府的大数据, 系统业者便可更精准的投送 广告, 发展个人信用评级。类似于自驾车联网, 无人店和监控联网系统需要 大量并且高清晰度的三维辨识摄像头和芯片, 传输系统和芯片, 和庞大的云 端，边缘运 算，及 设备端 的储存及 智能训 练及推 理的各式 高速芯 片及软 件。

智 能医疗: 智能医疗系统可利用 三维脸 部个人辨 识来挂 号, 减少排队时 间, 让看诊更 顺畅。医 院可收 集资料 并整合 个人在不 同医疗 院所的 所有医 疗纪 录; 医生可利用人工智能数据平台辅助做更精准的医疗判断, 减少重复用药 的浪费和对病人的副作用, 医院可利用此大数据资料做更深入的医学研究, 数家政府医院应先抛砖引玉, 带头做整合。

智能亿物联网:1. 空污，水污染化学感测物联网:政府是否应利用强制安 装并定期检验各式 气体/液体的 物联网化学感 测器在每部汽 、机车和工 厂排 污管道上,再透过大量的低耗能无线通讯将资料上传到云端储存和处理, 并 透过人工智能来监测空污,水污来收取空污或水污税; 2. 身份识别证明联网: 大型互联网企业像谷歌 (Googl US), 百度(Baidu US), 腾讯(00700.HK) ,或 海康威视 (002415.SZ) 为何不能发展三维脸部个人辨识智能系统来整合所 有的线上线下购物, 启动驾驶, 银行转帐/汇款/提款, 进入手机/电脑/应用App, 和政府机关办事所需要的身份证明。您可否想过你现在要纪录多少密 码,多少使用者名称, 身上带着多少付款软体, 银行卡，信用卡, 钞票, 居民 身分证, 交通卡，驾照, 护照, 居民健康卡, 电梯卡, 加油卡, 金融社保卡, 大 卖场会员证, 和各式通行卡; 3. 同步翻译连网:目前先进智能芯片/软体的 语音辨识速度太慢和不够精准的理解与翻译, 应是语言同步翻译机仍未大卖 的主因, 但透过更高速的智能芯片, 无线通讯芯片和更庞大的语音数据库来 训练云和端的人工智能的推理反应, 相信未来国际多种语言的零障碍沟通将 指日可待; 4. 人工智能教师和消费机器人: 当把强大的人工智能导入到 人工智能教师和消费机器人联网物中, 透过不断的反覆学习, 这不但可提升 学生的教育水平和兴趣,未来都能解决老人及残障人士的健康照顾,清洁, 饮 食,娱乐,保全 等需求,减 少后代的 负担及外 佣虐老事 件,也明显 能提升老 人和 残障人士的寿命和生活品质。

最早的人工智能出现及运用在 1950-1980 年代，接着转换到 1980-2010 年机器学习，从 2010 年以后，随着各种演算法 CNNs, RNNs, DNNs 等图影像 视觉学习，辨 识，推理 的普及， 让深入人 工智能深 入学习的 突飞猛进 。深度学 习是人工智能 和机器学 习的一个 子集，它 使用多层 人工神经 网络在诸 如对象检 测，语音识别 ，语言翻 译等任务 中提供最 先进的准 确性。深 度学习与 传统的机 器学习技术的 不同之处 在于，它 们可以自 动学习图 像，视频 或文本等 数据的表 示，而无需引 入手工编 码规则或 人类领域 知识。它 们高度灵 活的架构 可以直接 从原始数据中 学习，并 在提供更 多数据时 提高其预 测准确性 。人工智 能的深度 学习最近取得的许多突破，例如谷歌 DeepMind 的 AlphaGo 及更强大的 AlphaZero 陆续在围棋，西洋棋类比赛夺冠，谷歌 Waymo, 英伟达的 Xavier/Pegasus 320, 及 Intel/Mobileye 的 Eye 4/5 自动驾驶汽车解决方案，亚 马逊的 Alexa, 谷歌的 Google Assistant, 苹果 Siri，微软的 Cortana, 及三星的 Bixby 智能语音助手等等。借助加速的深度学习框架，研究人员和数据科学家 可以显着加快 深度学习 培训，可 以从数天 或数周的 学习缩短 到数小时 。当模型 可以部署时， 开发人员 可以依靠 人工智能 芯片加速 的推理平 台来实现 云，边缘 运算设备或自 动驾驶汽 车，为大 多数计算 密集型深 度神经网 络提供高 性能，低 延迟的推理。

卷积神经网络 CNNs ( Convolutional Neural Networks ): 卷积神经网络(CNN)是 建立在模 拟人类的视 觉系统， 并透过图 影像分类 模型的突 破， 也将是， 主要来自 于发现 可以用 于逐步 提取图影 像内容 的更高 和更高 级别 的表示。 CNN是将图像的原始像素数据作为输入，并‚学习‛如何提取这 些特征，并最终推断它们构成的对象。首先，CNN 接收输入特征图:三维 矩阵，其中前两个维度的大小对应于图像 的长度和宽度(以像素为单位)， 第三维的大小为 3(对应于彩色图像的 3 个通道:红色，绿色和蓝色)。 CNN 包括一堆模块，每个模块执行三个操作。举例而言，卷积将 3x3 过滤贴图的 9 个条件(0，1)套用(先乘后求和以获得单个值)在 5x5 输入特 征贴图的 9 个像素特征上，而得出3x3全新的卷积输出特征贴图。在每次 卷积操作之后，会采用最大池演算法(Max pooling)，CNN 对卷积特征贴 图进行下采样(以节省处理时间)，同时 仍保留最关键的特征信息，最 大池 化是要从特征贴图上滑动并提取指定大小的图块 (2x2)，对于每个图块，最 大值将输 出到新的 特征贴 图，并 丢弃所 有其他值 。在卷 积神经 网络的 末端 是一个或 多个完全 连接的 层，完 全连接 的层将一 层中的 每个神 经元连 接到 另一层中的每个神经元。 它原则上与多层感知器神经网络(multi-layer perceptron neural network (MLP) 类似，他们的工作是根据卷积提取的特 征进行分类，CNN 可以包含更多或更少数量的卷积模块，以及更多或更少 的完全连 接层，工 程师经 常试验 要找出 能够为他 们的模 型产生 最佳结 果的 配置。总之，CNN 专门于图影像处理如自动驾驶汽车，安防，人脸辨识， 及疾病图像辨识解决方案。

循环神经网络 RNNs (Recurrent Neural Network): RNN是一类人工听觉 及说话的神 经网络 ，具有 记忆或反 馈回路 ，可以 更好地识 别数据 中的模 式。 RNN 是常规人工神经网络的扩展，它增加了将神经网络的隐藏层送回自身 的连接 - 这些被称为循环连接。循环连接提供了一个循环网络，不仅可以 看到它提 供的当前 数据样 本，还 可以看 到它以前 的隐藏 状态。 具有反 馈回 路的循环 网络可以 被视为 神经网 络的多 个副本， 其中一 个的输 出用作 下一 个的输入 。与传统 的神经 网络不 同，循 环网络使 用他们 对过去 事件的 理解 来处理输 入向量， 而不是 每次都 从头开 始。当正 在处理 数据序 列以进 行分 类决策或回归估计时，RNN 特别有用，循环神经网络通常用于解决与时间 序列数据相关的任务。不同于 CNN专门于图影像处理，循环神经网络的应 用包括自然 语言处 理，语 音识别， 机器翻 译，字 符级语言 建模， 图像分 类， 图像字幕 ，股票预 测和金 融工程 。机器 翻译是指 使用机 器将一 种语言 的源 序列(句 子，段落 ，文档)翻译 成相应 的目标序 列或另 一种语 言的矢 量。 由于一个 源句可以 以许多 不同的 方式翻 译，因此 翻译基 本上是 一对多 的， 并且翻译功能被建模为有条件而非确定性。 在神经机器翻译(NMT)中， 我们让神经网络学习如何从数据而不是从一组设计规则进行翻译。 由于我们处理时间序列数据，其中语境的上下文和顺序很重要，因此 NMT 的首选 网络是递循环神经网络。 可以使用称为注意的技术来增强 NMT，这有助 于模型将其焦点转移到输入的重要部分并改进预测过程。举两RNN的例子， 为了跟踪 你的自助 餐厅主 菜的哪 一天， 每周在同 一天运 行同一 菜的严 格时 间表。如 周一的汉 堡包， 周二的 咖喱饭 ，周三的 披萨， 周四的 生鱼片 寿司 和周五的意大利面。使用 RNN，如果输出‚生鱼片寿司‛被反馈到网络中 以确定星期五的菜肴，那么 RNN 将知道序列中的下一个主菜是意大利面(因为它已经知道有订单而周四的菜刚刚发 生，所以星期五的菜是下一个)。 另一个例子是如果我跑了 10 英里，需要喝一杯什么?人类可以根据过去的 经验想出如何填补空白。由于RNN的记忆功能，可以预测接下来会发生什 么，因为 它可能有 足够的 训练记 忆，类 似这样的 句子以‚水‛结束以 完成 答案。

深度神经网络 DNNs (Deep Neural Network): DNN 在视觉，语言理解和 语音识别 等领域取 得了关 键突破 。为了 实现高精 度，需 要大量 数据和 以后 的计算能力来训练这些网络，但这些也带来了新的挑战。特别是 DNN 可能 容易受到 分类中的 对抗性 示例， 强化学 习中遗忘 任务， 生成建 模中的 模式 崩溃的影响以及过长的运算时间。为了构建更好，更强大的基于 DNN 的系 统，是能 否有效地 确定两 个神经 网络学 习的表示 何时相 同?我 们看到 的两 个具体应用是比较不同网络学习的表示，并解释 DNN 中隐藏层所学习的表 示。设置的关键是将 DNN中的每个神经元解释为激活向量，神经元的激活 矢量是它在输入数据上产生的标量输出。例如，对于50 个输入图像， DNN 中的神经元将输出 50 个标量值，编码它对每个输入的响应量。然后， 这 50 个标量值构成神经元的激活矢量。因为深度神经网路的规模(即层数 和每层的节点数)，学习率，初始权重等 众多参数都需要考虑。扫描所 有参 数由于时间代价的原因并不可行，因而小 批次训练(微型配料)，即将 多个 训练样本 组合进行 训练而 不是每 次只使 用一个样 本进行 训练， 被用于 加速 模型训练。而最显著地速度提升来自 GPU，因为矩阵和向量计算非常适合 使用 GPU实现。但使用大规模集群进行深度神经网路训练仍然存在困难， 因而深度神经网路在训练并列化方面仍有提升的空间。

4、 到底哪种人工智能芯片将成云计算的主流?

深度学习是一种需要训练的多层次大型神经网络结构(请参考图表)，其每 层节点相当于 一个可以 解决不同 问题的机 器学习。 利用这种 深层非线 性的网络 结构，深度学 习可以从 少数样本 展现强大 的学习数 据集本质 特征的能 力。简单 来说，深度学 习神经网 络对数据 的处理方 式和学习 方式与人 类大脑的 神经元更 加相似和准确 。谷歌的 阿法狗也 是先学会 了如何下 围棋，然 后不断地 与自己下 棋，训练自己的深度学习神经网络, 更厉害的阿法零 (AlphaZero) 透过更精准的 节点参数, 不用先进行预先学习就能自我演化训练学习。深度学习模型需要通过 大量的数据训练才能获得理想的效果, 训练数据的稀缺使得深度学习人工智能在 过去没能成为 人工智能 应用领域 的主流算 法。但随 着技术的 成熟，加 上各种行 动、固定通讯设备、无人驾驶交通工具, 可穿戴科技, 各式行动、固定监控感测 系统能互相连 接与沟通 的亿物联 网，骤然 爆发的大 数据满足 了深度学 习算法对 于训练数据量的要求。

训练和推理所 需要的神 经网络运 算类型不 同。神经 网络分为 前向传播(Forward algorithm)其中包括输入层, 隠藏层, 输出层和后向传播(Backward algorithm)主要指的是梯度运算, 两者都包含大量并行运算。训练同时需要前向 和后向传播, 推理则主要是前向传播。一般而言训练过程相比于推理过程计算量 体更大。云端 人工智能 系统透过 海量的数 据集和调 整参数优 化来负责 训练和推 理，边缘运算 终端人工 智能设备 负责推理 。推理可 在云端进 行，也可 以在边缘 运算端或设备 端进行。 等待模型 训练完成 后，将训 练完成的 模型(主 要是各种通过训练得到 的参数) 用于各种 应用。应 用过程主 要包含大 量的乘累 加矩阵运 算，并行计算 量很大， 但和训练 过程比参 数相对固 定，不需 要大数据 支撑，除 在云端实现外 ，也可以 在边缘运 算端实现。 推理所需 参数可由 云端训练 完毕后， 定期下载更新到应用终端。

在深度学习半导体领域里，最重要的是数据和运算。谁的 晶体管数 量多， 芯片面积大, 谁就会运算快和占据优势。因此，在处理器的选择上，可以用于通 用基础计算且运算速率更快的GPU 迅速成为人工智能计算的主流芯片, 根据美 国应用材料的公开资料 (请参考图表), 英伟达的人工智能逻辑芯片配合英特尔的 中央处理器服务器芯片面积达 7,432mm2，是不具人工智能的企业用和大数据 服务器的八倍或谷歌专用张量处理器人工智能服务器的三倍多, 存储器耗用面积 (32,512mm2) 是其他服务器的三倍以上。可以说，在过去的几年，尤其是2015 年以来，人工智能大爆发就是由于英伟达公司的图形处理器, 得到云端主 流人工智能的应用。但未来因为各个处理器的特性不同, 我们认为英伟达的图形 处理器 GPU 和谷歌的张量处理器仍能主导通用性云端人工智能深度学习系统 的训练, 可编程芯片 FPGA 的低功耗及低延迟性应有利于主导云端人工智能深 度学习系统的推理，而特殊用途集成电路(ASIC) 未来将主导边缘运算及设备端 的训练及推理 ，但因为 成本，运 算速度， 及耗电优 势，也会 逐步侵入 某些特殊 应用人工智能云端服务器市场，抢下训练及推理运算的一席之地, 以下就先列出 各种处理器在云端人工智能系统的优缺点:

中央处理器 CPU: X86 和 ARM 在内的传统 CPU 处理器架构往往需要数百 甚至上千 条指令才 能完成 一个神 经元的 处理，但 对于并 不需要 太多的 程序 指令，却需 要海量 数据运 算的深度 学习的 计算需 求，这种 结构就 显得不 佳。 中央处理器 CPU 需要很强的处理不同类型数据的计算能力以及处理分支与 跳转的逻辑判断能力，这些都使得CPU 的内部结构异常复杂, 现在 CPU 可以达到 64bit 双精度，执行双精度浮点源计算加法和乘法只需要 1~3 个 时钟周期，时钟周期频率达到 1.532~3gigahertz。CPU 拥有专为顺序逻 辑处理而 优化的几 个核心 组成的 串行架 构，这决 定了其 更擅长 逻辑控 制、 串行运算与通用类型数据运算, 当前最顶级的 CPU 只有 6 核或者 8 核，但 是普通级别的 GPU 就包含了成百上千个处理单元，因此 CPU 对于影像， 视频计算中大量的重复处理过程有着天生的弱势。

图形处理器 GPU 仍主导云端人工智能深入学习及训练: 最初是用在计算机、 工作站、游戏机和一些移动设备上运行绘图运算工作的微处理器, 但其海量 数据并行 运算的能 力与深 度学习 需求不 谋而合， 因此， 被最先 引入深 度学 习。GPU 只需要进行高速运算而不需要逻辑判断。GPU 具备高效的浮点 算数运算 单元和简 化的逻 辑控制 单元， 把串行访 问拆分 成多个 简单的 并行 访问，并同时运算。例如，在CPU上只有 20-30%的晶体管(内存存储器 DRAM dynamic random access memory, 缓存静态随机存储器 Cache SRAM, 控制器 controller 占了其余的70-80%晶体管) 是用作计算的，但 反过来说, GPU 上有 70-80%的晶体管是由上千个高效小核心组成的大规模 并行计算架构 (DRAM 和微小的 Cache SRAM, controller 占了剩下的 20- 30% 晶体管)。大部分控制电路相对简单，且对 Cache 的需求小，只有小 部分晶体 管来完成 实际的 运算工 作，至 于其他的 晶体管 可以组 成各类 专用 电路、多条流水线，使得GPU拥有了更强大的处理浮点运算的能力。这决 定了其更 擅长处理 多重任 务，尤 其是没 有技术含 量的重 复性工 作。不 同于 超威及英特尔的 GPU 芯片，英伟达的人工智能芯片具有 CUDA 的配合软 件是其领先人工智能市场的主要因素。CUDA 编程工具包让开发者可以轻 松编程屏幕上的每一个像素。在 CUDA 发布之前， GPU 编程对程序员来 说是一件苦差事，因为这涉及到编写大量低层面的机器码。CUDA 在经过 了英伟达的多年开发和改善之后，成功将Java或 C 这样的高级语言开 放给了 GPU 编程，从而让GPU编程变得更加轻松简单，研究者也可以更 快更便宜地 开发他 们的深 度学习模 型。因 此我们认 为目前 英伟达 价值(6,000/7,500-9,300/10,500 美元)的图形处理器加速卡 Tesla V100 PCIe/SXM2 (640 Tensor 核心, 5,120 CUDA核心) 或配备 8/16 颗 V100 的 DGX-1/H-2 系统(180,000-360,000 美元)，配合其 CUDA 软件及 NVLink 快速通道，能达到近 125 兆次深入学习的浮点运算训练速度(TERA FLOPS), 以 16bit 的半精度浮点性能来看，可达到31 Tera FLOPS, 32bit 的单精度浮点性能可达到 15.7 Tera FLOPS, 及 64bit 的双精度可达到 7.8 Tera FLOPS，210亿个晶体管, 台积电 12 纳米制程工艺，815mm2芯片大小，仍然是目前云端人工智能深入学习及训练的最佳通用 型解决方案, 但未来会受到类似于华为海思 Ascend-Max 910 ASIC 芯片 及 Ascend Cluster 系统的挑战。

现场可编程门阵列芯片 FPGA 的优势在低功耗，低延迟性: CPU 内核并不 擅长浮点 运算以及 信号处 理等工 作，将 由集成在 同一块 芯片上 的其它 可编 程内核执行，而 GPU 与 FPGA 都以擅长浮点运算着称。FPGA 和 GPU 内 都有大量的计算单元，它们的计算能力都很强。在进行人工智能神经网络(CNN, RNN, DNN) 运算的时候，两者的速度会比 CPU 快上数十倍以上。 但是 GPU 由于架构固定，硬件原来支持的指令也就固定了，而 FPGA 则 是可编程 的，因为 它让软 件与应 用公司 能够提供 与其竞 争对手 不同的 解决 方案，并且能够灵活地针对自己所用的算法修改电路。虽然FPGA 比较灵 活, 但其设计资源比 GPU 受到较大的限制，例如 GPU 如果想多加几个核 心只要增加芯片面积就行，但 FPGA 一旦型号选定了逻辑资源上限就确定 了。而且，FPGA 的布线资源也受限制，因为有些线必须要绕很远，不像 GPU 这样走 ASIC flow 可以随意布线，这也会限制性能。FPGA 虽然在浮 点运算速度, 增加芯片面积，及布线的通用性比 GPU 来得差，却在延迟性 及功耗上对 GPU 有着显着优势。英特尔斥巨资收购 Altera 是要让 FPGA 技术为英 特尔的发 展做贡 献。表 现在技 术路线图 上，那 就是从 现在分 立的 CPU 芯片 分立的 FPGA 加速芯片(20nm Arria 10GX)，过渡到同一封装内 的 CPU 晶片 FPGA 晶片，到最终的集成 CPU FPGA 系统芯片。预计这 几种产品形式将会长期共存，因为 CPU 和 FPGA 的分立虽然性能稍差， 但灵活性更高。目前来看, 用于云端的人工智能解决方案是用 Xeon CPU 来配合 Nervana, 用于云端中间层和边缘运算端设备的低功耗推断解决方案 是用Xeon CPU来配合FPGA可编程加速卡。赛灵思(Xilinx)于2018年 底推出以低成 本，低延 迟，高耗 能效率的 深度神经 网络(D NN)演算 法为 基础的 Alveo 加速卡,采用台积电 16nm 制程工艺的 UltraScale FPGA，预 期将拿下不少人工智能数据中心云端推理芯片市场不少的份额。

谷歌张量处理器 TPU 3 强势突围，博通/台积电受惠，可惜不外卖 : 因为 它能加速其人工智能系统 TensorFlow 的运行，而且效率也大大超过 GPU―Google 的深层神经网络就是由 TensorFlow 引擎驱动的。谷歌第三 代张量处理器 (TPU, Tensor Processing Unit, 大约超过 100 Tera FLOPS/hp-16bit) 是专为机器学习由谷歌提供系统设计，博通提供 ASIC 芯 片设计及智财权专利区块，台积电提供 16/12 纳米制程工艺量身定做的， 执行每个操作所需的晶体管数量更少，自然效率更高。TPU 每瓦能为机器 学习提供比所有商用 GPU 和 FPGA 更高的量级指令。TPU 是为机器学习 应用特别 开发，以 使芯片 在计算 精度降 低的情况 下更耐 用，这 意味每 一个 操作只需 要更少的 晶体管 ，用更 多精密 且大功率 的机器 学习模 型，并 快速 应用这些 模型，因 此用户 便能得 到更正 确的结果 。以谷 歌子公 司深度 思考 的阿尔法狗及零 (AlphaGo, AlphaZero/DeepMind) 利用人工智能深度学习 训练和推理来打败世界各国排名第一的围棋高手, 世界排名第一的西洋棋 AI 程式 Stockfish 8, 世界排名第一的日本棋 Shogi AI 专家，但我们估计 AlphaZero 系统使用至少近 5 大排人工智能主机，5,000 个张量处理器, 1,280 个中央处理单元而让云端的设备异常昂贵,且无提供任何的边缘运算 端设备。

ASIC 特定用途 IC 需求即将爆发:即使研发期长, 初期开发成本高, 通用性 差，但国内芯片业者因缺乏先进 x86 CPU, GPU, 及 FPGA 的基础设计智 慧财产权(IPs)，可完全客制化，耗电量低，性能强的特定用途 IC(ASIC Application-specific integrated circuit)设计就立刻成为国内进入人工智能 云端及边 缘运算及 设备端 芯片半 导体市 场的唯一 途径。 但因为 起步较 晚， 除了比特大陆的算丰 (SOPHON) BM1680 及 BM1682 云端安防及大数据 人工智能 推理系列 产品已 经上市 之外， 其他公司 在云端 人工智 能训练 及推 理芯片设计都还停留在纸上谈兵阶段。 举例而言，华为海思使用台积电 7 纳米制程工艺设计的昇腾 Ascend 910 ASIC 系列，号称在 16bit 半精度下 能达到 256 兆次的浮点运算，倍数于英伟达目前最先进的 Volta 100 解决 方案(台积电 12 纳米) 也要等到 2H19 量产及谷歌最新推出的张量处理器 3 (台积电 16/12 纳米)，。而从智能手机端 IP 事业切入设计云端芯片的寒武 纪，将于 2019 首发的产品 MLU100 PCIe 智能推理加速卡 (台积电 16 纳 米)在打开稀疏模式时的峰值也可达到64 兆次浮点运算(16bit 半精度)。 最后可惜的是国内搜寻引擎龙头百度的昆仑芯片(818-300 采用 Samsung 14 纳米)，阿里巴巴的 Ali-NPU, 及亚马逊的 Inferentia 目前都还没有提供 更确实的 芯片速度 ，耗电 量，应 用，价 格，量产 时点， 及软件 框架规 格让 我们做出更好的比较图表。

从算法，IP，边缘运算及设备端芯片转换到模块，平台或生态系的战争

谷歌在 Google Cloud NEXT 2018 活动中, 首次推出人工智能推断用边缘 运算张量处理器(Edge Tensor Processing Unit, Edge TPU,

在谷歌的 Waymo 建立了全球最大的无人驾驶车队后，谷歌再次利用其在 深度学习及云 端软，硬 件的技术 领先优势 ，提供机 器学习边 缘运算端 软件，固 件，安卓物联网作业系统及专用半导体芯片整体解决方案模块，让客户对其智 能物联网解决 方案的黏 着度提升 ，这不但对 中国大陆 人工智能 芯片公司 是利空， 也对目前主要提供云及边缘运算物联网服务的竞争厂商亚马逊(AWS)，微软(Azure)，阿里巴巴造成市场压力。

但是，目前 谷歌终端 型张量处 理器目前 只能算是 个机器学 习的加速 器，不 能独立运作， 其解决方 案中还要 配合其他 半导体公 司的芯片 ，像是恩 智浦以安 谋为核心的中央处理器，图芯(Vivante Corporation)的 GC7000 Lite 图形处 理器 (请参考图表)，我们认为谷歌的解决方案效能比较与量产时间未定。而且， 谷歌过去还是 主推软件 解决方案 ，自有硬 件及半导 体的产品 上市都是 拿来推广 其软件及生态 系解决方 案，其边 缘运算型 张量处理 器硬件规 格中，还 是使用相 对旧的 28 纳米晶圆代工制程工艺，Tera OPS 浮点远算能力，耗电瓦特数，价格等指标都还 是未知， 来与其他 人工智能 芯片设计 公司的产 品来做比 较。举例 而言，英伟达今年推出的 Jetson AGX Xavier 模块也是瞄准物联网应用端的解 决方案，但在其高单价下规格明显胜出。华为即将推出的边缘运算模块Atlas 200 和 Atlas 300 也相当有竞争力。

从英伟达， 谷歌，英 特尔，及 华为在深 入学习边 缘运算端 解决方案 模块及 软件与固件的竞争,而高通及 联发科陆续将人工 智能专利区块透过 嵌入式整合到 其手机应用处 理器中， 可以看出 未来在人 工智能端 的应用领 域已经不 再单单是 人工智能算法，IP(智财权)到芯片设计推陈出新的竞争，中国大陆的人工智能 算法/IP/芯片龙头公司像寒武纪，地 平线为了存活，就必须与应用领域系统公司 紧密合作，共 同推出更 佳的嵌入 式或独立 式解决方 案模块及 软，固件 ，否则就 要像谷歌和英 伟达一样 推出自己 整套的解 决方案。 虽然比特 大陆及嘉 楠耘智进 入人工智能芯 片领域较 晚，但其 在挖矿机 业务及挖 矿生态系 的系统整 合经验， 反而比只具备算法/IP/芯片的人工智能设计公司还有机会。

未来因人工智能边缘运算推理端和云端推理(Inferencing)芯片及设备成 本, 性能，耗电, 效率的考量, 以及各种处理器的特性不同, 我们预期特定用途集 成电路(ASIC)或系统集成电路 (SoC, system on chip) 未来将在设备，边缘运算， 及云端推理市场和设备，边缘运算，小部分云端训练市场遍地开花, 百花齐放, 根据产业链调查，我们认为中国在处理器/芯片领域的投资有加速的迹象，AI 芯 片的创业企业目前已达到 40 家左右。

而中国的人工智能半导体公司像华为海思 (HiSilicon), 寒武紀(Cambricon), 地 平 线 (Horizon Robotics), 彼 特 大 陆 (Bitmain), 耐 能 (Kneron), 肇 观 (NextVPU)，及大数据系统公司如百度，阿里巴巴及安防龙头海康威视，大华 将追随国际大厂陆续推出人工智能特定用途集成电路和系统芯片, 从过去的模仿 和追赶模式改为提前布局的思路, 加上今年中国科创板融资平台的加持, 相信一 定可以孵育出未来世界级的人工智能芯片设计龙头公司。但就未来2-3 年来看， 因为有强大的财物资源来支持 10 纳米以下先进制程工艺的电子设计自动化软 件(EDA tool)，验证(Verification)，光掩膜(Photo Mask)成本的蹿高(请参 考图表)，最有实力的半导体设计团队，及其对人工智能深入学习系统的知识及 各种设备人工 智能化的 需求，我 们预测华 为海思将 能引领国 内人工智 能芯片产 业突围;而比特大陆因为深谙 IP，芯片，模块，到平台或生态系的争战， 我们 不排除比特大 陆反而领 先其他一 些一线设 计公司率 先推出些 云端人工 智能的推 理/训练芯片 及解决方 案模块; 当然，我 们还是认 为纯算法 及半导体 设计公司 寒武纪，目前 有较佳的 设计团队 及较充裕 的估值融 资能力来 陆续推出 边缘运算 端及云端推理的人工智能芯片;最后因为 SAE Level 4/5 自动驾驶平台成本过 高及生态系组 成庞大及 复杂，目 前我们对 地平线在 自动驾驶 的解决方 案方面的 短期营运及获利模式存疑。

华为海思后发先至:在供应全球智能手机第二大厂，中国智能手机第一大 厂华为超过近 六成的应 用处理器 及基频芯 片，及率 先数月于 高通及联 发科 采用台积电的 7 纳米制程工艺推出的麒麟 980 芯片，让华为的 Mate 20 手 机大卖，并让华为整体智能手机在国内的市占从2017 年的 20%，提高到 2018 年的 27%，及 2018 年四季度的 29%， 预期这也将同时拉升华为海 思 (HiSilicon) 在全球无晶圆设计公司的市占到 6-7%或是在 2019 年成为前 五大。而 7 纳米的麒麟 980 芯片是整合了寒武纪 (Cambricon) 设计的 Cambricon-1M 神经处理单元 (NPU, Neural Processing Unit) 专利区块来 让摄像头看得更全, 更清, 更快, 更久, 让麦克风听得更清, 更广, 识别场景, 推测用户行为意图, 和适时处理高性能或高效率任务, 根据华为公布的资料, 在人工智能性能比上，其 NPU 是 一般 CPU 的 25 倍，GPU 的 6.25 倍(25/4)，能效比上，NPU 更是达到了 CPU 的 50 倍，GPU 的 6.25 倍(50/8)(请参考图表)。但因为目前其边缘运算端神经处理单元架构简单, 我们估计此专利区块芯片应不超过整体芯片面积(基频和应用处理器整合在 一起的系统芯片面积) 的 10%。但因为我们预期采用台积电 7 纳米 EUV 制 程工艺的华为海思麒麟 990 芯片，将使用海思自行设计的人工智能专利区 块 Ascend Lite SKU(请参考图表)，而苹果(Neural Engine, 5 Tera OPS) 高通 (Neural Processing Engine SDK Software Development Kit，

华为海思因为有这样强大的财物资源来支持 7 纳米以下先进制程工艺 的电子设计自动化软件(EDA tool)，验证(Verification)，光掩膜(Photo Mask)成本的蹿高，拥有国内最强 的半导体设计团队，及其庞大的 系统知 识及各种设备 对人工智 能化的需 求，我们 预测华为 海思将后 发先至引 领国 内人工智能芯片产业突围。华为海思今年将陆续问世的7 纳米昇腾 Ascend-Max 910 ASIC (整合 8 颗芯片 dies)，及 1,024 颗昇腾 910 芯片 的 Ascend Cluster (256 Peta FLOPS)，使用 12 纳米昇腾 Ascend-mini (310),-Lite,-Tiny,-Nano ASIC推出的Atlas200加速模块,Atlas300加速 卡, Atlas 500 智慧小站，Atlas 800 私有云解决方案一体机，MDC 600 移 动数据中心 (Mobile Data Center)。我们预期这些 AI 芯片及系统，陆续将 对英伟达，赛 灵思，英 特尔，谷 歌在云端 及边缘运 算端人工 智能芯片 及平 台的地位，带来挑战，但特定用途 IC 的专用性缺点会让华为海思切入像是 外部安防等系 统公司客 户时，碰 到些安防 公司系统 知识领域 不愿意外 泄的 问题。

寒武纪从设备端步入云端:寒武纪 (Cambricon) 是于 2016 年在北京成立， 核心成员 陈天石及 陈云霁 兄弟都 曾在中 科院计算 所工作 ，专攻 计算机 处理 器结构优 化和人工 智能， 而后来 寒武紀 在拿到中 关村科 技园区 支持资 金及 上海市政府对神经网络处理器，深度学习处理器 IP 核项目，智能处理器核 项目等多项补助近 6,000 万人民币，加上多次拉高估值的融资，于 2018 年 5 月 3 日, 发布了使用 TSMC 7nm 工艺 IP 的 1M，每瓦速度达 3.1-3.3 兆次运算，为 10 纳米 1A 智财权专利区块的 10 倍左右，且超越英伟达 V100 的每瓦速度达 0.4 兆次运算，其 8 位运算效能比达 5Tops/watt(每瓦5 兆次运算)。寒武纪提供了三种尺寸的处理器内核(2Tops/4Tops/8Tops) 以满足不 同领域下 ，不同 量级智 能处理 的需求( 智能手 机、智 能音箱 、摄 像头、自动驾驶)。Cambricon 也介绍以 TSMC 16nm 工艺制程设计的 MLU 100 及 MLU 200 云端服务器 AI 芯片，具有很高的通用性，可满足计 算机视觉 、语音、 自然语 言处理 和数据 挖掘等多 种云端 推理， 甚至训 练的 任务。在发布会上，联想 (ThinkSystem SR650)，中科曙光 (Phaneron 服 务器)，科大讯飞 (翻译机 2.0) 都介绍了使用 Cambricon MLU100 芯片相对 应的云端服务器。此外，专为开发者打造的Cambricon NeuWare 人工智 能软件平台，加上支持 TensorFlow, Caffe, MXNet 等主流机器学习框架 (Framework)，让寒武纪在尚未扭亏为盈的情况下(估计 2017 年亏损超过 1,000 万人民币以上)，2018 年营收连 1,000 万美金都达不到的状况下(2016/2017 年营收估计约 400 万人民币上下)，市值已被拉高到超过25 亿美元。

卖人工智能解决方案模块的地平线:地平线(Horizon Robotics)创办人 是前百度 深度学习 研究院 负责人 余凯、 还有前华 为芯片 研发架 构师周 峰， 地平线不 是只做芯 片，在 软件方 面，地 平线已经 研发出 了自动 驾驶的 雨果 神经网络 OS 平台 及智能家居的安徒生平台。地平线的目标是做分支处理 单元(BPU, Branch processing unit)的人工智能算法架构 嵌入式芯片的 (Embedded ARM, CPU, GPU, FPGA) 自动驾驶 (征程 2.0 处理器), 智能城 市, 智能商业 (旭日 1.0 处理器) 的人工智能设备终端解决方案模块(具有感 知，识别 ，理解， 控制的 功能) 给产品 厂商。地 平线的 整个流 程是根 据应 用场景需求 ，设计 算法模 型，在大 数据情 况下做 充分验证 ，模型 成熟以 后， 再开发一 个芯片架 构去实 现，该 芯片并 不是通用 的处理 器，而 是针对 应用 场景跟算法是结合在一起的人工智能算法处理器，得到芯片大小, 执行, 耗 能(Area、Performance、Power)的综合解决方案。地平线 BPU 架构的 解决方案只可以用在符合车规的 FPGA 或 GPU 等计算平台上，下一步地 平线会将自己的 BPU 处理器 IP 授权给国际厂商，让他们生产车规级处理 器。智能驾驶方面，基于高斯架构研发的ADAS 产品(征程 1.0 处理器) 也会作为重点推进, SAE L3/L4 的无人驾驶 Matrix 1.0 平台，也会持续落实 与系统厂商像是博世的技术合作，计划在年中实现特定道路的自动驾驶; 智 能生活方 面，除与 美的的 合作之 外，地 平线继续 在家电 、玩具 、服务 机器 人等领域 发力;公 共安防 方面， 地平线 去年与英 特尔在 北美安 防展上 进行 联合展示。类似于寒武纪，地平线于2018 年 11 月 27 日获得近 10 亿美金 的 B 轮融资，持续拉高其市值。

从挖矿机转云端人工智能推理模块的比特大陆:由 CEO 詹克团及创 办人 吴忌寒于 2013 年联合成立的挖矿机及芯片霸主比特大陆 (BITMAIN) 于 2017 年 11 月, 正式介绍其 AI ASIC 芯片品牌 SOPHON (算丰)，宣布全 球首款云端安防及大数据人工智能推理系列的张量加速计算芯片 28nm BM1680 的震撼面世，并展示了视频图像分析、人脸人体检测的演示。并 同步发布了 SOPHON.AI 官网，并将系列产品在官网中面向全球发售。 BITMAIN 致力于通过强大的芯片工程、快速迭代和系统设计制造能力，提 供最具性价比、最具性能功耗比的 AI 计算力，同时致力于为行业定制、优 化全栈的硬件和系统方案，从而极大降低行业 AI 的难度，促进 AI 普及。 BM 1682 在 2017 年 12 月已进入流片阶段，并于 2Q18 量产。12nm 的 BM 1684 是预计于 1Q19 量产及第四代的 12 纳米芯片 BM1686 是预计于 2H19 量产。这两款芯片会拥有 6/9 Tera Flops 的能力和 30W 的功耗。 BM1880 是比特大陆于 2018 年 10 月发布的一款设备端 AI 芯片，将主要应 用于安防、互联网及园区等领域 BM1880 芯片可以作为深度学习推理加速 的协处理器，也可以作为主处理器从以太网接口或USB 接口接收视频流、 图片或其 它数据， 执行推 理和其 他计算 机视觉任 务，其 它主机 也可以 发送 视频流或图片数据给 BM1880，BM1880 做推理并将结果返回主机。比特 大陆将于2019 年推出第二代产品 BM1882，以及 2020 年的 BM1884，按 照规划，BM1882 和 BM1884 的主要应用场景将是智能摄像机、智能机器 人和智能家居等。虽然目前比特币跌破 4,000 美元以下，占比特大陆 98% 的矿机销售，自营挖矿业务要是采用两年折旧几乎是无利可图(除了于 4Q18 推出的 7 纳米 BM1391 挖矿芯片及 S15 挖矿机应可获利外)，而 AI 芯片导入云端系统又遥不可期，但不同于其他新兴 AI 芯片设计公司大多缺 乏现金，比特大陆在手现金(7-8 亿美元现金，4-5 亿美元的加密货币)应 该还是有超过 10 亿美元，芯片研发设计资源仍然丰厚，每一代芯片代与代 之间的间隔是快于摩尔定律而达到9-12 个月。摩尔定律是指芯片行业每 18 到 24 个月的周期里，计算能力能翻一倍，或者在相同的单位芯片面积 里，晶体管数量翻一倍。

耐能专注于低功耗设备端的人工智能芯片:耐能 (kneron)是由一群留美华 人于 2015 年成立于圣地牙哥，CEO 刘峻诚博士是毕业于 UCLA，并于 2018 年 7 月延揽前高通多媒体研发部总监李湘村(前展讯，华为，VIVO VP)为其首席科学家，其余团队成员多有 UCLA, 清华大学，高通，三星 电机，电子，计算机背景，并于 2017 年 11 月, 耐能宣布完成超过千万美 元的 A 轮融资，阿里创业者基金(Alibaba Entrepreneurs Fund)领投，奇 景光电(HIMX, Himax Technologies，Inc.)、中华开发资本(CDIB)、高 通、中科创达(Thundersoft)、红杉资本(Sequoia Capital)的子基金 Cloudatlas, 与创业邦跟进投资, 2018 年 5 月由李嘉诚旗下维港投资(HorizonsVentures)领投的 A1 轮融资，还有最近一轮从 Iconiq capital (Mark Zuckerberg’s private fund)拿到的融资。耐能的定位是子系统设 备端人工智能的技术提供厂商，现在主打低功耗、轻量级, 可压缩/重组(reconfigurable,靠软件重组 CNN， Pooling 运算区块的组合)的 NPU (神经网络处理单元)芯片，专注在智能手机的子系统(NPU IP- KDP300)、物联网(IoT)、智能家居、智能安防(NPU IP-KDP500)设备端 市场, 机器人，无人机，安防(NPU IP-KDP 700) 能耗比可以做到 100mw 到 300mw，最新的一款产品甚至可以到 10mw 以下，但在算力方 面可以达到华为海思 Ascend Lite 系列的芯片等级，而纳能另外与 Cadence 的 Tensilica Vision P6 DSP 处理器整合的 KDP 720 NPU 处理器， 主要是锁 定智能安 防与监 控。有 别于目 前市场上 主流的 云端人 工智能 ，耐 能提供创 新的设备 端人工 智能解 决方案 ，可将一 部份的 人工智 能从云 端移 转到设备 端上，进 行实时 识别与 分析推 断，不用 等到把 所有数 据经由 网络 传送至云 端后才能 处理， 并可大 幅减轻 网络、云 端的负 担与成 本。耐 能目 前手机加 OEM/ODM 客户可达 6-8 家，主要客户有手机相关的高通，格力， 奇景光电 ，互联网 的客户 包括搜 狗，腾 讯，钰创 ，钰立 微，工 业计算 机客 户有研扬， 安防客户有大华，苏州科达等。格力已经使用其智财权区块量 产，目前一些芯片已经量产。 因扩大研发团队及产品线，耐能从2017 年 的获利扭赢转到 2018 年亏损达 400-500 万美元，但 2019 年将有二颗芯片 流片 (Tape out)。

亿智是有实力又低调的 AI 芯片公司:的由前全志团队组成的亿智电子科技 于 2016 年 7 月在珠海高新区注册成立。同年 10 月在北京设立人工智能(AI)算法研究团队。亿智核心团队是中国最早一批进行 SOC 系统设计的 专家，有 20 多年的行业经验，目前亿智在珠海的研发团队已近 100 余人。 亿智电子科技已于 2018 年 2 月完成了数千万元天使轮融资，并于 2018 年 8 月由北极光创投领投，达泰资本跟投。亿智的商业模式主要为代理商和 大客户提 供整套的 解决方 案。目 前，亿 智解决方 案主要 聚焦在 视像安 防、 智能硬件(家电)、汽车电子等方面。2017 年底第一颗 Test Chip 首次流片 即成功，2018 年第四季度流片 AI 功能量产版系统级芯片，于 2019 年实现 量产出货 。亿智在 珠海、 北京、 深圳均 设有办公 地点， 其中珠 海为总 部， 负责芯片设计、算法研究、软件开发等方向。北京负责人工智能AI 算法的 研究。深圳 负责方 案开发 、技术支 持、市 场与客 户拓展等 。亿智 成立至 今， 一直坚持 AI 加速、高清显示、音视频编解码、高速数模混合等 IP 的自主 研发，这样可以实现更低带宽、更低功耗、更低成本地落地应用产品。特 别是 AI 的 IP 的 PPA 指标均优于业界对手。目前已经成长为具备完全自主 AI SOC 产品量产落地能力的人工智能芯片设计公司。亿智凭借在音视频编 解码以及 AI 视觉算法方面积累了超过 10 年的领先经验，通过对人工智能 需求市场 的垂直化 、场景 化应用 研究， 在汽车电 子应用 方面， 亿智的 产品 线具有车牌识别、路牌识别、文字识别的能力，ADAS 智能算法可实现 4 路全景拼接、全景泊车，行车记录仪/智能后视镜/智能中控车机等汽车 电子 产品应用 。目前的 夜视后 视镜产 品，长 焦夜视摄 像头、 短焦行 车摄像 头， 显示车辆油耗、车速、水温等，信息全部手机互联。4G 后视镜提供在线导 航、在线音乐、云狗、行车记录，ADAS 安全驾驶辅助系统。亿智的占道 抓拍产品 ，可进行 车牌检 测，车 牌识别 ，抓拍路 段时间 规划、 黑白名 单管 理、车辆 轨迹显示 、后台 管理系 统多车 道实时识 别，具 备软件 能力， 团队 表示目前的识别成功率达到 95%。志在成为视像安防、汽车电子、智能硬 件领域智能化(AI)赋能的全球领导者。