边缘计算 | 液冷服务器 | GPT-4

深度学习 | AI服务器 | ChatGPT

一、ChatGPT现阶段所面临的很多问题在工程上都有相对简单的解决方案。例如：

1、解决“hallucination”问题（ChatGPT偏向于产生不准确的输出）可以通过优化准确度和引入搜索数据来做矫正，而且人类可以参与判断过程以增加准确度。此外，在应用ChatGPT时，可以先在人类确定好坏的场景下进行辅助性判断。

2、对于ChatGPT的记忆力有限问题，可以使用OpenAI提供的开放接口来解决。特别的，现有的解决方法非常神奇，只需要在提示ChatGPT回答之前，向它说明所提供的内容仅是全部信息的一部分，并要求其在听完后再回答。

3、ChatGPT的自我审查能力不仅仅基于规则，更基于理解，这种基于理解的自我审查能力实际上更加可调节。OpenAI也提出了让ChatGPT在尊重基本规则的前提下，发言尺度可以根据需求进行调节的愿景。

二、模型参数的增加需要强大的工程能力，同时也需要让大模型能够有效地学习到大数据中的知识，如何调教模型产出人类需要的输出这些问题在OpenAI的博客中都被强调了。需要具备“原理性”思考习惯的工程师参与突破这些工程瓶颈。据悉，OpenAI超高的人才密度成功突破了许多工程瓶颈。因此，需要在上一步工程突破的基础上进行下一步工程积累。

ChatGPT的DAU增长现象级，用户反馈也表现出其异常实用。虽然ChatGPT具有极高的娱乐价值想象，但其显著提升生产力的能力则更为突出。对话和阅读实际上是一种较高门槛的娱乐方式，多数情况下，丰富性和深度并非是娱乐价值的主要决定因素。因此，我们建议在使用ChatGPT时多着眼于提升生产力上。

此外，需要记住，ChatGPT是一种颠覆式的产品，而不是渐进式的改进。对于科技的早期采用者而言，可能已经无法离开ChatGPT，但对于大众而言，打开搜索引擎进行搜索甚至已不是普遍习惯，使用清晰合理的提示与ChatGPT进行对话的程度更是偏低。因此，在未来几年内，ChatGPT取代的更多是各种SaaS、云、效率工具，如搜索引擎等。

在实际场景应用中，我们应该遵循两个原则：对症下药和择善而从。ChatGPT不等同于搜索引擎和程序，我们应该让它发挥其所长，而不是去试图替代其他更为高效的工具或服务。此外，考虑到当前ChatGPT存在明显的幻觉问题，我们应该保持警惕，不在所有场合盲目相信ChatGPT的结论，而是在需要人工判断的情况下使用ChatGPT，并由人来审视其结论的真实性。

由于脑科学和神经科学发展尚不够成熟，我们只能从哲学的角度探究人类和ChatGPT这两者在本质上的不同与相同。

一、从判断力的角度来看，ChatGPT只能从虚拟数字中吸取数字信号，无法与现实世界进行真实交互。只有躬行实践，才能建立判断力的根基。

二、如果只基于数字信号进行推测，ChatGPT很可能会得出错误的结论。例如牛顿发现万有引力的过程，是基于看到苹果落地从而预测星星运动的。而当时很多人都认为太阳是绕着地球转的，如果有一个ChatGPT，很可能会得出错误的结论。因此，在日常生活中，识别思维能力，例如“灵感并发、灵光一现”的瞬间，也是很有意义的。

三、如果只是归纳现有知识，ChatGPT很可能比人类做得更好。但是创造互联网上不存在的新知识，才是ChatGPT做不到的。

四、从理解人的角度来看，人类能够理解人性，而不需要通过调研、问卷和网络资料。同时，通过现实世界的实践，人类能够带来关于人性的增量理解。这是ChatGPT所无法达到的。这暗示着，在真正理解人类时，要去真实世界进行实践，而不是去人云亦云地重复套路。

AI模型对算力的需求主要体现在训练和推理两个层面。当前主流的人工智能算法通常可分为“训练”和“推理”两个阶段。赛迪数据显示，2022年中国数字经济爆发强大的增长动能，比上年增长20.7%，较2021年提高2.9个百分点，远超世界平均水平，数字经济规模达到45.5万亿元，规模超排名第三的德国一倍有余，数字经济发展水平稳居全球第二位，数字经济规模超过彰显出数字经济大国姿态。近年来中国也在积极推动数字产业创新能力加快提升，推进产业数字化转型提档加速，与美国在数字经济竞争力上的差距也逐渐缩小。

ChatGPT的算力需求场景可以根据实际应用进一步拆分为预训练、Finetune和日常运营三个阶段。预训练阶段通过大量无标注的文本数据来训练模型的基础语言能力，得到基础大模型，例如GPT-1、GPT-2和GPT-3。Finetune阶段在基础大模型的基础上，进行监督学习、强化学习和迁移学习等二次或多次训练，以优化调整模型参数量。日常运营阶段基于用户输入信息，加载模型参数进行推理计算，并实现最终结果的反馈输出。

预训练阶段：单次算力需求取决于模型参数量，最高可达3640 PFlop/s-day

ChatGPT是一个语言模型，其架构基于Transformer。Transformer架构由编码和解码模块组成，其中GPT只使用解码模块。 此外，Transformer还包含三个层级：前馈神经网络，自注意力机制层和自注意力掩码层，这些层级都相互作用，以实现模型的高效性。

自注意力机制是Transformer中最重要的部分之一，其主要作用是计算某个单词对于所有单词的权重（即Attention）。通过这种方式，模型能够更好地理解文本内在关系，以及对输入之间的关系实现高效学习。自注意力机制层还允许模型进行更大规模的并行计算，这使得计算效率得到了大大的提升。

前馈神经网络层提供高效的数据信息存储和检索。在这个层面上，模型能够有效地处理大规模的数据集并实现高效计算。

掩码层是为了在自注意力机制中过滤右侧未出现的单词。 这种遮蔽允许模型只能注意到文本中已经展示的内容，从而保证了计算的准确性。

与之前的深度学习框架相比，Transformer架构具有明显的优势。Transformer架构的并行计算能力更强，能够大大提高计算效率。这使得GPT可以训练更大更复杂的语言模型，并且可以更好地解决语言处理问题。

Transformer解码模块拆解

根据先前的数据，预计日常运营每月需要约7034.7 PFlop/s-day的算力。用户交互也需要算力支持，每次互动成本约0.01美元。根据ChatGPT官网近一个月（2023年1月17日至2月17日）总访问量达8.89亿次，因此2023年1月OpenAI为ChatGPT支付的运营算力成本约为890万美元。另外，Lambda表示，训练一次1746亿参数的GPT-3模型所需的算力成本超过460万美元；而OpenAI表示，训练一次1746亿参数的GPT-3模型所需的算力约为3640 PFlop/s-day。我们假设单位算力成本不变，因此ChatGPT单月运营所需的算力约为7034.7PFlop/s-day。

Finetune阶段：预计ChatGPT单月Finetune的算力需求至少为1350.4PFlop/s-day

ChatGPT是一种需要不断进行Finetune模型调优的模型，以确保它处于最佳应用状态。这个调优的过程需要开发者对模型参数进行调整，以确保输出内容不是有害和失真的，并基于用户反馈和PPO策略对模型进行大规模或小规模的迭代训练。这一过程中需要的算力将为OpenAI带来成本，具体的算力需求和成本金额取决于模型的迭代速度。

预计ChatGPT单月Finetune算力需求至少为1350.4PFlop/s-day。根据IDC的预测，在2022年中国人工智能服务器负载中，推理和训练的比例分别为58.5%和41.5%。如果假设ChatGPT对推理和训练的算力需求分布与之保持一致，且已知单月运营需要算力7034.7 PFlop/s-day、一次预训练需要算力3640 PFlop/s-day，那么我们可以进一步假设每月最多进行一次预训练。由此我们计算得ChatGPT单月Finetune算力成本至少为1350.4PFlop/s-day。

从 GPT-1 的 1.17 亿到 GPT-2 的 15 亿，超 10 倍的参数差距带来了性能上的飞跃。这似乎意味着，随着容量和参数量的增多，模型性能还有更大的潜力——因此，2020 年 GPT-3 的参数量翻了 100 倍：1750 亿，其预训练数据量也高达 45TB（GPT-2 是 40GB，GPT-1 约 5 GB）。事实证明，海量参数确实让 GPT-3 具备了更强大的性能，它在下游任务表现的非常好。即便是复杂的 NLP 任务，GPT-3 也表现惊艳：可以模仿人类写作，编写 SQL 查询语句、React 或 JavaScript 代码等。回顾 GPT-1 、GPT-2 和 GPT-3 这一路的发展，许多人对 GPT-4 寄予厚望，甚至还有传言称 GPT-4 的参数量将高达 100 万亿。

鉴于人类反馈机制下，模型需要不断获得人类指导以实现参数调优，所以模型调整可能会多次进行。这需要的算力成本将会更高。

一、中国服务器发展现状

各国加快提升数字经济发展水平，传统行业的数字化进程加速，企业的数字化智慧化需求旺盛，尤其是5G、大数据、人工智能等新兴技术领域快速发展，持续赋能服务器行业。

1、高算力需求带动服务器行业迎来发展新机遇

算力作为一种核心生产力，应用在互联网、政务、金融等各领域场景随着元宇宙、Web3.0等新概念的出现，更复杂的计算场景产生高算力需求。推动服务器产品向更高计算性能方向升级。

2、大型数据中心建设加快服务器市场规模增长

大规模数据中心建设是全球服务器市场增长的主要动力、北美、亚大西欧等全球大部分地区的数据中心服务器采购持续增长。

二、ChatGPT需要的服务器：AI训练型服务器+AI推理型服务器

边缘计算需要大量机器处理高负载请求，而传统的CS模式已经无法满足这一需求。当前的互联网架构正在向以CDN服务为核心的CES模式转变，但CES模式在边缘上处理非结构化数据存储和处理的需求方面存在局限性。因此，引入Edge端以解决无法处理业务的问题。在AI训练场景下，由于计算量和数据类型的变化，C-E-S也无法满足需求，因此计算架构在回归到C-S，并朝向高效率并行计算的方向演变。

计算架构演变过程

作为硬件核心，服务器面对不同的计算场景，而计算架构变化是服务器技术演进的关键。随着云计算、边缘计算和AI训练等计算架构的出现，服务器需求也在不断变化。单一服务器更加关注个体性能，而云数据中心服务器更关注整体性能。边缘计算对数据交互实时性的要求更高，并需要更多的服务器设施。AI服务器主要用于人工智能训练，使用向量/张量数据类型，并通过大规模并行计算来提高效率。

同一技术路线下，服务器面向数据处理需求持续迭代。复盘主流服务器发展历程来看，随着数据量激增、数据场景复杂化，不同类型服务器发展驱动力也有所差异。具体来看：

传统的通用服务器发展较为缓慢，主要是通过处理器时钟频率、指令集并行度、核数等硬件指标的提升来优化其性能。相比之下，云计算服务器快速发展成熟，这一过程始于20世纪80年代，随后在VMware Workstation、亚马逊AWS等产品的推出，以及OpenStack开源项目的出现下加速了。目前，云计算在全球范围内已经比较普及，许多公司都使用流行的云服务提供商（如AWS、Azure、Google Cloud等）来存储和处理数据。边缘计算服务器概念于2015年孵化，近年来已出现诸如AWS Greengrass、谷歌GMEC等边缘计算平台。随着越来越多的设备（如可穿戴设备和智能家居设备）连接到互联网，边缘计算技术的需求也日益增长。最后，AI服务器是为人工智能和机器学习工作量身定制的，其硬件架构更加适合对训练算力的需求。随着人工智能的应用变得越来越广泛，AI服务器的需求也在增加。

三、云计算服务器：大规模数据处理需求下的商业模式变革

云计算服务器的出现是为了满足数据量激增所带来的高性能计算需求。传统通用服务器通过提高硬件指标提升性能，但随着CPU工艺和单个CPU核心数量接近极限，无法满足数据量激增的性能需求。相比之下，云计算服务器采用虚拟化技术，将计算和存储资源进行池化，把原本物理隔离的单台计算资源进行虚拟化和集中化处理，并以集群化处理来达到单台服务器所难以实现的高性能计算。此外，云计算服务器的计算能力可以通过增加虚拟化服务器的数量来进行扩展，突破单个服务器硬件限制，应对数据量激增所带来的性能需求。

云计算服务器实际上节约了部分硬件成本，并降低了算力采购门槛。在过去，大规模数据处理成本极高，主要因为通用服务器的购置和运维成本居高不下。而传统服务器通常包含处理器摸块、存储模块、网络模块、电源、风扇等全套设备。云计算服务器体系结构精简，省去重复的模块，提高了利用率。此外，云计算服务器针对节能需求，将存储模块进行虚拟化，并去除了主板上的非必要硬件，降低了整体计算成本。另外，流量计费模式也有助于许多厂商负担算力开支，降低了算力采购门槛。

四、边缘服务器：高数据密度和带宽限制下保证低时延

边缘计算是一种在云计算基础之上引入边缘层的计算模式。它位于靠近物或数据源头的网络边缘，通过提供计算、存储和网络等资源来协助应用程序。边缘计算基于一个新的体系架构，引入了边缘层，使得云服务可以扩展到网络边缘。在这个体系架构中，终端层由物联网设备组成，这些设备位于最靠近用户的地方，负责收集原始数据并上传至上层进行计算；边缘层则由路由器、网关、边缘服务器等设备组成，这些设备由于距离用户较近，可以运行延迟敏感型应用程序，满足用户对低时延的要求；云层则由高性能服务器等设备组成，可以处理复杂的计算任务。

边缘计算架构

边缘计算相对于云计算具有实时性、低成本和安全性等优势。它将计算任务从云计算中心部分或全部迁移到离用户更近的网络边缘进行处理，从而提高了数据传输性能和处理的实时性。同时，边缘计算还可以避免远距离传输数据带来的成本问题，并降低云计算中心的计算负载。此外，边缘计算将大部分数据在本地设备和边缘层设备中处理，减少上传至云端的数据量，降低了数据泄露的风险，因此具备更高的安全性。

五、AI服务器：更适合深度学习等AI训练场景

在现代AI领域中，由于大规模的计算需求，普通的CPU服务器已经不能满足需求。相较于CPU，GPU（图形处理单元）具备更适合进行大规模并行计算的架构设计，因此AI服务器采用GPU架构来提高计算性能。

与通用服务器不同的是，AI服务器为异构服务器。意味着它可以使用不同的组合方式来提高计算性能，例如使用CPUGPU、CPUTPU、CPU其他加速卡等，但是以GPU提供计算能力为主要方式。

以ChatGPT模型为例，它采用了并行计算的方式。相比于RNN模型，它能够为输入序列中的任何字符提供上下文，从而不仅精度更高，而且可以一次处理所有输入，而不是一次只处理一个词。

从GPU的计算方式来看，GPU架构采用了大量的计算单元和超长的流水线，因此与CPU相比，可以进行大吞吐量的并行计算。这种计算能力特别适合进行大规模AI并行计算。

深度学习主要进行矩阵向量计算，AI服务器处理效率更高。从ChatGPT模型结构来看，基于Transformer架构，ChatGPT模型采用注意力机制进行文本单词权重赋值，并向前馈神经网络输出数值结果，这一过程需要进行大量向量及张量运算。而AI服务器中往往集成多个AI GPU，AI GPU通常支持多重矩阵运算，例如卷积、池化和激活函数，以加速深度学习算法的运算。因此在人工智能场景下，AI服务器往往较GPU服务器计算效率更高，具备一定应用优势。

六、ChatGPT需要的芯片：CPU+GPU、FPGA、ASIC

GPT模型训练需要大算力支持，或将带来AI服务器建设需求。我们认为，随着国内厂商陆续布局ChatGPT类似产品，GPT大模型预训练、调优及日常运营或将带来大量算力需求，进而带动国内AI服务器市场放量。以GPT-3 175B模型预训练过程为例，据OpenAI，进行一次GPT-3 175B模型的预训练需要的算力约3640 PFlop/s-day。我们假设以浪潮信息目前算力最强的AI服务器NF5688M6（PFlop/s）进行计算，在预训练期限分别为3、5、10天的假设下，单一厂商需采购的AI服务器数量分别为243、146、73台。

AI大模型训练需求火热，智能算力规模增长有望带动AI服务器放量。据IDC数据，以半精度（FP16）运算能力换算，2021年中国智能算力规模约155.2EFLOPS。随着AI模型日益复杂、计算数据量快速增长、人工智能应用场景不断深化，未来国内智能算力规模有望实现快速增长。IDC预计2022年国内智能算力规模将同比增长72.7%至268.0 EFLOPS，预计2026年智能算力规模将达1271.4 EFLOPS，2022-2026年算力规模CAGR将达69.2%。我们认为，AI服务器作为承载智能算力运算的主要基础设施，有望受益于下游需求放量。

ChatGPT是一个高性能的文件传输协议，需要一个可持续的服务器端架构来支持它的持续发展。以下是一个简单的指南：