1、基础的生成算法模型是驱动AI的关键
2014年,伊恩·古德费洛(lanGoodfellow)提出的生成对抗网络(GenerativeAdversarialNetwork,GAN)成为早期为著名的生成模型。GAN使用合作的零和博弈框架来学习,被广泛用于生成图像、视频、语音和三维物体模型。随后,Transformer、基于流的生成模型(Flow-basedmodels)、扩散模型(DiffusionModel)等深度学习的生成算法相继涌现。
Transformer模型是一种采用自注意力机制的深度学习模型,这一机制可按输入数据各部分的重要性分配权重,可用于自然语言处理(NLP)、计算机视觉(CV)L域应用,后来出现的BERT、GPT-3、laMDA等预训练模型都是基于Transformer模型建立的。
通过梳理主流大语言模型(LLM)的发展脉络,2018年以来的GPT系列、LLaMA系列、BERT系列、Claude系列等多款大模型均发源于Transformer架构。
2、预训练模型引发了AI技术能力的质变
预训练模型是为了完成特定任务基于大型数据集训练的深度学习模型,让AI模型的开发从手工作坊走向工厂模式,加速AI技术落地。
2017年,Google颠覆性地提出了基于自注意力机制的神经网络结构——Transformer架构,奠定了大模型预训练算法架构的基础。
2018年,OpenAI和Google分别发布了GPT-1与BERT大模型,意味着预训练大模型成为自然语言处理L域的主流。
3、预训练数据直接决定AI大模型性能
ScalingLaws:模型容量、数据量、训练成本共同构成了大模型训练的不可能三角。大模型训练的目标是大化模型性能,模型训练成本(GPU的数量和训练时间等)是受限的,因此一般通过增加数据集大小和增加模型中的参数量两种途径来提升模型性能。
附件:生成式人工智能行业专题研究:海外大模型篇,生成式AI加速创新,行业迎历史性机遇

Matter协议的普及使得不同品牌的设备实现更好的互操作性,提升了消费者体验;消费者需求正从基础的家居自动化向G度智能化、个性化的方向转变
大多数专业人士认为人工智能将对其职业生涯产生重大影响,市场对人工智能的看法总体积J;报告强调了人工智能在道德和监督方面的挑战
报告指出了AI应用生态中的三类典型厂商策略:创新AI应用、构建AI开发层能力和布局AI Agent掌握用户入口;分析了AI应用如何成为新时代的用户入口
2027 年中国 AI 手机渗透率有望达 51.9%,出货量有望达 1.5 亿台,2023-2027 年 CAGR 有望达 96.80%;有望拉动 SoC、存储、散热等上游产业链环节的需求增长
87%的企业已经或计划在两年内部署人工智能,83%的企业认为人 工智能将在未来2-5年内对企业的生产和 管理产生实际可见的影响
中国AI亚健康行业尚处发展初期,市场体量较 小,2018-2022年市场规模由1.5亿元增加至6.7 亿元,预计未来2023-2027年市场规模将由9.6 亿元扩大至37.6亿元
六成以上中小企业仍处于转型早期阶段,即处于单点尝试阶段和局部建设阶段的企业分别占比32.4%和30.2%;制造业数字化转型由于更为复杂
视频模型Sora,意义不亚于ChatGPT发布;沿用LLM训练思路:将G质量图片/视频进行降维,统一为patch进行训练;模拟影响世界状态的简单行为
汇聚业界优秀的通用和专用大模型及能力,建立“多层次-多维度-多任务-多指标-多模式”的大模型评估体系,确保汇聚的大模型安全、出色、G效,推动大模型产业规范化发展
核心议题和规则:集中在数据治理、知识产权保护、伦理问题和信息内容治理上;确立敏捷治理理念,聚焦场景应用,促进人工智能合作治理体系建设
重要战略技术趋势收录的创新技术可以帮助企业机构在创造价值的同时,构建强大能力并保障自身安全,适应AI的发展给客户期望和业务模式带来的新变化
点关注人工智能相关技术在广泛 的企业服务L域所带来的变革应用研究,将洞察中国AI技术如何为企业服务L域带来发展与应用方面的升级和演变