DeepSpeed： 大模型训练框架
背景： 目前，大模型的发展已经非常火热，关于大模型的训练、微调也是各个公司重点关注方向。但是大模型训练的痛点是模型参数过大，动辄上百亿，如果单靠单个GPU来完成训练基本不可能。所以需要多卡或者分布式训练来完成这项工作。 一、分布式训练 1.1 目前主流的大模型分布式训练主要包括两种： 数据并行训练 模型并行训练 二、DeepSpeed DeepSpeed是由Microsoft提供的分布式训练工
人工智能 2023年12月07日 53
TAGS:大模型
Llama2开源大模型的新篇章以及在阿里云的实践
Llama一直被誉为AI社区中最强大的开源大模型。然而，由于开源协议的限制，它一直不能被免费用于商业用途。然而，这一切在7月19日发生了改变，当Meta终于发布了大家期待已久的免费商用版本Llama2。Llama2是一个由Meta AI开发的预训练大语言模型，它可以接受任何自然语言文本作为输入，并生成文字形式的输出。Llama2-xb-chat是基于Llama2-xb在对话场景下的优化模型，目前在
人工智能 2023年10月19日 58
盘古大模型加持，华为云开天aPaaS加速使能千行百业应用创新
摘要：开天aPaaS，让优秀快速复制，支撑开发者及伙伴上好云、用好云。 本文分享自华为云社区《盘古大模型加持，华为云开天aPaaS加速使能千行百业应用创新》，作者：开天aPaaS小助手。 7月7-9日，华为开发者大会（Cloud）2023在东莞隆重召开。此次大会，华为云开天aPaaS带来了主题演讲、高峰论坛、开放演讲、开发者活动以及专题展区等精彩活动。 自2021年发布以来，华为云开天aPaaS
人工智能 2023年09月19日 66
共探AI大模型时代下的挑战与机遇，华为云HCDE与大模型专家面对面
摘要：近日，华为开发者大会2023（cloud）“开发者生态创新发展圆桌会议”在东莞华为溪流背坡村成功举办。 2023年7月8日，华为开发者大会2023（cloud）“开发者生态创新发展圆桌会议”在东莞华为溪流背坡村成功举办。以大模型为代表的的新一轮人工智能技术浪潮汹涌而来，在圆桌会议上，华为技术专家为HCDE（华为云开发者技术专家）解读当前AI趋势和热点，分享AI基础大模型下的软件开发模式
人工智能 2023年08月01日 61
探秘华为云盘古大模型：AI for industries的身体力行
摘要：大模型是新一轮AI发展的核心，其已在推进产业智能化升级中已表现出巨大潜力，并将在未来三年里形成风起云涌之势。 本文分享自华为云社区《探秘华为云盘古大模型：AI for industries的身体力行》，作者：华为云头条。 大模型是新一轮AI发展的核心，其已在推进产业智能化升级中已表现出巨大潜力，并将在未来三年里形成风起云涌之势。 华为云于2021年正式发布了盘古基础大模型，包括CV计算机视
人工智能 2023年07月21日 65
AI重塑千行百业，华为云发布盘古大模型3.0和昇腾AI云服务
【中国，东莞，2023年7月7日】华为开发者大会2023（Cloud）7月7日在中国东莞正式揭开帷幕，并同时在全球10余个国家、中国30多个城市设有分会场，邀请全球开发者共聚一堂，就AI浪潮之下的产业新机会和技术新实践开展交流分享。 在7日下午举行的大会主题演讲中，华为常务董事、华为云CEO张平安重磅发布盘古大模型3.0和昇腾AI云服务。其中，盘古大模型3.0围绕“行业重塑”“技术扎根”“开放同飞
人工智能 2023年07月11日 100
