2023-06-27 19:32:25 来源:互联网
(相关资料图)
千易网 6 月 27 日消息,微软研究人员日前推出了名为 ZeRO++ 的新技术,用于优化在训练大型 AI 模型时,容易遇到的数据传输成本和带宽限制的难题,可显著减少大模型训练时间和成本。
据悉,ZeRO++ 建立在现有的 ZeRO 传输技术基础上,并提供增强的通信策略,可提高训练效率,同时减少训练时间和成本。
为了减少参数通信量,ZeRO++ 可对权重进行量化,其利用基于块的量化方法来保持训练精度,这种优化的量化过程相对原始 Zero 传输技术更快更准确。为了能够尽量减少通信开销,ZeRO++ 通过在每台机器上保持完整的模型副本,以向 GPU 显存换取通信带宽。而在梯度通信方面,ZeRO++ 引入了一种名为 qgZ 的新的量化梯度通信方式,可以减少跨节点的流量和延迟。
这些改进的通信技术大大减少了通信量,微软研究人员表示,与 ZeRO 相比,ZeRO++ 减少了高达 4 倍的通信量,提高了训练吞吐量和效率。当在每个 GPU 上使用小批量大小时,在高带宽集群中,ZeRO++ 相比 ZeRO-3 的吞吐量提高了 28% 至 36%。在低带宽集群中,与 ZeRO-3 相比,ZeRO++ 实现了平均 2 倍的加速,使得大模型训练在更多种类的集群上更为可行。
千易网注:千易网注意到,例如 Turing-NLG、ChatGPT 和 GPT-4 这样的大型模型,其训练需要跨多个 GPU 设备占用大量显存和计算资源,而 ZeRO++ 引入了通信优化策略,以克服在低带宽集群上进行训练时原有 ZeRO 传输技术的带宽限制。目前微软已经放出了相关技术文档,研究人员可以利用 ZeRO++ 更有效地训练模型,在 AI 领域探索新的可能性。
标签:
- 安徽宣州区总工会举办心理健康知识讲座-热议
- 金信诺(300252.SZ):公司的钙钛矿电池目前处于研发暂停状态_焦点热议
- 西藏公布2023高考分数线
- 张本智和迎20岁生日!曾击败马龙樊振东王楚钦,成长履历够辉煌!
- 宁波老外滩举办禁毒主题活动
知识
- 哥伦比亚足球怎么样?_哥伦比亚足球什么水平
- 国机精工拟承租启迪东龙科技2.32万平米物业 租金每年2511.57万元-世界快讯
- 华民股份(300345.SZ):未来公司将深耕光伏为代表的新能源行业
- 暑假佛山线上活动一览(附汇总表)
- 高质量发展调研行|科技“关键变量”撬动产业“最大增量”——三亚崖州湾科技城建设观察-环球观速讯
人物
- 世界观天下!06月27日冠杰纺织棉纱21S为25000元
- 【乡村振兴入画来】恩和镇举办首届枸杞开园节暨乡村文化旅游节
- 天天最资讯丨信心不足是制约多头的最大阻力
- 火山之刺魔芋和什么吃_火山之刺_焦点观察
- 【聚看点】毕业季首选,vivo S17系列上榜“闭眼买”手机排行榜
- 世界微头条丨接地气,解民忧!齐河推动理论宣讲“飞入寻常百姓家”
- 云上科研智算平台CFFF上线
- 爱你香烟多少钱(爱你香烟)
- 世界热资讯!江西开展大型游乐设施高空滞留应急救援演练
- 世界新动态:人民币狂拉!A股反弹,港股暴涨!发生了什么?
- 浙江印发5G全连接工厂建设三年行动方案
- 范玉松_关于范玉松的简介-全球快看点
- 环球微动态丨北京今天最高气温39℃,白天高温炙烤,外出注意防晒防暑勤补水
- 环球热推荐:北青:谭龙、高天意、巴顿基本确定作为超龄球员参加亚运会
- 【环球时快讯】上海长途客运市场严重萎缩 转型应对费思量
- 浙商银行A股配股发行成功,认配率达96.32%,成功募资97.56亿元 焦点讯息
- 行政诉讼后可以复议吗?行政复议可以听证吗? 世界短讯
- 市监总局公布2023年反不正当竞争专项行动典型案例_焦点简讯
- 购房发票丢失有什么后果_购房发票丢失登报模板
- 新闻1+1丨高考填报志愿,今年怎么选?
- 真三国无双5存档百度网盘 真三国无双5存档
- 李沁和林申什么关系 曾与李沁传婚讯-全球快消息
- “元气”恢复 河南队重回中超节奏
- 灯花 | 对农村生活的一些建议
- 贵州百灵(002424)6月26日主力资金净买入1381.54万元 环球聚焦
- 星期四这2只新债缴款(6月29日)-世界快看
- 佛山益田假日天地暑假活动指南(时间+地点)
- 世界看点:36万左右大众7座中大型SUV推荐,看完这几款车再买不后悔!
- 华硕电脑的update在哪_你会操作了吗
- 曝iQOO 11S搭载3.2GHz骁龙8 Gen2处理器 世界独家
- 外交部:任何企图制造“两个中国”的图谋都不会得逞
- 世界速讯:赛博朋克2077资料片“往日之影”DLC显示最低画质为900P
- 中公教育(002607)股东王振东质押4702万股,占总股本0.77% 观焦点
- 十年运送1.5亿人次!济宁城际公交形成“一城四域”线网新格局
- 世界快看:12366每周热点|收藏!2022年度个税汇算倒计时!这些问题请留意
- 黑龙江省人民政府人事任免|全球快播
- 微信小程序缓存怎么清理(缓存怎么清理)
- AI概念重挫!A股这一板块逆势暴涨 创业板指一度翻红
- 手机去除耳机孔的意义何在,我们来看看雷军怎么说?
- 热点评!种梦音乐D.M.G艾热、早安加入新联盟向说唱巅峰对决冠军冲刺
- 退市紫晶: 关于公司股票进入退市整理期交易的第五次风险提示公告
- 描摹儿童活泼泼的劳动模样!南京市拉萨路小学这场省级教科研活动聚焦“劳动教育” 当前最新
- 焦点播报:量杯50ml是多少克糖_量杯50ml是多少克
- 中国理念弥合全球发展鸿沟_每日动态
- 人彘是什么意思
- 精彩看点:网商银行小微观察站发布2023年小微经济八大新亮点
- 奉贤区开展环卫行业环保问题集中排查整改行动
- 个旧市和平小学在哪_个旧市和平小学
- 博实股份、新时达、申昊科技,谁会成为机器人行业的领头羊?|世界快看点
- 杭州云栖小镇这个公厕建成多年为何不投入使用?管理部门回应
精彩阅读
- 1975年8月8日河南驻马店水灾(1975年8月8日)
- 建投能源涨停
- 广发证券APP“广发易淘金”无法正常登陆 客服回应:可能是交易拥堵导致
- 诗和远方谁说的?什么意思?_诗和远方 是汪国真的
- 低值易耗品报废账务处理最新规定(低值易耗品报废账务处理)
- 新致软件:增资并收购参股子公司上海沐高
- 宜昌夷陵城市发展11.75亿元竞得夷陵东城片区4宗地块
- 科伦药业:富马酸伏诺拉生片获得药品注册批准
- 世界快资讯:中国女篮45分大胜黎巴嫩女篮,收获亚洲杯开门红
- 北京体育局发警示提醒,为孩子暑期校外体育培训支招 全球聚焦
- 广州法院受理的一审毒品犯罪案件数量连续七年下降-全球时讯
- 住建局回应贵州一小区发生滑坡塌陷:正在等待专家检测
- 天天热点评!pdf viewer and reader_pdf viewer中文版
- 世界今热点:国铁集团:端午5天全国铁路送客逾7000万
- 网商贷延期后还不上逾期被起诉怎么办?用卡逾期多久会被起诉坐牢?
- 视讯!“千万工程”调研行丨浙江丽水:美丽乡村入画来
- 一组数据看热度 假期消费亮点凸显经济发展活力
- 多少分能报考浙大?省内外众多热门高校学校公布建议录取名次号或分数线,持续更新中
- 当前资讯!41个工地上“黑榜” ,湖南曝光四季度不合格项目工地名单
- 2023上海松江叶榭镇招聘信息
- 世界滚动:金发科技近三年合计派现26.7亿元 实控人袁志敏分走超5亿元
- 小钦岛乡开展燃气安全专项检查
- 6月25日国内丁二烯市场行情弱势整理-天天讯息
- 讯息:济南章丘四中绣源河校区南校项目,具体位置来了
- 可视化的工时管理:让项目进度真实可见
- 当前通讯!广西11条河流13个站出现超警洪水
- 北京七孔桥花海让带狗狗吗? 天天观天下
- 全球快看点丨徐州2023中考成绩什么时候可以出来?
- 世界看热讯:构建“景区+村庄”联合机制 一方山水绘就增收致富新画卷
- 巨蟹座今日运势超准了水墨先生(巨蟹座今日运势超准)
- 焦点播报:普里戈任接受白俄缓和局势建议 其刑事立案将获撤销
- 世界资讯:2023年1-5月我国锂离子电池出口额同比增长65.9%
- 汽车安装暗锁_汽车如何加装暗锁_头条焦点
- 天天视点!土桥小学:党建引领强师德建设,督学指导促学校发展
- 全球聚焦:股价连续20交易日低于1元 A股8家房企锁定退市 还有12家
- 公安部公布6起非法占用耕地犯罪典型案例
- 范氏海传_关于范氏海传的简介 最新消息
- 10亿元!新视扬消费类产品锂电池项目签约落户江西南昌-天天观天下
- Risen Switch评测——是时候崛起了 全球速递
- 北京:畅通考生咨询和申诉渠道
- 天天速递!1周以后,四大生肖事业棒桃花旺,富贵满仓,腰包鼓鼓
- 当前报道:小鸡宝宝考考你浓白色的羊肉汤骨头汤里白色的主要是什么
- 俄媒:全俄联邦公路交通管制措施均被取消
- 全球热消息:驻村工作队年度工作总结总体情况(驻村工作年度工作总结)
- 天天速讯:小奶茶(阿萨姆小奶茶)
- 山无棱 天地合 才敢与君绝原文-山无棱天地合才敢与君绝全文-天天观天下
- 伟伟道来|瓦格纳“起事”引出两个谜团 热议
- 天天观察:瓷砖的品种分哪几类?一篇给你讲透
- 为什么说存款三年不如存一年 款三年不如存一年是什么原因
- 【世界新要闻】蚌埠举办首届不动产等级技能竞赛
精彩放送
科技
- 1全球焦点!微软推出ZeRO++技术,可显著减少AI大模型训练时间和成本
- 2台两名军人在寝室死亡,其中一人留下遗书一氧化碳中毒身亡,另一人或被“连累枉死”
- 3Stein:马刺寻找成熟中锋来减轻文班亚马负担 此前有意纳兹-里德-全球今热点
- 4中国创业者到底该不该逐鹿大模型?傅盛、朱啸虎朋友圈互怼完整版来了
- 5全球快播:三年巨亏110亿!国内首家地方航企被退市!
- 6绝地求生刺激战场s6赛季时间_S6赛季奖励是什么 焦点要闻
- 7长沙市物业维修资金管理中心开展2023年度业务知识竞赛
- 8周线大阴收线,关注1921支撑;早间1921先多!目前点位1930附近 全球观速讯
- 9FF91 交付再“跳票”,贾跃亭的FF仍需融资3亿美元|今日最新
- 10【全球快播报】AI板块崩了 原因找到!电力板块走强 白酒股跌幅居前