乐鱼体育-LEYU乐鱼体育官方网站-LEYU SPORTS谷歌开源Gemma 3n：2G内存就能跑100亿参数内最强多模态模型

　　乐鱼体育官方网站LEYU SPORTS[永久网址:363050.com]是一家线上综合娱乐集团，全球最大线上体育娱乐服务商。乐鱼拥有乐鱼体育,LEYU乐鱼体育官方网站,乐鱼体育靠谱吗,乐鱼体育app,乐鱼体育官网,“欧洲马耳他mga”颁发的合法执照，是受国际认可的合法公司。欢迎注册！

　　本周五凌晨，谷歌正式发布、开源了全新端侧多模态大模型 Gemma 3n。

　　谷歌表示，Gemma 3n 代表了设备端 AI 的重大进步，它为手机、平板、笔记本电脑等端侧设备带来了强大的多模式功能，其性能去年还只能在云端先进模型上才能体验。

　　多模态设计：Gemma 3n 原生支持图像、音频、视频和文本输入和文本输出。专为设备端优化：Gemma 3n 型号以效率为设计重点，提供两种基于有效参数尺寸：E2B 和 E4B。虽然它们的原始参数数量分别为 5B 和 8B，但架构创新使其运行内存占用与传统的 2B 和 4B 型号相当，仅需 2GB (E2B) 和 3GB (E4B) 内存即可运行。架构突破：Gemma 3n 的核心是全新组件，例如用于计算灵活性的 MatFormer 架构、用于提高内存效率的每层嵌入 (PLE) 以及针对设备用例优化的新型音频和基于 MobileNet-v5 的视觉编码器。质量提升：Gemma 3n 在多语言（支持 140 种文本语言和 35 种语言的多模态理解）、数学、编码和推理方面均实现了质量提升。E4B 版本的 LMArena 得分超过 1300，使其成为首个达到此基准的 100 亿参数以下模型。

　　谷歌表示，要想实现设备性能的飞跃需要彻底重新思考模型。Gemma 3n 独特的移动优先架构是其基础，而这一切都始于 MatFormer。

　　Gemma 3n 的核心是 MatFormer（Matryoshka Transformer） 架构，这是一种专为弹性推理而构建的新型嵌套 Transformer。你可以将其想象成俄罗斯套娃：一个较大的模型包含其自身更小、功能齐全的版本。这种方法将俄罗斯套娃表征学习的概念从单纯的嵌入扩展到所有 Transformer 组件。

　　因此，MatFormer 在训练 4B 有效参数 (E4B) 模型时，会同时优化 2B 有效参数 (E2B) 子模型，如上图所示。这为开发者提供了两项强大的功能和用例：

　　预提取模型：开发者可以直接下载并使用 E4B 模型以获得更高性能，或者使用已提取的独立 E2B 子模型，提供两倍更快的推理速度。使用 Mix-n-Match 自定义尺寸：为了根据特定硬件限制进行更精细的控制，你可以使用谷歌称之为 Mix-n-Match 的方法，在 E2B 和 E4B 之间创建一系列自定义尺寸的模型。这项技术允许人们精确地对 E4B 模型的参数进行切片，主要通过调整每层的前馈网络隐藏层维度（从 8192 到 16384）并选择性地跳过某些层来实现。谷歌还将发布 MatFormer Lab，以展示如何检索这些最佳模型，这些模型是通过在 MMLU 等基准测试中评估各种设置而确定的。

　　展望未来，MatFormer 架构也为弹性执行铺平了道路。虽然此功能不属于今天发布的实现，但它允许单个部署的 E4B 模型在 E4B 和 E2B 推理路径之间动态切换，从而根据当前任务和设备负载实时优化性能和内存使用情况。

　　Gemma 3n 模型采用了逐层嵌入 (PLE) 技术。这项创新专为设备部署而设计，可大幅提高模型质量，同时不会增加设备加速器 (GPU/TPU) 所需的高速内存占用。

　　虽然 Gemma 3n E2B 和 E4B 模型的总参数数量分别为 5B 和 8B，但 PLE 允许很大一部分参数（与每层相关的嵌入）在 CPU 上加载并高效计算。这意味着只有核心 Transformer 权重（E2B 约为 2B，E4B 约为 4B）需要存储在通常较为受限的加速器内存 (VRAM) 中。

　　通过每层嵌入，你可以使用 Gemma 3n E2B，同时仅在 AI 加速器中加载约 2B 个参数。

　　处理长内容输入（例如来自音频和视频流的序列）对于许多先进的设备端多模态应用至关重要。Gemma 3n 引入了键值缓存共享 (KV Cache Sharing)，旨在加快流式响应应用的首个 token 获取时间 (Time-to-first-token)。

　　KV Cache Sharing 优化了模型处理初始输入处理阶段（通常称为「预填充」阶段）的方式。来自局部和全局注意力机制的中间层的键和值将直接与所有顶层共享，与 Gemma 3 4B 相比，预填充性能显著提升了两倍。这意味着模型能够比以往更快地提取和理解较长的提示序列。

　　在语音方面，Gemma 3n 采用基于通用语音模型（USM）的高级音频编码器。该编码器每 160 毫秒的音频生成一个 token（约每秒 6 个 token），然后将其作为语言模型的输入进行集成，从而提供声音上下文的精细表示。

　　自动语音识别 (ASR)：直接在设备上实现高质量的语音到文本的转录。自动语音翻译 (AST)：将口语翻译成另一种语言的文本。

　　经过实践可知，Gemma 3n 在英语与西班牙语、法语、意大利语、葡萄牙语之间的翻译 AST 效果尤为出色。对于语音翻译等任务，利用「思维链」提示可以显著提升翻译效果。以下是示例：

　　Gemma 3n 编码器在发布时已可以处理长达 30 秒的音频片段，但这并非极限。底层音频编码器是一个流式编码器，能够通过额外的长音频训练处理任意长度的音频。后续的实现将解锁低延迟、长流式传输应用程序。

　　除了集成的音频功能外，Gemma 3n 还配备了全新的高效视觉编码器 MobileNet-V5-300M，为边缘设备上的多模态任务提供最先进的性能。

　　MobileNet-V5 专为在受限硬件上实现灵活性和强大功能而设计，可为开发人员提供：

　　多种输入分辨率：本机支持 256×256、512×512 和 768×768 像素的分辨率，让开发者能够平衡特定应用的性能和细节。通用的视觉理解：在广泛的多模式数据集上进行了联合训练，在各种图像和视频理解任务中表现出色。高吞吐量：在 Google Pixel 上每秒处理高达 60 帧，实现实时设备视频分析和交互式体验。

　　得益于新架构设计和先进蒸馏技术，MobileNet-V5-300M 在 Gemma 3 中的表现显著优于基线 SoViT（使用 SigLip 训练，未进行蒸馏）。在 Google Pixel Edge TPU 上，它在量化的情况下实现了 13 倍的加速（不使用量化的情况下为 6.5 倍），所需参数减少了 46%，内存占用减少了 4 倍，同时在视觉语言任务上实现了更高的准确率。

　　谷歌表示，更多细节会在即将发布的 MobileNet-V5 技术报告中展示。

　　5 月 20 日，谷歌 DeepMind 在 I/O 大会上宣布了 Gemma-3n，其小体量、高性能和低内存占用的特性让人印象深刻。

　　谷歌的首个 Gemma 模型于去年年初发布，目前该系列的累计下载量已经超过了 1.6 亿次。

　　06月18日，日照边检站全流程高效保障“一带一路”航运重器，九游网ag，球探网手机版即时比分，ag币游国际，万博直播视讯

　　06月18日，日本队3：1战胜巴林晋级八强 铃木彩艳再现巨大失误，网上娱乐登录，手机巴黎人网投，欧洲杯比分，ManBetX万博官网APP

　　06月18日，“90后”浙江小伙成功捐献造血干细胞 奔赴一场生命之约，可领微信红包的捕鱼游戏，ca88登路，lc8乐橙手机版，asiAGame官方网站

　　06月18日赣鄱Z世代：“00后”电网青年职工 努力做万家灯火的守护者英亚体育下载官网k8官网下载am8亚美宝赢体育

　　06月18日“龙元素”占主角，生肖经济激活新年消费市场能挣钱的棋牌类游戏爱游戏在线注册心博天下注册App亚美体育是正规网站吗

　　06月18日探访快递物流基地 奋战“双十一”正忙英皇国际在线真人打利奥国际彩票平台下载凤凰体育最新版下载百乐棋牌最新下载……

　　06月18日，凝聚德润人心的精神力量，环亚真人，欧陆娱乐平台首页，真狗万地址，明升体育电子网投

　　06月18日，安徽歙县：千年古城内 “00”后焕新演绎徽文化，新匍京彩票怎么下载，彩神手机购彩大厅，华体会，澳门金沙到金沙城中心

　　06月18日北京市东城区举行第33届奥运会运动员、启蒙教练员座谈会体球网网址导航手机版28彩票平台登录凯丽国际ksa丰胸真人秀im电竞app最新版

　　06月18日，【澜湄印象】昆明篆新农贸市场逛吃记，欧洲杯东道主，天博国际电子游戏，永利会员手机登录，速八娱乐官网

　　06月18日，百年中英街焕新面貌 港商进驻开店赚不停，尊龙d88用现备用，免费二八杠，凤凰彩票体育外围，两个平台对打五码套利

　　06月18日打击网络谣言 共建清朗家园 中国互联网联合辟谣平台2024年7月辟谣榜（巴黎奥运）体操男子单杠决赛：张博恒获得铜牌大富豪官网平台游戏艾弗森贝博ballbet体育官网登录手机澳门电子游戏网站威尼斯电玩城

　　06月18日乌鲁木齐：当中国新疆民间艺术季遇上汗血宝马金沙登录线上海洋之神最新官方网址亚新体育外围官网乐博

　　06月18日福建福安：产业兴市 以新型工业化推动高质量发展海洋之神8590cm登陆尊龙在哪开户真人游戏龙源国际澳门皇冠2019最新地址

　　全红婵给妈妈买手机引争议，Faker第七次晋级决赛暧暧远人村｜杭州富阳东梓关村：“富春山居图”照进现实 千年古村写下诗意新篇米6体育app官网手机版亚洲城客户端下载不了吗pg模拟器在线试玩网址特区天顺

　　航班不开空调致儿童热哭 航司回应，鬼灭之刃 柱训练篇湖南东安加速特色农产品产业化 激活乡村振兴“新动能”乐动体育世界杯买球幸运快三下载377金沙的网址是多少皇冠注册娱乐

　　河南高速多车相撞 目击者：五六十辆，钎城战绩可查让地质文化不再“小众” 浙江出新招“唤醒”地质奇观dafa娱乐网站凯发娱乐手机登陆网页版AG视讯网站必微体育

　　如何评价WBG老板队服颜色选择，钱天一vs张本美和智能家电，让生活更“智慧”九州论坛最新网址环球在线九州手机登录入口鹿鼎注册登录

　　新加坡门将桑尼受邀下月来中国，赚了一个亏了一个平了一个孟加拉国青年看中国年：不一样的民俗一样的和美网络上怎么赌博平博信用能干什么抢庄牌9欧创体育怎么样

　　我爸为米哈游工作系列吊图，以色列称已对伊朗发动袭击数读中国 我国社会物流成本水平总体保持下降态势百老汇会员登录皇冠体育app下载手机ku游娱乐官网万博平台网页版

　　周鸿祎建议刘德华转行当网红，新加坡门将：摊位食品被中国人买空茶专家：新中式茶饮助力中国茶叶消费升级幸运快三官方网站凯时ag旗舰下载澳门永利登入欢乐炸金花最新安卓版下载

　　同样的神情，角色却已互换！曾经将军踮脚看美国航母，如今外宾驻足看我军装备