<?xml version="1.0" encoding="UTF-8"?><rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>混合注意力 &#8211; mylogs.cn</title>
	<atom:link href="https://mylogs.cn/tag/%e6%b7%b7%e5%90%88%e6%b3%a8%e6%84%8f%e5%8a%9b/feed/" rel="self" type="application/rss+xml" />
	<link>https://mylogs.cn</link>
	<description>发现、记录、分享</description>
	<lastBuildDate>Tue, 17 Nov 2026 14:12:34 +0000</lastBuildDate>
	<language>zh-Hans</language>
	<sy:updatePeriod>
	hourly	</sy:updatePeriod>
	<sy:updateFrequency>
	1	</sy:updateFrequency>
	
	<item>
		<title>700万欧元、8GB显卡可跑：OVH开源Olala mini</title>
		<link>https://mylogs.cn/700%e4%b8%87%e6%ac%a7%e5%85%83%e3%80%818gb%e6%98%be%e5%8d%a1%e5%8f%af%e8%b7%91%ef%bc%9aovh%e5%bc%80%e6%ba%90olala-mini/</link>
		
		<dc:creator><![CDATA[steve, zhang]]></dc:creator>
		<pubDate>Tue, 17 Nov 2026 14:12:34 +0000</pubDate>
				<category><![CDATA[科技]]></category>
		<category><![CDATA[AI大模型]]></category>
		<category><![CDATA[Olala]]></category>
		<category><![CDATA[OVHcloud]]></category>
		<category><![CDATA[Qwant]]></category>
		<category><![CDATA[开源模型]]></category>
		<category><![CDATA[本地部署]]></category>
		<category><![CDATA[欧洲超算]]></category>
		<category><![CDATA[混合注意力]]></category>
		<guid isPermaLink="false">https://mylogs.cn/700%e4%b8%87%e6%ac%a7%e5%85%83%e3%80%818gb%e6%98%be%e5%8d%a1%e5%8f%af%e8%b7%91%ef%bc%9aovh%e5%bc%80%e6%ba%90olala-mini/</guid>

					<description><![CDATA[结论：欧洲云服务企业 OVHcloud 于 2026 年 11 月 17 日推出首个大模型家族 Olala，并 [&#8230;]]]></description>
										<content:encoded><![CDATA[<p class="wp-block-paragraph">结论：欧洲云服务企业 OVHcloud 于 2026 年 11 月 17 日推出首个大模型家族 Olala，并开源首款 Olala mini 7A1B，把 8GB 显存显卡与纯处理器都变成可运行它的硬件。 关键数字：总参数 70 亿、激活参数 10 亿，训练开销 700 万欧元，RTX A4500 上每秒 160 词元。</p>
<figure class="wp-block-table"><table><thead><tr><th>指标</th><th>数值</th><th>说明</th></tr></thead><tbody><tr><td>总参数 / 激活参数</td><td>70 亿 / 10 亿</td><td>每层 256 个专家</td></tr><tr><td>训练开销</td><td>700 万欧元</td><td>三台欧洲公共超算</td></tr><tr><td>GPU 显存门槛</td><td>8GB</td><td>可运行的最低显存</td></tr><tr><td>RTX A4500 吞吐</td><td>160 TPS</td><td>BF16 数据格式</td></tr><tr><td>纯 CPU 吞吐</td><td>50 TPS</td><td>无 GPU 环境</td></tr><tr><td>上下文长度</td><td>32K 词元</td><td>1.1 版将升至 128K</td></tr></tbody></table></figure>
<h2 class="wp-block-heading">混合注意力怎样把显存门槛压到 8GB</h2>
<p class="wp-block-paragraph">Olala mini 7A1B 采用结合 Differential-TPA 与 Mamba-3 的混合注意力机制，使用 BF16 数据格式。总参数 70 亿，但每次请求只激活其中 10 亿，分布在每层的 256 个专家中。</p>
<p class="wp-block-paragraph">由于只调用模型的一小部分，推理速度与显存占用都随之下降。官方给出的数据是：在 8GB 显存的 GPU 上可以运行，在 RTX A4500 上达到每秒 160 词元的吞吐；没有 GPU、只有标准处理器的环境，也能跑到每秒 50 词元。</p>
<figure data-wp-context="{&quot;imageId&quot;:&quot;6afc6265b535f&quot;}" data-wp-interactive="core/image" data-wp-key="6afc6265b535f" class="wp-block-image wp-lightbox-container"><img decoding="async" data-wp-class--hide="state.isContentHidden" data-wp-class--show="state.isContentVisible" data-wp-init="callbacks.setButtonStyles" data-wp-on--click="actions.showLightbox" data-wp-on--load="callbacks.setButtonStyles" data-wp-on--pointerdown="actions.preloadImage" data-wp-on--pointerenter="actions.preloadImageWithDelay" data-wp-on--pointerleave="actions.cancelPreload" data-wp-on-window--resize="callbacks.setButtonStyles" src="https://mylogs.cn/wp-content/uploads/2026/11/body_olala-mini-7a1b.webp" alt="OVHcloud 开源模型 Olala mini 7A1B" style="max-width:100%;height:auto;"/><button
			class="lightbox-trigger"
			type="button"
			aria-haspopup="dialog"
			data-wp-bind--aria-label="state.thisImage.triggerButtonAriaLabel"
			data-wp-init="callbacks.initTriggerButton"
			data-wp-on--click="actions.showLightbox"
			data-wp-style--right="state.thisImage.buttonRight"
			data-wp-style--top="state.thisImage.buttonTop"
		>
			<svg xmlns="http://www.w3.org/2000/svg" width="12" height="12" fill="none" viewBox="0 0 12 12">
				<path fill="#fff" d="M2 0a2 2 0 0 0-2 2v2h1.5V2a.5.5 0 0 1 .5-.5h2V0H2Zm2 10.5H2a.5.5 0 0 1-.5-.5V8H0v2a2 2 0 0 0 2 2h2v-1.5ZM8 12v-1.5h2a.5.5 0 0 0 .5-.5V8H12v2a2 2 0 0 1-2 2H8Zm2-12a2 2 0 0 1 2 2v2h-1.5V2a.5.5 0 0 0-.5-.5H8V0h2Z" />
			</svg>
		</button><figcaption>图片来源：IT之家</figcaption></figure>
<h2 class="wp-block-heading">700 万欧元算力，Qwant 已用作快答</h2>
<p class="wp-block-paragraph">训练成本是这次发布被反复提及的数字。OVH 表示，Olala mini 7A1B 在欧洲三台公共超级计算机 Jupiter、MeluXina、Jean Zay 上完成训练，硬件为英伟达 GH200、A100、H100，所获公共支持相当于 700 万欧元的算力时长。</p>
<p class="wp-block-paragraph">开源之外，模型已有落地场景。欧洲搜索引擎 Qwant 把它用于快答功能，官方给出的对比是：回答速度提升 20%，运行成本降为此前所用模型的三分之一。</p>
<h2 class="wp-block-heading">128K 上下文与 100B 参数的路线图</h2>
<p class="wp-block-paragraph">初始版本上下文长度为 32K 词元。OVH 计划在 2026 年底推出 1.1 版本，把上下文扩展到 128K 词元，并改善数学推理能力。更远的 2.0 版本参数规模将超过 100B，方向是企业智能体、云上运维和网络安全三类专用模型。</p>
<p class="wp-block-paragraph">这意味着一家以云服务为主业的公司，正把自研模型与自有算力基础设施绑定，模型能力将直接服务于它的云平台产品线。</p>
<h2 class="wp-block-heading">谁适合本地部署 Olala mini</h2>
<p class="wp-block-paragraph">对需要在本地或私有环境运行智能体模型、又受限于显存预算的开发者与中小企业，8GB 显存门槛和 Apache 2.0 许可让这款模型具备实际部署价值。纯处理器每秒 50 词元的吞吐，也给无 GPU 环境提供了一个可用基线。</p>
<p class="wp-block-paragraph">对追求通用能力上限、需要处理复杂数学推理的用户，32K 上下文的初始版本并非最优选择，更适合等待 1.1 版本。值得注意的是模型基于欧洲公共超算训练，官方同步发布了人工智能法案合规文档，面向合规要求严格的欧洲市场做了准备。</p>
<h2 class="wp-block-heading">常见问题</h2>
<h3 class="wp-block-heading">这款模型需要多少显存才能跑起来？</h3>
<p class="wp-block-paragraph">官方数据是 8GB 显存的 GPU 可运行。没有 GPU 时，标准处理器上可达每秒 50 词元。</p>
<h3 class="wp-block-heading">开源许可允许商用吗？</h3>
<p class="wp-block-paragraph">模型以 Apache 2.0 许可在 Hugging Face 开源，权重、预训练基础模型和技术报告同步发布，该许可允许商业使用与修改。</p>
<h3 class="wp-block-heading">什么时候会有更长上下文的版本？</h3>
<p class="wp-block-paragraph">OVH 计划 2026 年底推出 1.1 版本，把上下文从 32K 词元扩展到 128K 词元，并提升数学推理表现。</p>
<p class="wp-block-paragraph">信息来源：IT之家 2026 年 11 月 17 日报道、OVHcloud 官方新闻稿（2026-11-17 发布）。</p>]]></content:encoded>
					
		
		
			</item>
	</channel>
</rss>
