探花 极品 4o-mini独一8B，o1也才300B！微软论文不测曝光GPT中枢奥妙
微软又把 OpenAI 的奥妙泄漏了？？在论文中后堂堂写着：探花 极品
o1-preview约 300B 参数，GPT-4o约 200B，GPT-4o-mini约 8B ……
英伟达 2024 年头发布 B200 时，就摊牌了GPT-4是 1.8T MoE 也即是 1800B，这里微软的数字更精准，为1.76T。
除此以外，论文中给 OpenAI 的 mini 系列，Claude3.5 Sonnet 也齐附上了参数，归来如下：
o1-preview 约 300B；o1-mini 约 100B
GPT-4o 约 200B；GPT-4o-mini 约 8B
Claude 3.5 Sonnet 2024-10-22 版块约 175B
微软我方的 Phi-3-7B，这个无用约了即是 7B
固然论文中背面也有免责声明：
真实数据尚未公开，这里大部分数字是筹划的。
凌辱人妻温泉
但照旧有不少东说念主合计事情没这样苟简。
比如为什么独一莫得放谷歌 Gemini 模子的参数筹划？无意他们对放出来的数字照旧有信心的。
也有东说念主认为，大大量模子齐是在英伟达 GPU 上初始的，是以不错通过 token 生成速率来筹划。
独一谷歌模子是在 TPU 上初始的，是以不好筹划。
何况微软也不是第一次干这事了。
23 年 10 月，微软就在一篇论文里"不测"曝出 GPT-3.5-Turbo 模子的 20B 参数探花 极品，在后续论文版块中又删除了这一信息。
就说你是特意的照旧不严防的？
微软这篇论文说了什么
实质上，原论文先容了一项与医学有关的 benchmark —— MEDEC。
12 月 26 日就如故发布，不外是比拟垂直限度的论文，可能非有关标的的东说念主齐不会看，年后才被列灯谜克网友们发现。
接头缘起是，据好意思国医疗机构走访涌现，有 1/5 的患者在阅读临床条记时诠释发现了失实，而 40% 的患者认为这些失实可能影响他们的调治。
何况另一方面，LLMs ( 大谈话模子）被越来越多的用于医学文档任务（如生成诊疗动作）。
因此，MEDEC 此番有两个任务。一是识别并发现临床条记中的失实；二是还能赐与改正。
为了进行接头，MEDEC 数据集包含 3848 份临床文本，其中包括来自三个好意思国病院系统的 488 份临床条记，这些条记之前未被任何 LLM 见过。
它涵盖五种类型的失实（会诊、处置、调治、药物调治和致病因子），这些失实类型是通过分析医学委员会熟识中最常见的问题类型采取的，并由 8 位医疗东说念主员参与失实标注。
而参数泄漏即发生在施行设施。
按照施行贪图，接头者将选取近期主流的大模子和小模子来参与条记识别和纠错。
而就在先容最终经受的模子时，模子参数、发布时辰一下子齐被公开了。
对了，省去中间经由，这项接头得出的论断是：Claude 3.5 Sonnet 在失实绚丽检测方面优于其他 LLM 动作，得分为 70.16，第二名是 o1-mini。
网友：按价钱算合理
每一次，ChatGPT 有关模子架构和参数泄漏，齐会引起山地风云，此次也不例外。
23 年 10 月，微软论文宣称 GPT-3.5-Turbo 独一 20B 参数的时候，就有东说念主景仰：难怪 OpenAI 对开源模子这样弥留。
24 年 3 月，英伟达阐述 GPT-4 是 1.8T MoE，而 2000 张 B200 不错在 90 天内完成老师的时候，环球合计 MoE 如故且仍将是大模子架构趋势。
这一次，基于微软筹划的数据，网友们主要有几个关切点：
淌若 Claude 3.5 Sonnet 真是比 GPT-4o 还小， 那 Anthropic 团队就领有手艺上风。
以及不信服 GPT-4o-mini 独一 8B 这样小。
不外此前也有东说念主把柄推理老原本算，4o-mini 的价钱是 3.5-turbo 的 40%，淌若 3.5-turbo 的 20B 数字准确，那么 4o-mini 刚好是 8B 傍边。
不外这里的 8B 亦然指 MoE 模子的激活参数。
总之，OpenAI 大要是不会公布真实数字了。
此前奥特曼搜集 2024 年新年愿望，临了公布的清单中还有"开源"。2025 年的最新版块里，开源如故被去掉了。
论文地址：
https://arxiv.org/pdf/2412.19260
参考衔接：
[ 1 ] https://x.com/Yuchenj_UW/status/1874507299303379428
[ 2 ] https://www.reddit.com/r/LocalLLaMA/comments/1f1vpyt/why_gpt_4o_mini_is_probably_around_8b_active/探花 极品