手机浏览器扫描二维码访问
437 傲慢的代价（第1页）
孟繁岐并不是第一次听说DeepSeek的名字，虽然此前DS在大众之中不能说是完全无人知晓，但说它是籍籍无名也不为过。
比起天然拥有海量客户的互联网大厂们推出的AI模型，DS即便免费，但终究天然地在积累用户方面有着巨大的劣势。
孟繁岐此前注意到DS，主要便是因为他们的技术路线与孟繁岐的几个设想相似。
由于在降低技术成本上颇有建树，DS的API价格要低于市场平均水平许多，这使得它慢慢积累了一些技术型的用户。不过这个规模在孟繁岐眼中，还远远上不了桌。
前两个月，DeepSeek已经迭代到了第三代。
逐渐缩小的性能差异并没有引起孟繁岐足够的重视。
而今天，详细的技术报告以及R1版本的发布，才终于让他明白，自己实在是后知后觉。
震撼到孟繁岐的并不是单纯性能上的逼近，而是诸多技术细节透露出的海量信息。
比如，FP8的成功实现。
孟繁岐有些不相信这个事实。
半精度和FP8是他一直在大力推动的事情，而现在，DS反而成为了首个在超大规模模型上证明了FP8训练完全可行的公司。
孟繁岐沉着脸，翻阅着DS的技术报告，他们对框架内部的操作细节并不吝啬。
哪些核心操作做了FP8的量化，在什么步骤应该转回BF16，又在哪里应该使用全精度FP32计算，标注十分详细。
向量层、输出层、MoE门控模块、标准化运算和注意力运算模块进行了精度保留，而前向，激活反向，权重反向则用FP8执行。
针对前向反向采用FP8会带来的许多问题，报告中也知无不言。
在低精度训练框架中，由于FP8格式的指数位较少导致其动态范围受限，经常出现数值溢出和下溢的问题。传统方法是将输入张量的最大绝对值映射到FP8格式的最大可表示值，将输入分布对齐到可表示范围内。然而，这种方法使得低精度训练对激活值中的极端值特别敏感，可能导致量化精度显著下降。
孟繁岐也走到过这一步，部分FP8，部分BF16FP32。仅仅如此是不够的。
DS最终采用的方案是在核心算子内部GEMM操作里引入缩放因子，这同样是孟繁岐曾经考虑过的事情。
但closeai最终没有这样做，因为英伟达显卡的FP8并不直接支持这一功能。
长期居于龙头位置的closeai程序员们并没有选择下苦工用其他的方式实现这一功能，而是选择了与英伟达沟通，以求让英伟达在下代硬件框架中支持细粒度缩放格式。
孟繁岐回忆起那个时候，欲言又止。
这称得上是错误吗？其实也不见得。
因为closeai的建议为英伟达提供了重要参考。
下一代硬件框架中支持该功能无疑是非常正确的决定。
但...没有它真的就做不了吗？很显然，DS回答了这个问题，现有的条件之下，技术并不是无法实现的。
另一件让孟繁岐感到扼腕叹息的事情，是双方在“稀疏”这一概念上的分歧。
在FP8问题上，孟繁岐与DS是一致的。
请勿开启浏览器阅读模式，否则将导致章节内容缺失及无法阅读下一章。
病娇夫君是大佬 爱神爱作怪系列 婉拒阎王三千次 恩怨江湖 我在女尊国养人鱼 他以薄情付流年 女主家的异能总是失控[末世] 日久才情深[娱乐圈] 赢家 医妃总想带球跑 今天也在做满分才女[古穿今] 星际之生而为零3帝国的荣耀 董小宛 暴君刘璋 婚不守舍 云清霜 男神，笔记借我 你是我的肺 老师，他想到黑板上做题 不要和奸臣谈恋爱
鬼王煞妃：神医异能狂妻
废材？克夫？丑八怪？认真你就输了！通天眼！貌倾城！狂霸拽？本小姐就是辣么任性！她生就天眼，睥睨苍生，古玩珍宝随便拿，天财地宝任她取，哪知认钱不认人，招惹上腹黑尊贵的战神煞王，他诱做我女人，护你一世平安！她将他推倒，再甩上一把银票万金买你一夜，睡完我不负责！...
亿万老公：买一送一
关于亿万老公买一送一一场意外，胞弟命丧，从此他精神失常，一人分饰两角，成了今天的展少唐，明天的展少康，大后天的展少唐，大大后天的展少康周而复始，年复一年，没有尽头。一场相亲，兄弟反目，哥哥给弟弟找女人，弟弟就给哥哥找老婆，从此叶慕槿悲哀地周旋在两个老公中间...
厨师的我，竟是李二的女婿
关于厨师的我，竟是李二的女婿尹煊穿越大唐贞观七年成为一家酒馆的老板，觉醒诸天美食系统，从此他的生活完全转变了。一份番茄炒蛋让程咬金父子三人赞不绝口，一碗酒令李世民酩酊大醉，他的每一道菜品都能席卷大唐的风向标。程咬金小兄弟，咱哥俩能拜把子不，不求同生但求共死。李世民掌柜的，你缺娘子不缺？我送你两个公主如何。长乐公主老板，你那个油炸火腿还能再送我一根吗。兰陵公主煊哥哥，偷偷告诉你，我姐她疯了要招你过门。...
连少的病美人
连凰，町城里，最尊贵的连家唯一继承人。传闻，此人阴柔，邪魅，霸道，狠戾。他跺跺脚，町城抖三抖。所有人听听他的名字，都惊怕，恐惧。也只有乐荼知道。连凰，比传闻中，更恐怖。他在她耳边低语呢喃荼荼，我给你买好了坟墓，生同衾死同穴。...
龙族：开局卧底，封神之路
网文填坑节，月日大佬包场，请你免费看独家番外人气连载新章 地铁上误入尼伯龙根的苏墨，被龙王耶梦加得逮个正着，他这才意识到，自己穿越到了龙族世界在夏弥的威胁下，苏墨果断投降，选择成为龙族卧底夏弥本以为自己获得了一个不错的内应和眼线后来却逐渐开始怀疑人生为什么自己这个老大要天天给卧底跑腿？为什么自己这个龙王，还要努力赚钱供养小弟？到底谁才是手下，谁才是工具人？而且，最让人不能接受的是这个红头发的小姑娘怎么回事，为什么她叫你哥哥？夏弥瞪着一双黄金瞳怒视眼前的男人本书又名夏弥大小姐想让我告白卧底三年的我封神了爆杀赫尔佐格一千遍PS不虐不刀PS前期主龙族世界，后期无限流各位书友要是觉得龙族开局卧底，封神之路还不错的话请不要忘记向您QQ群和微博里的朋友推荐哦！龙族开局卧底，封神之路...
重生空间：慕少，宠上天！
（新文快穿黑化病娇男神，甜炸了求支持）前世她被设计陷害，被父亲赶出家门流离海外惨死。重生回到那一夜，得到空间的她开始种植美味蔬果价值连城的药草，开网店做直播写文虐渣男贱女，重新收获美满家庭而在她成为知名作者兼主播，创立了国际知名的美食品牌后，竟然发现，小包子的父亲另有其人？？慕少，你居然看直...