- 请教张维为，知道无耻怎么写吗？ [2019/01]
- 论言论自由 [2020/01]
- 中国为什么应该坚决抛弃佛教(1) [2020/06]
- 在文革中被迫害致死的美女们 [2018/11]
- 龙应台：听了于丹的演讲我真想自杀！ [2019/07]
- 刘少奇诞生120周年群丑图 [2018/11]
- 从《五·七一工程纪要》到习家军 [2018/10]
- 毛泽东侄女文革遭火烤下体惨死内幕 [2018/11]
- 世界大瘟疫，中宣部很兴奋 [2020/03]
- 大学：群兽乱交和群魔乱舞 [2018/04]
- 恶梦。（记北京四中文革前的四清） [2018/09]
- 罪恶的习近平主义 [2018/09]
- 周有光：中国人读的许多历史都是假历史 [2019/01]
- 赤裸裸的谎言：“台湾，凭什么让我原谅你” [2018/12]
- 习近平2018年12月的大撒币之旅 [2018/12]
- 回国留学生萧光琰一家之死 [2018/10]
- 评“华二代坦言生存真相: 既不被美国圈子欢迎，也不被中国人接纳” [2018/12]
- 恶梦。续一。（记北京四中文革前的四清） [2018/09]
- 从中兴变局看中国产业弊端 [2018/04]
- 武汉瘟疫与中国模式的破产 [2020/02]
- 文革余毒习近平 (上) [2018/10]
- 今天你汉奸了吗？ [2018/06]
- 扫购口罩的华人有错吗？ [2020/04]
- 北大教授郑也夫：统治者的任性是我们惯坏的 [2019/01]
- 小议知识产权 [2018/07]
- 终结美国种族主义的最后一战？ [2020/09]
美国和华尔街也喜欢“创造”新兴产业，就是认为某产业美国具有优势可以把别人甩到马里亚纳海沟里一万米深处便狠狠砸钱推动它。可是很多情况下成了骗人割韭菜的游戏，比如说太阳能风能，红极一时，未久便一蹶不振，还得靠政府反复输血并排挤廉价和先进的外国产品才能苟延残喘。再比如说电动车，最后完全靠马斯克撑撑门面。
AI是这两年以来的热点。如果不是美国2022年之后禁止卖给中国最好的芯片，中国公司领先很容易。AI是什么？不就是计算机程序吗？什么算力问题难道以前没有吗？80年代更有，因为那时的芯片更低级，内存更少，所以很多计算机方面的论文是讲计算技术，就是怎样在芯片算力有限的情况下更加快速地计算，比如平行计算。因为DeepSeek里的人都是真正搞计算机和数学一类的人才，在芯片昂贵和受限的情况下，所以他们也搞平行计算，或者不用高精度存储数据，比如我在读博士的时候，还可以看到以前程序定义数据是单精度的，就是一个数只能占到8个bit的内存空间，如果是小数的话自然只能存小数点后比较少的几位数，我们科学工程计算用的是双精度，16个bit。以后芯片普及了便宜了，32个bit，64个bit也有。
若要训练生成一个文本的话每个数需要那么高精度吗？关键是逻辑框架和数据要好，才能煮成一个好的文本，所以训练时为了提高速度而降低数据的精度也是一种选项。从另外一个角度说，尽管手段用尽，但是毕竟芯片算力不强又没有很多芯片，用户在使用时候，生成文本速度有点慢，有什么关系呢？比如说我看到胡锡进问DeepSeek怎样看别人说它剽窃(蒸馏)了别人的模型，说等了13妙得到答案。但是这个答复我肯定胡锡进13个小时也想不出，因为涉及很多背景材料和知识。
DeepSeek的成功引起了更多AI之争。主要表现在那些所谓Open 的AI公司早就闭门做AI了。那么DeepSeek这样开源的AI成本又低又好，那么那些花几百亿几千亿美元的“Open”AI公司还怎么成为领军翘楚？想想像脸书“Open”AI这些公司的CEO虽然也是计算机专家，他们写了多少代码？就是说他们的计算机技术不如梁文锋这类人。算力不够？他们便买更多芯片，建更大的数据库，而不是想想如何优化算法。脸书最会抄作业，chatgpt出现没有多久，脸书就砸钱搞了自己的大模型。
所以，公开质疑DeepSeek剽窃-蒸馏了它们公司的模型都是闭源AI公司。可是，几天前我看到的报道说，DeepSeek蒸馏了阿里的以及脸书的开源大模型，这是DeepSeek自己说的，那么闭源公司怀疑它也用了它们的大模型，就有点找茬和自抬身价的嫌疑。
并且，蒸馏技术本身是美国搞AI理论的人提出的，所以，任何搞AI模型都用过蒸馏技术。
蒸馏是什么呢？这个技术也不难理解。比如，葡萄酒是从葡萄酿出的，也只能能酿成10来度的酒。葡萄酒酿好以后，通过容器加热，导致酒精先挥发，经过铜管之后冷凝，形成更高度数的酒再放进橡木桶里存几年，形成烤过的橡木颜色和味道，就成了40度的人头马XO之类。
所以，酿成葡萄酒没有那么难，XO也不难，就是投些钱买好装备工具而已。因为中国传统是一个轻视工商业的封建农奴经济，所以，把工商业的东西看得很神秘。现在工业发展上来了，买工具不难，就是说形成了完备的产业链，所以很容易把一个新兴产业建立起来并快速发展壮大。
并且，一个公司完全可以酿好一批葡萄酒，蒸馏，再酿一批，再蒸馏。为什么呢？难道用来蒸馏Cognac XO的葡萄酒可以随便是张三李四家的吗？绝对不是。
开源？闭源？“Open”AI不转成ClosedAI，估计就拉不到资金。因为其他公司搞得晚以为AI就应该是开源的，但是阿里巴巴百度DeepSeek这些公司脑袋还没有转过弯来，继续搞开源，结果开了别人的方便，自己又没有赚钱，还砸了闭源的饭碗-尽管DeepSeek也免费教了它们如何更有效地做AI。
1/30/2025