衡宇 发自 凹非寺
量子位 | 公众号 QbitAI
千亿参数大模型，支持输入的长文本首次达20万x字！
在任何规模的大模型产品化队伍中，这个长度堪称目前的全球最长。
用数据说话：目前Claude支持最大长文本为100k（约8万字），而GPT-4则是32k（约2.5万字）。20万字，分别是它们的2.5倍和8倍。
这便是清华叉院助理教授杨植麟，创业大模型后拿出的第一份成绩单。
就在10月9日下午，杨植麟创业AI公司月之暗面（Moonshot AI）推出了首款大模型产品智能助手Kimi Chat。
核心被强调的亮点是：其背后虽是体量为千亿参数的“庞然大物”，但却可以hold住输入20万汉字，不管是《三体》还是《马斯克传》都能随便读。
据介绍，拓展上下文窗口长度，只是月之暗面“登月计划”的第一步；这一步的落实，实则是为下一步落子多模态提供基础该公司预计在明年对外开放多模态版本产品。
而公司的最终目标，是在大模型领域做To C超级应用。
杨植麟身上的光环很多。
除了是清华叉院助理教授外，还有FAIR、Google Brain的工作履历，是Transformer-XL和XLNet工作一作，发明的算法曾在30多项AI标准任务取得SOTA，师从苹果公司AI负责人Ruslan Salakhutdinov、清华唐杰……
种种光环加持下，3月被曝创业后，月之暗面就自带一层神秘面纱。而后，红杉孵化式支持，循序完成两轮共计近20亿元融资，更是让公司获得了格外多的注目。
如今，这家公司首次公开亮相，回应了更多外界的议论。
“参数和上下文窗口长度共同决定模型效果”
现场演示时，量子位关注到，由于支持20万字长文本，月之暗面智能助手Kimi Chat有几点新花样。
一个是提供角色简介链接，Kimi就能根据链接内的基本信息，扮演角色进行对话：
一个是能同时支持多个（现场演示时为50个）文件的上传和阅读分析：
还有一个是能根据提供的文本内容，画思维导图……
这样一个智能助手产品，月之暗面对其应用场景定位比较广泛，“包括生产力、娱乐层面的一些场景都可以”。
为什么选择以“长文本输入”为核心，来构建自家底座大模型的差异化竞争力？
月之暗面的官方回答是，这是行业现在迫切需要解决的问题，也是通往下一步，即产品化的最大卡点。
一切基于整个团队的“朴素判断”，参数量决定了大模型支持多复杂的“计算”，而能够接收多少文本输入（即长文本技术）则决定了大模型有多大的“内存”，两者共同决定模型的应用效果。
上下文对应的其实是计算机的内存。
近几十年，计算机系统的内存发生了翻天覆地的变化。《超级玛丽》初代版本使用的内存非常非常低，但现在的应用内存至少都是几个GB。
参数量决定了模型能支持多复杂的计算，但不光是要有足够多的参数量，同时要有很强的上下文。上下文是新一代大模型的标准配置。
天下大模型苦长文本久矣。
就连目前最顶尖的模型，在上下文窗口方面还有非常大的探索空间，如Claude 2最长上下文窗口100k，GPT-4最长为32k，Llama2最长支持4k。
支持这样的长度对实际应用来说，远远不够。
此处拿大模型应用的热门方向Agent举例。Agent运行需要自动进行多轮规划和决策，且每次行动都需要参考历史记忆信息才能完成，这会带来模型输入的快速增加，同时也意味着，不能处理更长上下文的模型，将因无法全面准确地基于历史信息进行新规划和决策，从而降低成功运行概率。
该怎么弥补和提升呢？
在这一点上，杨植麟把市面上现有的解决方案划分为三种类型。
金鱼模型。采用滑动窗口方式，实际上抛弃了很多上文，难以解决任务（包括近期MIT的工作，号称可处理无限长度文本的StreamingLLM）；
蜜蜂模型。关注局部而忽略全局，只采样上下文中的一部分，如基于检索增强的RAG（retrieval augmented generation）方法，无法完成许多任务；
蝌蚪模型。长下文长度虽长，但模型参数太小（如10亿），涌现能力不够。
杨植麟将以上三种办法统称为解决大模型上下文窗口长度的捷径，并称，不会依赖这些滑动窗口、降采样、小模型等对性能损害较大的捷径方案。
具体到月之暗面自己的解决办法上，月之暗面主要在两点上发力，一是创新网络结构，二是进行工程优化。
接下来的目标，是按照产品驱动去迭代升级，把技术和产品结合到一起，最终目标是打造C端的Super App。
并且预计明年发布多模态产品，因为在杨植麟看来，无论何种模态的数据，对其进行无损压缩是可以实现高程度智能的。
无损压缩等同于对数据联合概率分布的预测，而多模态数据的生成，本质上也是在做数据的联合概率分布预测。
月之暗面创始团队
目前，刚创业起步的月之暗面已经获得了近20亿元融资，投资方包括红杉、今日资本、砺思资本等。
除了大模型火热之外，这样进展迅速的高估值、高融资和创始团队不无关系。
目前公开的资料来看，月之暗面联合创始核心团队共3人。
创始人兼CEO杨植麟，本科就读于清华大学计算机系。
高中时期，没有任何编程基础的杨植麟被选拔进信息学奥林匹克竞赛培训班，最终通过竞赛保送清华大学（非计算机系）。
直到大二时，他惊觉自己还是对计算机的兴趣更浓，于是果断转入计算机系，师从清华教授、IEEE Fellow唐杰。
计算机系就读期间，杨植麟以满分成绩通过所有程序设计课程。
2015年，他以年级第一的成绩毕业，随后远赴CMU（卡内基梅隆大学）语言技术研究所，跟随苹果公司AI负责人Ruslan Salakhutdinov和Google AI智能首席科学家William W. Cohen攻读博士学位。
△杨植麟与Ruslan Salakhutdinov（右一）、William Cohen（左一）合影
CUM就读期间，杨植麟不仅和图灵奖得主、深度学习三巨头之一Yoshua Bengio合作发布“火锅问答”数据集HotpotQA；还以一作身份，发表XLNet和Transformer-XL工作。
前者成为NeurIPS 2019与ACL 2019的最高引论文之一，Google Scholar引用次数破8000，后者引用次数也超3000。
杨植麟曾和Yoshua Bengio（图灵奖得主，深度学习三巨头之一）、Yann LeCun（图灵奖得主，又一个深度学习三巨头之一）、Quoc V. Le（Google Brain创始人之一）、何恺明（Kaiming He）等合写过论文。
据不完全统计，他曾在ICLR、NeurIPS、ICML、ACL、EMNLP等计算机顶会发表论文20余篇，研究成果累计Google Shcolar引用超过19000。
一般情况下，CMU的博士学位之旅6年起步，但仅仅花费4年时间，2019年，杨植麟就顺利拿下博士学位。
第二名联合创始人，目前是月之暗面的算法团队负责人，周昕宇。
他是清华大学2011级本科生，和杨植麟同为计算机系的学生。
周昕宇在毕业后选择加入旷视，工作内容是算法量产。
就职期间，他和旷视研究院基础科研负责人、ResNet作者之一张祥雨一道，研究移动端模型，以共同一作的身份撰写ShuffleNet论文，被CVPR接受。
这项工作后来影响了包括苹果3D人脸解锁在内的各种手机毫秒级人脸解锁技术。
另一名联合创始人是吴育昕，目前持有公司5.96%的股份。
吴育昕和杨植麟一样，先后毕业于清华和CMU，研究方向为计算机视觉中的检测和识别问题。
毕业后他先是在Meta的FAIR工作，曾和AI大神何恺明共同提出组归一化（GN）的方法。期间，他还创建了detectron2，这是Meta最受欢迎的AI项目之一。
在Google Scholarship上，吴育昕的被引次数超过了19000次。
这三人联手创业，目前公司规模拓展到50-60人上下。
有趣的是，月之暗面三位联创都出身清华。这不由得让人想到在今年以来的大模型热潮中，清华系占据创业团队半壁江山的现状。
包括杨植麟师从的清华教授唐杰，就与另一名大模型创业明星智谱AI，有着千丝万缕的密切联系。
杨植麟倒是直言了对这种竞争格局的看法：“大模型空间非常大，很难有任何一家公司可以把所有的事情都做了。有ToB也有ToC，技术路线也不一样，我觉得这是一个巨大的空白空间。”
他认为，除了OpenAI，中国的几个公司都有机会产生自己独一无二的价值。
One More Thing
月之暗面这个公司名，来源于杨植麟最喜欢的专辑《The Dark Side of The Moon》。
在清华时，联创之一的周昕宇就和杨植麟共同创建了乐队，并创作了一首歌，有关“做了一个创业成功一夜暴富的白日梦”。
于是，媒体沟通会现场，当被问到“现在还摇滚吗”这个问题时，得到的答案是：
现在公司放着两把电吉他，还有一架钢琴（doge）。
