半年内支持上下文量提升9倍如何确保算力与服务器稳定?
您当前的位置 : 首页 > 经典案例 > 答疑

半年内支持上下文量提升9倍如何确保算力与服务器稳定?

2024-03-27 答疑

  3月22日,当南都记者尝试与Kimi对话时,上述文字出现在对线日,因流量突然剧增,陆续有用户在社交平台上表示,月之暗面旗下大模型应用Kimi智能助手的App和小程序均无法正常使用。这距Kimi宣布升级、能支持200万字超长无损上下文不到72小时。3月18日下午,月之暗面曾宣布在大模型长上下文窗口技术上取得新突破,Kimi智能助手已支持200万字超长无损上下文,也就是说,能一口气读完《甄嬛传》全集几十万字的剧本,回答情节中的细节问题,堪比一个看了好几十遍电视剧的“甄”学家。

  在这72小时内,与Kimi相关的概念股也不断爆发。截至3月22日收盘,华策影视、城市传媒、安诺其、中科金财、掌阅科技、因赛集团、中广天择等概念股涨停。其中,华策影视、掌阅科技、中广天择等已连续3天涨停。

  月之暗面方面随后也回应称,观测到Kimi系统流量持续异常增高,流量增加的趋势远超对资源的预期规划。而作为一家以技术为导向的公司,月之暗面非常理解一个API的稳定性是能否投入实际生产的最重要的条件之一,已经有多项应急措施正在实施,包括进行了5次扩容工作。

  “不好意思,刚刚和Kimi聊的人太多了Kimi有点累了,可以晚点再问我一遍。”3月22日,当南都记者尝试与Kimi对话时,上述文字出现在对话框中。随后,Kimi又恢复正常。

  3月21日,因流量突然剧增,陆续有用户在社交平台上表示,月之暗面旗下大模型应用Kimi无法正常使用,在与Kimi对话时,收到了上述回复。随后,Kimi所属公司月之暗面方面回应称,从3月20日9:30:00开始,已观测到Kimi的系统流量持续异常增高。“流量增加的趋势远超我们对资源的预期规划。这导致了从3月20日10:00:00开始,有较多的SaaS客户持续体验到429:engineisoverloaded的异常问题,对此我们深表抱歉。”

  月之暗面还表示,作为一家以技术为导向的公司,非常理解一个API的稳定性是能否投入实际生产的最重要的条件之一,已经有多项应急措施正在实施。“应急措施包括不限于,从3月20日观测到流量异常增高后,已经进行了5次扩容工作。推理资源会持续配合流量进行扩容,以尽量承载持续增长的用户量,设计了一套更有效的Saas流量优先级策略,以保障付费用户的调用稳定,预计3月25日之前完成并上线。”

  根据七麦数据,截至3月19日,Kimi智能助手累计下载量突破50万次大关。在过去的一周中,日均下载量接近4万次,周环比提升4倍。

  流量涌入不仅让App和小程序崩了,也带动了Kimi相关概念股迅猛上涨。截至3月22日收盘,华策影视、城市传媒、安诺其、中科金财、掌阅科技、因赛集团、中广天择等概念股涨停。其中,华策影视、掌阅科技、中广天择等已连续3天涨停。

  数字阅读公司掌阅科技也连续3天涨停。掌阅科技方面回应,有传言称公司已接入AI对话助手产品Kimi。对此,公司将积极拥抱AI技术,至于选择哪个大模型,会根据具体场景定夺。

  连续3天涨停的华策影视、中广天择都属于传媒公司。华策影视相关负责人告诉南都记者,以公司证券市场的发声为主。中广天择方面则披露股票交易异常波动公告,称目前公司跟Kimi没有合作,公司有出售视频版权给从事大模型业务的客户,但不涉及相关AI业务及AI技术。

  AI训练数据服务提供商海天瑞声也在投资者平台上表示,过往并未向月之暗面/KimiChat提供过相关训练数据。因赛集团也在投资者互动平台表示,月之暗面Kimi目前是公司调用的闭源大模型之一,但是否与Kimi等国内闭源语言大模型尝试深入合作尚需详细论证。麒麟信安公司则在投资者互动平台称,公司董事长杨涛与月之暗面杨植麟无任何关系。

  此前,对于Kimi概念股的暴涨,月之暗面方面回复南都记者称,月之暗面的开放平台是面向所有开发者和企业用户开放的,任何合规的开发者和企业,都可以将Kimi智能助手背后的同款大模型API(应用程序接口,允许不同软件进行交互)接入到自己的产品或服务中,基于Kimi大模型的长文本处理和指令遵循能力,升级或打造全新的、有创造力的产品或服务。

  牵引起相关概念股暴涨的Kimi智能助手有何来历?南都记者了解获悉,它是由国内大模型独角兽公司月之暗面推出的C端产品。

  月之暗面企业成立于2023年3月,创始人杨植麟毕业于清华大学,博士毕业于卡内基梅隆大学计算机专业,曾就职于GoogleBrain和美国初创公司FAIR,师从苹果公司人工智能负责人RuslanSalakhutdinov,有多年创业经验。在创业之余,杨植麟还曾在乐队中担任鼓手角色,“月之暗面”这一个名字,就来源于英国著名摇滚乐队PinkFloyd的专辑《TheDarkSideoftheMoon》。

  值得一提的是,月之暗面在创业一年之内就已完成了两笔融资。今年2月19日,AI创业公司月之暗面已完成新一轮超10亿美元融资,投资方包括红杉中国、小红书、美团、阿里,老股东跟投。据悉,该笔融资是国内AI大模型公司迄今获得的单轮最大金额融资。而在2023年6月,月之暗面还获得了3亿美元融资,投资方包括红杉中国、真格基金等。两轮投资后,目前月之暗面的估值为25亿美元。

  近期,月之暗面方面宣布Kimi智能助手在长上下文窗口技术上再次取得突破,或是导致Kimi概念股爆发的原因。2023年10月,月之暗面推出的Kimi智能助手初次亮相时,仅提供约20万汉字的无损上下文能力,不过在近期,无损上下文长度提升了一个数量级到200万字,目前支持200万字上下文的Kimi已启动内测。

  月之暗面方面表示,如今Kimi能够一口气精读500个甚至数量更多的文件,帮助用户快速分析所有文件的内容,并且支持通过自然语言进行信息查询和筛选,大幅度的提升了信息处理效率。

  月之暗面公布的几个测试案例也颇为吸睛:例如,用户都能够上传一份完整的近百万字中医诊疗手册,让Kimi针对用户问题给出诊疗建议;也可以上传英伟达过去几年的完整财报,让Kimi成为英伟达财务研究专家,帮用户分析总结英伟达历史上的重要发展节点;同时HR还能基于业务需求,快速从最近的500份简历中,让Kimi快速找出有某个行业从业经历,同时从计算机类专业毕业的求职者,更高效地筛选和识别合适的候选人。

  甚至,如果将《甄嬛传》全集几十万字的剧本传给Kimi,然后提问剧本中有哪些细节表明甄嬛的孩子是果郡王的。Kimi能在不同时间段、各个场景的故事情节中,深入挖掘甄嬛、果郡王的情感线以及和他们孩子的真相,堪比一个看了好几十遍电视剧的“甄”学家。

  相关概念股的暴涨侧面反映了Kimi着实火,但月之暗面面临的算力与服务器稳定性也充满了挑战。

  为了Kimi整体资源分配的公平性,同时防止恶意攻击,月之暗面目前将基于账户的累计充值金额进行速率限制。南都记者测试发现,初始用户登录kimi后,账户上都会有15元的赠送金额,后续在产品定价上,根据月之暗面官网标注1个Token大约相当于1.5-2个汉字来计算,长度为8k、适用于生成短文本的模型,价格为12元150万-200万字;长度为32k、适用于生成长文本的模型,价格为24元150万-200万字;长度为128k、适用于生成超长文本的模型,价格为60元150万-200万字。

  从2023年10月,Kimi支持约20万汉字无损上下文输入,不到半年时间,月之暗面将Kimi智能助手的无损上下文长度提升了一个数量级。而在此前,GPT-4Turbo-128k公布的数字约10万汉字,百川智能发布的Baichuan2-192K可处理约35万个汉字。

  有媒体曾指出“过去要10000小时才能成为专家的领域,现在只需要10分钟,Kimi就能接近任何一个新领域的初级专家水平”。

  目前已经有不少用户拿到了内测资格。据券商中国报道,申万宏源认为,根据内部测评,Kimi的文字能力全面达到GPT-4水平。Kimi中英文生成能力已经接近GPT-4水平,尽管逻辑推理能力仍有差距,且主打文字生成、目前无多模态能力;Cluade3中英文生成,理解、推理,多模态图片理解能力均与GPT-4接近,效果好于Gemini,且实际使用中生成速度快于GPT-4和Gemini。

  申万宏源认为,Kimi的优势在语言理解、长文本处理、逻辑推理能力上,数学解题和多模态能力暂缺或稍弱。其长文本解决能力让论文总结、会议纪要变得更具可用性,加上联网搜索功能,对需要查阅大量信息和处理会议纪要的办公人群有极大助力,未来办公类AI应用或将受益。

  这一观念在一位AI博主那也得到了验证,“月之暗面强在文本能力,多模态还不太行。”有业内人士分析,像长篇巨著《红楼梦》也就72万字,Kimi升级至200万超长文本输入,这在某种程度上预示着AI可以扮演书中的角色,甚至按照人类的想象去改编剧情,以后小说和阅读App领域会有彻底的颠覆。

  博主“数字生命卡兹克”也将《红楼梦》丢给了Kimi。提问:你是林黛玉,请用林黛玉的语气跟我对话,现在我想问问你,你进贾府的时候,读过哪些书?

  Kimi回答道:我进贾府的时候,读过的书并不多。正如我与贾母所言,我只刚念了《四书》。这些书是儒家经典包括《大学》《中庸》《论语》和《孟子》。我虽然年幼,但也略识几个字,对于书中的教义和道理,也是有所理解的。然而,我并没有像家中其他姊妹那样接受过系统的教育,所以对于更深奥的学问,我是不甚了了的。在贾府,我更多的是与宝玉和其他姊妹们一起生活、玩耍,学习针线和一些女儿家的技艺。

  在测评文章的底下,也有人发出了疑问:“这里面不知道有没有一种影响因素存在,就是给它的内容都是网上很火的内容,就算不依靠上传的文件,Kimi可能也能给出一样的回复,这样就不太确定它的回答是否都来自上下文”。对此有网友建议试一试外国小说。是不是真的存在这个可能性,待公开使用后值得实验。而押注长文本,能带来多大的商业空间,仍是一个未知数。

  3月22日,南都记者从阿里方面获悉,阿里通义千问大模型迎来重磅升级,将向所有人免费开放1000万字的长文档处理功能,成为全世界文档处理容量第一的AI应用。

  通义千问此次升级的重磅点在于两方面:一是价格免费,二是长文档处理功能达到了1000万字,是kimi的5倍。

  当南都记者询问通义千问可以不要钱对话多少个Token时,通义千问表示,“关于具体可以不要钱对话的Token数量,目前没明确的公开信息。通常情况下,对于自然语言处理服务,尤其是对话型AI服务,免费版和付费版可能会出现不同的使用额度,这个额度可能以请求次数、字符数(Token)或者其他方式来衡量。此外,随技术的发展和服务升级,免费服务的限额也可能有所调整。”

  通义千问是阿里云于去年4月7日推出的自研大模型。据透露,即日起,所有金融、法律、科研、医疗、教育等领域的专业技术人员,都可通过通义千问网站和App快速读研报、分析财报、读科研论文、研判案情、读医疗报告、解读法律条文、分析考试成绩、总结深度文章。

  阿里方面的案例显示,在金融领域,上传一份公司财报,通义千问即可自动提取和总结公司各业务的营收情况和利润增长等核心信息,生成公司整体业绩表现的总结。上传公司不同时期的财报后,通义千问可生成公司在这一阶段内的业务变化、业绩趋势并进行财报分析。

  而在法律领域,律师和法官常常要阅读数十万甚至上百万字的法律文档,人肉阅读耗时耗力,通义千问能快速阅读和分析法律文件,迅速掌握法律条文要点,输入特定案件信息后,通义千问还可给出相应的判罚建议。

  阿里云方面称,目前通义千问的文档处理容量和能力,已超越ChatGPT等全世界市场上所有的AI应用。

  同时,南都记者关注到,在3月14日,通义千问官宣推出免费的文档解析功能,能帮助解析各种格式的网页、文档、论文、图书。针对单个文档,通义千问能处理超万页的极长资料,换算成中文篇幅约为1000万字;而针对多个文档,通义千问可一键速读100份资料,实现跨文档的摘要、分析和内容创作;此外,通义千问还能解析在线网页。

  不过,近期月之暗面透露,Kimi能够一口气精读500个甚至数量更多的文件,帮助用户快速分析所有文件的内容,并且支持通过自然语言进行信息查询和筛选,大幅度的提升信息处理效率。