月之暗面的技术团队通过创新的网络结构和工程优化,克服了大模型在长文本处理上的挑战,不依赖于滑动窗口、降采样、小模型等对性能损害较大的“捷径”方案,实现了支持20万字输入的千亿参数级大模型产品。月之暗面的主要产品是Kimi Chat,这是一个智能助手,支持长达20万汉字的输入,这在当时是全球市场上能够产品化使用的大模型服务中所能支持的最长上下文输入长度。技术创新:Moonshot AI的技术团队通过创新的网络结构和工程优化,克服了大模型在长文本处理上的挑战,实现了支持20万字输入的千亿参数级大模型产品。
本文地址:http://sicmodule.glev.cn/news/21913.html
歌乐夫 http://sicmodule.glev.cn/ , 查看更多