MiLM 小米大模型

90次阅读

MiLM 小米大模型

小米大模型首次曝光

8月14日,小米新品发布会在北京国家会议中心举行,小米集团创始人、董事长兼CEO雷军在年度公开演讲中表示,今年4月小米组建了AI大模型团队,全面拥抱大模型,第一个应用大模型就是将智能语音助理小爱同学升级了大模型版本,并开启邀请测试。据其介绍,小米大模型技术的主力突破方向为轻量化、本地部署,优先在手机上实现端侧跑通。小米将全力优化百亿参数大模型,目前已在手机端跑通13亿参数的大模型,证明手机端大模型部分场景效果可媲美云端。

小爱同学大模型内测申请通道

小爱同学大模型版邀测招募

https://web.vip.miui.com/page/info/mio/mio/detail?postId=41070692

报名方式

方式1:小米社区APP,可直接点击此处报名
方式2:打开小米社区APP,在首页找到【更多频道】,点击【内测中心】,申请参加【小爱同学大模型内测】
方式3:试试对小爱说“内测报名”, 可直达报名页面

小米大模型概况

此前小米公司并未“官宣”直接加入 AI 大模型赛道中,不过小米的 AI 大模型 MiLM-6B 目前已经悄然现身 C-Eval、CMMLU 大模型评测榜单,截至当前,小米大模型在 C-Eval 总榜单排名第 10、同参数量级排名第 1。

根据 GitHub 项目页给出的信息得知,MiLM-6B 是由小米公司开发的一个大规模预训练语言模型,参数规模达 64 亿。

小米大模型 MiLM-6B 项目地址:

https://github.com/XiaoMi/MiLM-6B

而根据 C-Eval 给出的信息,MiLM-6B 模型在具体各科目成绩上,在 STEM(科学、技术、工程和数学教育、全部 20 个科目中,计量师、物理、化学、生物等多个项目获得了较高的准确率。

据悉,MiLM-6B 模型目前已经在大多数文科科目中表现出了相对良好的准确度,不过在“法学、数学、编程、概率论、离散数学”等涉及“抽象思维”的科目中,还有一定进步空间。

小米大模型的特点

在 10 个“社会科学”测试科目中,除“教育学和地理”外,该模型在其他 8 个科目中都获得了较为理想的准确率。在人文科学的 11 个科目中,MiLM-6B 则在“历史与法律”基础上有着不错的准确率表现。

  1. 小米大模型MiLM-6B是小米AI实验室推出的一款自然语言处理模型,该模型在C-Eval和CMMLU大模型评测榜单中首次亮相,并取得了不俗的成绩。以下是该模型的亮眼性能:
  2. 参数量级较大:MiLM-6B拥有超过20亿个参数,是目前中文预训练语言模型中参数量最大的之一。这使得它可以更好地捕捉中文语言的复杂性和多样性,提高其在各种自然语言处理任务中的性能表现。
  3. 优秀的语义理解能力:MiLM-6B在多个中文自然语言处理任务中都表现出色,如情感分析、文本分类、命名实体识别等。它能够准确地理解文本的语义信息,并根据任务要求进行相应的处理。
  4. 强大的生成能力:除了理解文本外,MiLM-6B还具有生成文本的能力。它可以生成符合语法规范、通顺流畅的中文文本,并且在一些任务中甚至能够达到与人类相似的表现水平。
  5. 可扩展性强:MiLM-6B采用了分层架构的设计,可以根据具体任务的需求进行灵活的调整和扩展。例如,可以通过增加层数或调整神经元数量来提高模型的性能表现,或者通过增加任务类型来扩大应用范围。
  6. 开源开放:MiLM-6B是一个开源的项目,任何人都可以在其官方网站上下载到相关的代码和数据集,并根据自己的需求进行二次开发和应用。这种开放的态度有助于推动中文自然语言处理领域的发展和创新。

前往AI网址导航

正文完
 0
微草录
版权声明:本站原创文章,由 微草录 2024-01-04发表,共计1446字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。