本地搭建BitNet
前言近日,微软发布了一个全新的开源项目——BitNet.cpp,这是专为1-bit大语言模型(LLMs)推理而设计的框架。BitNet.cpp旨在通过优化内核为CPU上运行的1.58-bit模型提供快速且无损的推理支持,并在未来版本中计划支持NPU和GPU。
BitNet.cpp的开源为1-bit LLM的普及和大规模推理打开了新的大门,其在CPU上的高效推理性能,极大地扩展了大模型在本地设备上的可行性。未来,随着对NPU和GPU的支持,BitNet.cpp有望成为低比特模型推理的主流框架。如果你对大模型在实际应用中的推理性能感兴趣,BitNet.cpp无疑是值得关注和尝试的项目。
BitNet是微软近期推出的极限精简的推理框架,官方的介绍里,详细介绍了它的架构优势,以及和其他模型的对比实验,总结起来就是不挑设备,不占资源,不减性能!俩字儿牛x,仨字儿很牛x,四个字儿…
仓库地址:https://github.com/microsoft/BitNet
环境配置C++环境配置按照github中的步骤安装相应的C++环境
当C++相关环境配置完成后,后续的步骤,都需要在开发者的命令提示 ...
院校投递
致成功推免的自己,既然选择远方,当不负青春,砥砺前行。青春由磨砺而出彩,人生因奋斗而升华!但行前路,不负韶华!每一个裂缝都是为透出光而努力。本文是个人推免院校投递情况,圆梦山大!!!为国家储人才,为民族图富强!学无止境,气有浩然!
序号
学校名称
报考学院及专业
状态
是否投递
1
东北大学
计算机科学与工程学院 计算机科学与技术
进入复试,候补
已投递
2
天津大学
智能与计算学部 计算机科学与技术
机测未通过
已投递
3
重庆大学
计算机学院 计算机科学与技术
进入复试已拒绝
已投递
4
山东大学
人工智能学院 计算机科学与技术
被拒
已投递
5
山东大学
软件学院 人工智能
被拒
已投递
6
山东大学
计算机科学与技术学院 计算机科学与技术(学硕)
进入复试,上岸
已投递
7
哈工深
计算机科学与技术学院 计算机科学与技术
被拒
已投递
8
中海洋
信息科学与工程学部 计算机科学与技术
被拒
已投递
9
大工
计算机科学与技术学院 计算机科学与技术
被拒
已投递
10
中山大学
计算机学院 计算机技术(专硕)
被拒
已投递
1 ...
Hello World
Welcome to Hexo! This is your very first post. Check documentation for more info. If you get any problems when using Hexo, you can find the answer in troubleshooting or you can ask me on GitHub.
Quick StartCreate a new post1$ hexo new "My New Post"
More info: Writing
Run server1$ hexo server
More info: Server
Generate static files1$ hexo generate
More info: Generating
Deploy to remote sites1$ hexo deploy
More info: Deployment