首页 » 默认分类

Project Cyber Companion:杀死那个0.5B模型 基于RK3399的性能优化二

CyberBot 我否定了上一篇文

训练分发模型onnx

  • PASS千问0.5B: 那个模型我发现怎么训练,脑子都不太好,还不如直接训练一个专用的分发模型98M,实现分发,响应和命中比之前的千问高出N个级别。它只需要读懂我到底是要扯蛋闲聊,还是执行系统命令,还是要去写个工具。它不需要其他的,说实话,之前我对ONNX格式的任何都有阴影,训练那个TTS的时候,几次我都想把键盘砸了。

  • 惊喜ONNX:响应和命中,都超过我的预期,置信度基本都在0.9以上,简直了!终于给了我一次爽感。

  • 调教VS修改: 说实话,写到后面我把自己写的有点昏了,测试修改后,又来。欠缺约束。不能放马,要不它可以比你还野。
  • BUG根本多: 下图的问题,是内部崩了。 这个还好解决。我就在想一个问题小智AI在开发的时候遇到的可能比我还多....它都挺过来了,我问题应该不大。

沙盒搭建

  • 必要的约束:不建立一个沙盒,你要让它写个删除全盘,它真的删,自己写的代码和工具,全都丢在沙盒里面运行。 有需要前端的动画宠物,让它移动出去就行。
  • 惊喜VS惊吓:如果它判断命令行达不成效果的时候,它知道自己写个程序去达成目的。刚开始我以为ONNX的命中抽风了,我去看了日志才知道,我姿势错了,导致它自己写了个程序去获取标题。' Happy Accident ' 。
  • 现状: 之前为了跑那个脑子不太好的千问0.5B,我专门去翻了一个4G内存的板子出来,换了分发模型,发现太富有了,CPU一直处于清凉状态,主频只有在编译文件的时候,才会跳一下,平时都408Mhz,之前必须手动把火力全开1.8G ,现在富裕了,反而有点慌了。哈哈哈 对于重型OpenClaw,它的天然优势,就是轻。我虽然没去看它的代码,但是通过我实现,这个赛博BOT的经验来看,它在本地起步至少6G内存,过度依赖Agent,这个是我最反感的,它是它的社群好像很有意思。至于它的社交,那些我觉得意义不是特别大!要加都简单,加个WeChat tg QQ这些都没什么难度! 忘了我好像本来就部署了一个QQ机器人。添加个接口的事。
  • 那个搜索功能,就现在板子的能力,再挂一个聚合搜索也是轻轻松松,把结果和AI交叉。解决 AI 的幻觉问题。,下图有我之前配置好的聚合搜索,接入进去就行。