[Share Experiences] deepin内置的小U同学终于能帮我干活了
Tofloor
poster avatar
阿甘
deepin
10 hours ago
Author

终于体会到小U的进步了,

它能够在后台帮我默默无闻地干活,

帮我搜索技术资料,

搜索并整理参考文献,

并且能自动保存下来。

还能自动读取文档,

修改文档...

已经从最初的光说不练的对话式AI,

成长为能够帮我干活的小伙计,

这是一个里程碑的进步,

它已经具备成为真正数字具身的潜质。

这一点,我非常肯定,

这绝对是一个趋势,不要做现有龙虾的翻版,

而要做真正意义上的AI具身操作系统,

小U同学就是这个具身的眼睛和手脚。

它的成长,不能停止,要持续演进,

切勿被市场的急功近利蒙蔽了前进的双眼。

附上我最近的一点思考:

#戏说龙虾#

虽然没有安装龙虾,

但作为编程爱好者,

总是希望弄清龙虾到底为何物?

它如何工作?

想象着如果要开发它,

该如何开发。

这虽然没有实际的好处,

却逼着自己深入理解它。

在龙虾出现之前,

人们已经把对话式AI用得炉火纯青,

连高中生都在用豆包写入团志愿书。

但对话式AI, 完全是一个光说不练的家伙,

它的能力优势在于推理,

它背后有一个被称作“大模型”的超级大脑。

但龙虾不是超级大脑,

而是集成了超级大脑的工具软件,

它给超级大脑装上了“眼睛”和“手脚”。

人类操作电脑时能看到屏幕,

龙虾要操作电脑,也需要“看到”屏幕。

人类是通过键鼠操作电脑,

龙虾同样是通过键鼠操作电脑。

人类用自己的人脑判断操作结果,

形成操作-反馈-操作-反馈...闭环,

直至完成给定任务。

龙虾调用“大模型”判断操作结果,

同样形成操作-反馈闭环,直至完成任务。

因此,如果要开发龙虾,

为了看得见电脑的状态,

它应该包含屏幕画面读取模块,

它应该包含解析屏幕各类GUI元素属性的模块,

它应该包含读写本地系统资源的模块。

为了把电脑的状态发送给大模型,

需要知道模型的输入接口协议,

为了将大模型输出的文本转换为本地操作,

就需要龙虾开发者编写文本到本地操作的接口协议。

本地的一组操作的集合称为技能,

龙虾开发者会提供基本技能,

如单击某个按钮、移动鼠标、输入文本等等。

而龙虾开发者更希望广大用户开发技能,

只要遵循接口协议,用户就可以通过编程语言如python自定义技能。

技能是完成某一类操作任务的操作集合,

例如,对文字处理软件的操作,

对电子表格软件的操作,

对网页的操作...

这就是一名编程爱好者,

基于那一点经验,

通过思想实验,

对于龙虾的理解,

为防止遗忘,

落笔成文,

也算是吃了一顿龙虾。

Reply Favorite View the author
All Replies
avatar
欧阳贞怡
deepin
3 hours ago
#1

挺好的,就是UI界面还有很大提升空间

Reply View the author