终于体会到小U的进步了,
它能够在后台帮我默默无闻地干活,
帮我搜索技术资料,
搜索并整理参考文献,
并且能自动保存下来。
还能自动读取文档,
修改文档...
已经从最初的光说不练的对话式AI,
成长为能够帮我干活的小伙计,
这是一个里程碑的进步,
它已经具备成为真正数字具身的潜质。
这一点,我非常肯定,
这绝对是一个趋势,不要做现有龙虾的翻版,
而要做真正意义上的AI具身操作系统,
小U同学就是这个具身的眼睛和手脚。
它的成长,不能停止,要持续演进,
切勿被市场的急功近利蒙蔽了前进的双眼。
附上我最近的一点思考:
#戏说龙虾#
虽然没有安装龙虾,
但作为编程爱好者,
总是希望弄清龙虾到底为何物?
它如何工作?
想象着如果要开发它,
该如何开发。
这虽然没有实际的好处,
却逼着自己深入理解它。
在龙虾出现之前,
人们已经把对话式AI用得炉火纯青,
连高中生都在用豆包写入团志愿书。
但对话式AI, 完全是一个光说不练的家伙,
它的能力优势在于推理,
它背后有一个被称作“大模型”的超级大脑。
但龙虾不是超级大脑,
而是集成了超级大脑的工具软件,
它给超级大脑装上了“眼睛”和“手脚”。
人类操作电脑时能看到屏幕,
龙虾要操作电脑,也需要“看到”屏幕。
人类是通过键鼠操作电脑,
龙虾同样是通过键鼠操作电脑。
人类用自己的人脑判断操作结果,
形成操作-反馈-操作-反馈...闭环,
直至完成给定任务。
龙虾调用“大模型”判断操作结果,
同样形成操作-反馈闭环,直至完成任务。
因此,如果要开发龙虾,
为了看得见电脑的状态,
它应该包含屏幕画面读取模块,
它应该包含解析屏幕各类GUI元素属性的模块,
它应该包含读写本地系统资源的模块。
为了把电脑的状态发送给大模型,
需要知道模型的输入接口协议,
为了将大模型输出的文本转换为本地操作,
就需要龙虾开发者编写文本到本地操作的接口协议。
本地的一组操作的集合称为技能,
龙虾开发者会提供基本技能,
如单击某个按钮、移动鼠标、输入文本等等。
而龙虾开发者更希望广大用户开发技能,
只要遵循接口协议,用户就可以通过编程语言如python自定义技能。
技能是完成某一类操作任务的操作集合,
例如,对文字处理软件的操作,
对电子表格软件的操作,
对网页的操作...
这就是一名编程爱好者,
基于那一点经验,
通过思想实验,
对于龙虾的理解,
为防止遗忘,
落笔成文,
也算是吃了一顿龙虾。
挺好的,就是UI界面还有很大提升空间
Featured Collection
Popular Events
终于体会到小U的进步了,
它能够在后台帮我默默无闻地干活,
帮我搜索技术资料,
搜索并整理参考文献,
并且能自动保存下来。
还能自动读取文档,
修改文档...
已经从最初的光说不练的对话式AI,
成长为能够帮我干活的小伙计,
这是一个里程碑的进步,
它已经具备成为真正数字具身的潜质。
这一点,我非常肯定,
这绝对是一个趋势,不要做现有龙虾的翻版,
而要做真正意义上的AI具身操作系统,
小U同学就是这个具身的眼睛和手脚。
它的成长,不能停止,要持续演进,
切勿被市场的急功近利蒙蔽了前进的双眼。
附上我最近的一点思考:
#戏说龙虾#
虽然没有安装龙虾,
但作为编程爱好者,
总是希望弄清龙虾到底为何物?
它如何工作?
想象着如果要开发它,
该如何开发。
这虽然没有实际的好处,
却逼着自己深入理解它。
在龙虾出现之前,
人们已经把对话式AI用得炉火纯青,
连高中生都在用豆包写入团志愿书。
但对话式AI, 完全是一个光说不练的家伙,
它的能力优势在于推理,
它背后有一个被称作“大模型”的超级大脑。
但龙虾不是超级大脑,
而是集成了超级大脑的工具软件,
它给超级大脑装上了“眼睛”和“手脚”。
人类操作电脑时能看到屏幕,
龙虾要操作电脑,也需要“看到”屏幕。
人类是通过键鼠操作电脑,
龙虾同样是通过键鼠操作电脑。
人类用自己的人脑判断操作结果,
形成操作-反馈-操作-反馈...闭环,
直至完成给定任务。
龙虾调用“大模型”判断操作结果,
同样形成操作-反馈闭环,直至完成任务。
因此,如果要开发龙虾,
为了看得见电脑的状态,
它应该包含屏幕画面读取模块,
它应该包含解析屏幕各类GUI元素属性的模块,
它应该包含读写本地系统资源的模块。
为了把电脑的状态发送给大模型,
需要知道模型的输入接口协议,
为了将大模型输出的文本转换为本地操作,
就需要龙虾开发者编写文本到本地操作的接口协议。
本地的一组操作的集合称为技能,
龙虾开发者会提供基本技能,
如单击某个按钮、移动鼠标、输入文本等等。
而龙虾开发者更希望广大用户开发技能,
只要遵循接口协议,用户就可以通过编程语言如python自定义技能。
技能是完成某一类操作任务的操作集合,
例如,对文字处理软件的操作,
对电子表格软件的操作,
对网页的操作...
这就是一名编程爱好者,
基于那一点经验,
通过思想实验,
对于龙虾的理解,
为防止遗忘,
落笔成文,
也算是吃了一顿龙虾。