HualetWang
2024-11-08 13:24 deepin
多模态的本地模型估计得明年了。 外挂向量数据库是什么需求,感觉一般人不太会自己生成向量数据库吧?
Reply Like 0 View the author
多模态的本地模型估计得明年了。 外挂向量数据库是什么需求,感觉一般人不太会自己生成向量数据库吧?
多模态的本地模型估计得明年了。 外挂向量数据库是什么需求,感觉一般人不太会自己生成向量数据库吧?
这个主要是考虑从多个终端设备上自动收集并生成向量数据,然后通过本地大模型加工内容。
比如从我工作设备上的指定目录收集待办事项、项目管理和一些有保密协议的技术文档等,周末在家可以通过家里的设备要求AI根据近期的工作情况,写一份工作汇报邮件,出差的时候可以通过手机要求AI给出指定的业务数据。反过来,从家里、手机等其他设备收集,在任意设备上输出也可以。
现在用的anythingLLM方案必须得手动上传文件生成向量数据,每次文件有变动,得重新上传,这个过程就很繁琐,期望的模式是通过观察本地指定目录的变化主动或定时收集并生成向量数据。
这个主要是考虑从多个终端设备上自动收集并生成向量数据,然后通过本地大模型加工内容。
比如从我工作设备上的指定目录收集待办事项、项目管理和一些有保密协议的技术文档等,周末在家可以通过家里的设备要求AI根据近期的工作情况,写一份工作汇报邮件,出差的时候可以通过手机要求AI给出指定的业务数据。反过来,从家里、手机等其他设备收集,在任意设备上输出也可以。
现在用的anythingLLM方案必须得手动上传文件生成向量数据,每次文件有变动,得重新上传,这个过程就很繁琐,期望的模式是通过观察本地指定目录的变化主动或定时收集并生成向量数据。
听起来有点意思
希望可以新增个人提示词的智能体,希望可以设置自定义传入参数,温度、惩罚之类的。
Popular Events
More
目前通过UOS AI的自定义模型可以配置一些开源模型进行使用,但尝试了一下后发现目前只能接入LLM,怎么接入或者什么时候可以支持文生图和图生图模型?
然后关于模型的参数方面,目前也没有可以自定义的,只有系统给出的三个助手,什么时候可以支持自定义助手,这样可以自由配置模型提示词和其他参数。
最后就是关于知识库的,目前得手动上传,后续是否可以支持本地向量数据库接入。
最终想实现的效果是指定本地目录为知识库目录,目录有文件变更时自动更新本地向量数据库,UOS AI接入自定义大模型,自定义助手配置提示词,设置模型可以访问的知识库目录。
这样如果我有多个设备都安装了deepin,知识库分布在不同的终端上,通过自定义大模型就能够全部打通,也省略了很多上传步骤。
我目前的使用方案得从各个终端上传数据文件到云端知识库,然后配置模型,再将模型接入各个deepin终端的UOS AI,感觉过于复杂了。
感谢大佬们的指导和解惑