当前位置:首页 > 技术分析 > 正文内容

打造本地RAG知识库(八):AnythingLLM+Xinference的搭建和分享方法

ruisui882个月前 (02-28)技术分析9

大家好,我是寒山。

最近很多网友问AnythingLLM搭建的知识库如何分享给身边的朋友使用?今天我们就来给大家详细的讲解一下。

关于本地知识库的内容我们前面已经讲了很多了,今天就不细说了,主要是给大家说一下怎么安装使用。

实现方式:

  1. 使用Docker安装AnythingLLM。
  2. Xinference安装使用。
  3. 知识库的添加和演示

使用Docker安装AnythingLLM

只有Docker版本可以分享,桌面版是单人使用的,无法分享,所以我们要安装Docker版。

  • 拉取Docker镜像
docker pull mintplexlabs/anythingllm
  • 启动Docker镜像

由于3001已经被我们之前的OneApi占用了,这么这里使用3010代替3001.

export STORAGE_LOCATION=$HOME/anythingllm && \
mkdir -p $STORAGE_LOCATION && \
touch "$STORAGE_LOCATION/.env" && \
docker run -d -p 3010:3001 \
--cap-add SYS_ADMIN \
-v ${STORAGE_LOCATION}:/app/server/storage \
-v ${STORAGE_LOCATION}/.env:/app/server/.env \
-e STORAGE_DIR="/app/server/storage" \
mintplexlabs/anythingllm
  • 启动AnythingLLM后的Docker界面
  • 打开网页http://localhost:3010

这样我们Docker版的AnythingLLM就安装完成了。

Xinference安装使用

在开始之前,请确保已经按照上一个文章进行了安装和配置,【DeepSeek打造本地RAG知识库(五):FastGPT + Xinference超详细教程】

使用下面的启动命令,启动Xinference。

 sudo XINFERENCE_MODEL_SRC=modelscope xinference-local --host 0.0.0.0 --port 9997

然后打开web网页:http://localhost:9997/

分别启动我们的语言模型和向量模型

知识库的添加

直接把我们的成绩单,添加到本地知识库,向量化一下,就可以了,如下图:

演示的结果:

分享演示

创建用户,如果想分享给谁,需要给他创建一个用户。

分享地址:

http://localhost:3010/workspace/cd8f0f3f-8f41-48cb-b251-f649c377d715

把这localhost换成自己的本机IP,或者映射过的公网IP都可以。

用户登录,使用前面创建的用户名。

登录后就可以正常使用了,好了,今天的分享就到这里。

记得分享、关注,有问题留言给我,有时间都会给大家整理成文档和视频分享出来。

扫描二维码推送至手机访问。

版权声明:本文由ruisui88发布,如需转载请注明出处。

本文链接:http://www.ruisui88.com/post/2333.html

标签: docker plex
分享给朋友:

“打造本地RAG知识库(八):AnythingLLM+Xinference的搭建和分享方法” 的相关文章

5个看起来像 MacOS 的 Linux 发行版,赶紧收藏!

既想使用 Linux,又想同时使用 Mac ?那么你可以尝试这些 Linux 发行版,你肯定会觉得自己在用 Mac 系统。1. Elementry OSElementry OS 是看起来像 Mac OS 的最好的 Linux 发行版。和 Mac 一样,这个操作系统也是为了保护隐私而设计的。因此你会得...

java调用API操作GitLab

最近需要在一个WEB项目中集成GitLab,用到了GitLab的API操作,在网上找了很久都是说直接调用GitLab的Http接口,而且API官方只有javadoc没有其它说明文档,特别记录下,以备查询。这里采用Token的认证方式,因此需要先登陆GitLab新建一个Token,创建方式如下:创建完...

高效使用 Vim 编辑器的 10 个技巧

在 Reverb,我们使用 MacVim 来标准化开发环境,使配对更容易,并提高效率。当我开始使用 Reverb 时,我以前从未使用过 Vim。我花了几个星期才开始感到舒服,但如果没有这样的提示,可能需要几个月的时间。这里有十个技巧可以帮助你在学习使用 Vim 时提高效率。1. 通过提高按键重复率来...

html5+css3做的响应式企业网站前端源码

大家好,今天给大家介绍一款,html5+css3做的响应式企业网站前端源码 (图1)。送给大家哦,获取方式在本文末尾。首页banner幻灯片切换特效(图2)首页布局简约合理(图3)关于我们页面(图4)商品列表(图5)商品详情(图6)服务介绍(图7)新闻列表(图8)联系我们(图9)源码完整,需要的朋友...

深度解析!AI智能体在To B领域应用,汽车售后服务落地全攻略

在汽车售后服务领域,AI智能体的应用正带来一场效率和专业度的革命。本文深度解析了一个AI智能体在To B领域的实际应用案例,介绍了AI智能体如何通过提升服务顾问和维修技师的专业度及维修效率,优化汽车售后服务流程。上周我分享了AI智能体+AI小程序To C的AI应用场景《1000%增长!我仅用一个小时...

Gemini应用在Android上广泛推出2.0闪电模式切换器

#头条精品计划# 快速导读谷歌(搜索)应用的测试频道在安卓设备的双子应用中推出了2.0闪电实验功能,现已向稳定用户开放。双子应用通过谷歌应用运行,目前推出的15.50版本中,用户可通过模型选择器体验不同选项,包括1.5专业版、1.5闪电版和2.0闪电实验版。2.0闪电实验模型提供了更快的响应速度和优...