打造本地RAG知识库(八):AnythingLLM+Xinference的搭建和分享方法
大家好,我是寒山。
最近很多网友问AnythingLLM搭建的知识库如何分享给身边的朋友使用?今天我们就来给大家详细的讲解一下。
关于本地知识库的内容我们前面已经讲了很多了,今天就不细说了,主要是给大家说一下怎么安装使用。
实现方式:
- 使用Docker安装AnythingLLM。
- Xinference安装使用。
- 知识库的添加和演示
使用Docker安装AnythingLLM
只有Docker版本可以分享,桌面版是单人使用的,无法分享,所以我们要安装Docker版。
- 拉取Docker镜像
docker pull mintplexlabs/anythingllm
- 启动Docker镜像
由于3001已经被我们之前的OneApi占用了,这么这里使用3010代替3001.
export STORAGE_LOCATION=$HOME/anythingllm && \
mkdir -p $STORAGE_LOCATION && \
touch "$STORAGE_LOCATION/.env" && \
docker run -d -p 3010:3001 \
--cap-add SYS_ADMIN \
-v ${STORAGE_LOCATION}:/app/server/storage \
-v ${STORAGE_LOCATION}/.env:/app/server/.env \
-e STORAGE_DIR="/app/server/storage" \
mintplexlabs/anythingllm
- 启动AnythingLLM后的Docker界面
- 打开网页http://localhost:3010
这样我们Docker版的AnythingLLM就安装完成了。
Xinference安装使用
在开始之前,请确保已经按照上一个文章进行了安装和配置,【DeepSeek打造本地RAG知识库(五):FastGPT + Xinference超详细教程】
使用下面的启动命令,启动Xinference。
sudo XINFERENCE_MODEL_SRC=modelscope xinference-local --host 0.0.0.0 --port 9997
然后打开web网页:http://localhost:9997/
分别启动我们的语言模型和向量模型。
知识库的添加
直接把我们的成绩单,添加到本地知识库,向量化一下,就可以了,如下图:
演示的结果:
分享演示
创建用户,如果想分享给谁,需要给他创建一个用户。
分享地址:
http://localhost:3010/workspace/cd8f0f3f-8f41-48cb-b251-f649c377d715
把这localhost换成自己的本机IP,或者映射过的公网IP都可以。
用户登录,使用前面创建的用户名。
登录后就可以正常使用了,好了,今天的分享就到这里。
记得分享、关注,有问题留言给我,有时间都会给大家整理成文档和视频分享出来。