巨硬最近新出了个 graphrag ,号称其能提取有意义的结构化数据,不过遗憾的是默认情况下其只能读取txt或者csv数据。这次就让我们用我搓的外部库pdfdeal
将PDF转换为带格式化的txt,再结合更便宜的deepseek进行构建。
2024年6月26日大约 17 分钟
巨硬最近新出了个 graphrag ,号称其能提取有意义的结构化数据,不过遗憾的是默认情况下其只能读取txt或者csv数据。这次就让我们用我搓的外部库pdfdeal
将PDF转换为带格式化的txt,再结合更便宜的deepseek进行构建。
使用gpt_academic + searxng搜索,进行网页或者学术论文的快速检索。实验下来使用超级便宜的deepseek-chat
也能有相当好的效果。不过由于要处理的文本量偏多,原版的llama3
处理这种任务就有点力不从心了,可能需要使用上下文更大的本地模型才能有更好的效果。
记录下运用Dify + xinference + ollama打造带重排序(Rerank)步骤的知识库问答,更好的是----即使在我的3060M上其也能完全本地运行并有不错的效果!3060M本地运行llama3-9B
的生成速度参照前文。
本文内容:
其实标题也不怎么准确,应当是说,主要的笔记现在都是使用Obsidian写,但是部分需要手写的笔记依然是在使用OneNote编写。毕竟Obsidian并没有官方的手写支持。
而Self-hosted LiveSync配置的难点在于HTTPS(以及域名),没有HTTPS的话移动设备可能不能同步。不过幸运的是,使用(免费版的)tailscale,不需要域名以及公网IP即可完成这一切!
本文内容:
本文内容: