最近因为毕设，在研究对于AI系统攻击手段。以下是一些浅要简短的研究的综述了，主要是关于计算机视觉以及NLP的较新的对抗性攻击手段。

目前的Fastgpt，Dify(或者其他同类产品)，目前知识库召回的本质上还是分片块的文本，召回的还是文本信息。不过，我们可以进行一些预处理，提升其召回精度的同时，使其也能同时召回将图片与公式表格等内容。

巨硬最近新出了个 graphrag ，号称其能提取有意义的结构化数据，不过遗憾的是默认情况下其只能读取txt或者csv数据。这次就让我们用我搓的外部库pdfdeal将PDF转换为带格式化的txt，再结合更便宜的deepseek进行构建。

使用gpt_academic + searxng搜索，进行网页或者学术论文的快速检索。实验下来使用超级便宜的deepseek-chat也能有相当好的效果。不过由于要处理的文本量偏多，原版的llama3处理这种任务就有点力不从心了，可能需要使用上下文更大的本地模型才能有更好的效果。

记录下运用Dify + xinference + ollama打造带重排序(Rerank)步骤的知识库问答，更好的是----即使在我的3060M上其也能完全本地运行并有不错的效果！3060M本地运行llama3-9B的生成速度参照前文。

Ollama + llama3-8B基本可以满足基本的翻译工作了，并且其也能 流畅 地在我的残血3060M上运行。当然，正如标题所言，这个流畅的前提是不在Windows下运行。