对于模型而言,其超参数设置好坏可以显著影响其性能。然而显然手动调整实在有些折磨,我们可以使用一些工具来进行自动调整模型超参数,例如本文使用的ray.tune进行调整。其仅需要在原本的代码上改动十几行即可开始自动调整(个人认为比NNI更简单易用一些)。
2024年11月24日大约 5 分钟
对于模型而言,其超参数设置好坏可以显著影响其性能。然而显然手动调整实在有些折磨,我们可以使用一些工具来进行自动调整模型超参数,例如本文使用的ray.tune进行调整。其仅需要在原本的代码上改动十几行即可开始自动调整(个人认为比NNI更简单易用一些)。
巨硬最近新出了个 graphrag ,号称其能提取有意义的结构化数据,不过遗憾的是默认情况下其只能读取txt或者csv数据。这次就让我们用我搓的外部库pdfdeal
将PDF转换为带格式化的txt,再结合更便宜的deepseek进行构建。
UV,作为新一代的,性能极佳的Python的包安装器和解析器,其网上中文教程却寥寥无几...
由于其目前并不支持自行下载多版本的Python,这篇文章记录下我借用conda的多版本Python支持,与uv结合,使得能实际使用中完全替代conda。
也算半个UV使用教程了把(大概)。
这么多年的(插件)发展之后,实际上在VSCode中配置C/C++语言已经不是一件很困难的事情了,一般而言,所需要做的仅仅是安装C/C++
插件,理论上其会自动检测编译器并生成响应的配置文件。
当然这只是理论,一旦涉及到跨平台同步(例如自带的设置同步,或者共用一个文件夹)就麻烦起来了,因为Linux和Windows的设置并不通用。此外微软开发的C/C++
插件还存在一些问题,例如只会显示错误(Error)不会显示警告(Warning)等等,不过好在VSCode的众多插件提供了解决方案,其即能跨平台同步设置又补足了之前的缺点,同时在Windows和Linux下使用起来简单快捷。