Datawhale AI夏令营 AIGC task3 笔记
Lora 微调 在人工智能生成内容（AIGC）领域，LoRA（Low-Rank Adaptation）是一种用于高效微调大型语言模型的方法。LoRA 的主要目标是通过引入低秩矩阵来减少微调过程中需要更新的参数数量，从而降低计算和存储成本。 一言以概之，lora是一种针对种概念，任务，场景，单独微调的模型，它可以准确的…
标签：Datawhale
Unintentional fragments forming a constellation of knowledge.
Tag
#Datawhale
包含此标签的文章共 4 篇
← 返回所有标签Datawhale AI夏令营 大模型微调 task3 笔记
数据增强 调用大模型 在本次任务中，我们通过星火Max模型对于训练材料进行增强，主要是对于每道阅读题补足4道单选题并给出答案，扩充训练数据。在注册好星火大模型后我们先安装调用大模型的sdk。 安装完成后，这里给出调用星火大模型的代码，实际使用时只需填入自己的参数调用函数即可。 此外，大模型调用可能会出现超时报错的情况…
AIGC baseline1 学习
baseline 分析 首先总体分析baseline代码，这段代码可以分为以下几个部分： 1. 安装依赖：使用pip命令安装所需的Python库，如simple-aesthetics-predictor、data-juicer、pandas等，并卸载旧版本的pytorch-lightning。 2. 数据加载与预处理…
大模型微调 baseline1 学习
原文链接 数据提取部分 input数据提取 input部分由阅读材料以及相关要求 组成，我们拟通过正则表达式来匹配文字，通过pandas来处理xlsx文件 我们将，提取的数据存取为json格式，其中每条数据拥有两个字段 与 。 input由 + 组成 output由 + 组成 语文题目 1. 抽取数据，加载excel…