AI, NLP, LLM 学习笔记
正在加载今日诗词...
开始阅读 Github
知
Codex CLI 接入 Chrome：配置 @Chrome 的完整步骤 Codex CLI 接入 Chrome：配置 @Chrome 的完整步骤
记录 Codex CLI 通过 Chrome Extension 使用本机 Chrome 登录态的配置步骤。
2026-07-04 工程实践
Codex Chrome AI Coding
DeepSpeed-Chat Llama/Llama-2 DeepSpeed-Chat Llama/Llama-2
blogDeepSpeed-Chat for llama/llama2 简介DeepSpeed-Chat 是一个用于 RLHF 训练的通用系统框架，它能够轻松、快速、经济、可扩展地训练类似于 ChatGPT 的模型， GitHub。 已更新
2023-08-31 人工智能 NLP
LLM Pre-training
LOMO：低资源下的大语言模型全参数微调 LOMO：低资源下的大语言模型全参数微调
LOMO 通过在反向传播过程中即时更新参数，降低全参数微调大模型时的显存占用，为低资源场景提供了一种可行方案。
2023-07-09 人工智能 NLP
LLM Fine-tuning
QLoRA-Efficient Finetuning of Quantized LLMs QLoRA-Efficient Finetuning of Quantized LLMs
论文QLORA: Efficient Finetuning of Quantized LLMs 摘要作者提出了QLORA，一种高效的微调方法，可以在单个48GB的GPU上微调一个65B参数的模型，同时保持完整的16位微调任务性能，从而降低内
2023-05-28 人工智能 NLP
LLM Pre-training
deepspeed deepspeed
deepspeed config 键值使用 train_batch_size：设置训练时的批量大小。 gradient_accumulation_steps：设置梯度累积的步数，以减少通信开销和内存占用。 fp16：设置是否使用混合精
2023-03-11 人工智能 NLP
LLM chatgpt
MobileBERT a Compact Task-Agnostic BERT for Resource-Limited Devices MobileBERT a Compact Task-Agnostic BERT for Resource-Limited Devices
论文MobileBERT: a Compact Task-Agnostic BERT for Resource-Limited Devices introductionMobileBERT被设计成和$BERT_{large}$一样深，而每一
2022-08-07 人工智能 NLP
知识蒸馏 BERT KD
Distilling Task-Specific Knowledge from BERT into Simple Neural Networks Distilling Task-Specific Knowledge from BERT into Simple Neural Networks
论文Distilling Task-Specific Knowledge from BERT into Simple Neural Networks 1 介绍2 相关工作模型压缩 一项突出的工作致力于压缩大型神经网络以加速推理.早期的开创性
2022-07-26 人工智能 NLP
知识蒸馏 BERT KD