Haji Papa's Bits & Bytes
  • Home
  • News
  • IT
  • Programming
  • English
  • Life
  • Contact
  • About

kohya_ss

A collection of 1 post
【LoRA】少ないデータで、AIモデルをチューニングする
IT

【LoRA】少ないデータで、AIモデルをチューニングする

概要 今回は、画像生成モデルStable Diffusionを使って、当ブログの英語の記事で登場するEmiさんのイラストが簡単に生成できるようにしたいと思います。 そのために、LoRAという技術を使います。 LoRA(Low-Rank Adaptation)とは、AIモデルのファインチューニングを効率的に行うための技術です。特に大規模言語モデル(LLM)や画像生成AIの微調整に用いられ、少ない計算資源で高品質なカスタマイズを可能にします。 LoRAは、モデルの重みを直接変更するのではなく、低ランクの行列を挿入して学習することで、従来のファインチューニングよりも少ない計算コストで高い性能を維持できます。 🧠 LoRAの数学的な挿入位置 元の重み W を以下のように拡張します: W' = W + α * (BA) A:低ランクの行列(学習する) B:低ランクの行列(学習する) α:スケーリング係数(学習時や推論時に設定) この BA 部分だけが学習され、元の W は固定のままです。     📌 実行時(推論時)の仕組み LoRAで生成
31 May 2025 7 min read
Page 1 of 1
Haji Papa's Bits & Bytes © 2026
Powered by Ghost