ローカルAI入れたらオフラインでも動くんだけど。どうなってんのこれ? (125)

←← 掲示板一覧に戻る ← スレッド一覧に戻る

41 エッヂの名無し 2026/03/10(火) 19:17:37.427 ID:CyW/BOaWv

Llama 4 Scout 17B 16E Instruct(IQ2_M量子化)は、Unslothが提供する、高性能なMoE(Mixture-of-Experts)モデルです。17Bパラメータ(16の専門家)を極限のIQ2_Mで圧縮しており、64GBのDDR5 RAM環境下など、限られたメモリで動作するように設計されています。GGUF形式で、llama.cpp等を使ってローカルでの推論が可能です。

モデル構成: 17B 16E (170億パラメータ、16の専門家MoE)
量子化方式: IQ2_M (I-Matrix Q2_M) - 高度な圧縮技術
用途: 高性能かつ軽量な指示追従(Instruct)タスク。特にローカル実行。
実行環境: llama.cpp を推奨(例: --model Llama-4-Scout-17B-16E-Instruct-UD-IQ2_M.gguf)
必要リソース: 64GB DDR5 RAM環境下での動作報告あり