ハルシネーション（事実誤認）より深刻なAIの「わかったふり」を暴く：MITなどが発見したLLMの“ポチョムキン理解”とは [bbWC2E★]

MIT・ハーバード大学・シカゴ大学の研究チームは2025年6月29日、大規模言語モデル（LLM）の「表面的には理解しているように見えるが、実際には概念の適用で誤る」現象を「ポチョムキン理解」と命名し、その頻度を定量化した研究成果を発表した。発表はICML 2025（バンクーバー）に採択され、AI分野における評価基準の再考を促す内容となっている。 https://ledge.ai/articles/potemkin_understanding_llm

やるなポチョムキン★

囲碁のAIは人より強いけど死活を理解してないんだって？

とはいえ言語のレイヤーだとn-gramレベルじゃなくてCFGで模倣してるしチート傾向はしゃーない気がする RLHFが会話用のspecial tokenだとかstructed outputみたいなフォーマットの過学習で収まらずゴマすり報酬関数でぶん回してるのが悪いのはそれはそうなんだけど

この記事読ませたら反省してた

>>5 草 かわいい