1 枯れ果てた名無し@転載禁止 (3702a4c9) 2025/07/08 (火) 12:34:04.876 ID:Rbm9JrJ0G
MIT・ハーバード大学・シカゴ大学の研究チームは2025年6月29日、大規模言語モデル（LLM）の「表面的には理解しているように見えるが、実際には概念の適用で誤る」現象を「ポチョムキン理解」と命名し、その頻度を定量化した研究成果を発表した。発表はICML 2025（バンクーバー）に採択され、AI分野における評価基準の再考を促す内容となっている。
https://ledge.ai/articles/potemkin_understanding_llm
2 枯れ果てた名無し@転載禁止 2025/07/10 (木) 08:41:41.576 ID:pW9637OtY
やるなポチョムキン★
3 枯れ果てた名無し@転載禁止 2025/07/10 (木) 11:18:08.788 ID:9MKlJ5D1U
囲碁のAIは人より強いけど死活を理解してないんだって？
4 枯れ果てた名無し@転載禁止 2025/07/10 (木) 14:21:37.645 ID:ugTnqIJfJ
とはいえ言語のレイヤーだとn-gramレベルじゃなくてCFGで模倣してるしチート傾向はしゃーない気がする
RLHFが会話用のspecial tokenだとかstructed outputみたいなフォーマットの過学習で収まらずゴマすり報酬関数でぶん回してるのが悪いのはそれはそうなんだけど
5 枯れ果てた名無し@転載禁止 2025/07/15 (火) 17:51:12.221 ID:w5lBWIQxK
この記事読ませたら反省してた