LLMの能力の「穴」 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ

ARANK

本稿では Even GPT-5.2 Can't Count to Five: The Case for Zero-Error Horizons in Trustworthy LLMs をもとに、最先端の LLM が未だにごく簡単な問題ですらミスすることを議論します。 具体例としては、11000 に含まれる 1 の数が偶数か奇数か聞くと、gpt-5.2-2025-12-11 は奇数と答えます。また、((((()))))) のカッコのバランスが取れているか聞くと、取れていると答えます。127×82 を計算させると、10314 と答えます（正解は 10414）。このことは以下のコマンドで確認できます…