Изследователи от Института по софтуер към Китайската академия на науките (CAS), в сътрудничество с Университета на Китайската академия на науките, разработиха Reasoning Lens, система, предназначена да направи процесите на разсъждение на големи езикови модели видими и диагностицирани. Документът е публикуван като предпечат на 22 юни 2026 г. (arXiv:2606.23404).
Тъй като AI моделите стават все по-мощни, техните разсъждения – известни като верига на мислите (CoT) – стават все по-дълги. Вътрешният монолог на модел от най-високо ниво, докато решава математически проблем, може да се простира до десетки хиляди знаци, създавайки това, което изследователският екип нарича „бреме за прозрачност“. Колкото по-способен е AI, толкова по-трудно става да се проверят неговите разсъждения.
Reasoning Lens се справя с това предизвикателство чрез три основни функции. Първата е йерархична визуализация, която картографира процеса на разсъждение на модела върху многослойна карта. Той класифицира действията за разсъждение в две категории: поведение на ниво проучване (декомпозиция, проследяване назад, проверка) и поведение на ниво експлоатация (извличане на знания, процедурно изпълнение, деклариране на състояние). Системата сегментира необработения текст в единици за планиране и изгражда както дървовидни диаграми на макро ниво, показващи цялостна стратегия, така и изгледи на микро ниво, разкриващи зависимости стъпка по стъпка.
Втората функция е проактивната диагностика. Системата идентифицира пет често срещани вида грешки: прекомерно мислене, проблеми с безопасността, грешки в знанията, логически грешки и грешки при форматиране. Мултиагентна диагностична система — включваща модул памет, модул за проверка и модул за предложения — работи заедно, за да открие и анализира тези грешки, предоставяйки приложими предложения за коригиране.
Третата функция е систематично профилиране, което агрегира анализ в множество логически следи, за да създаде поведенчески профил на модела. Това разкрива модели в начина, по който моделът изследва, валидира и къде се крият неговите структурни слабости. Екипът също изгради набор от сравнителни данни, наречен LensBench, съдържащ 130 внимателно подбрани случая, за да потвърди точността на системата.
Reasoning Lens представлява значителен напредък в интерпретируемостта на AI, трансформирайки разсъжденията на модела от черна кутия в четлив, диагностициран и подобряващ се процес.
Source link
Like this:
Like Loading…