نظریه‌ای برای «فهم‌پذیری واقعی» هوش مصنوعی

شرح دقیق مسئله

روش‌های رایج تفسیرپذیری، مانند Feature Attribution، Saliency Maps، Activation Analysis و Mechanistic Interpretability، بخش‌هایی از رفتار مدل را آشکار می‌کنند، اما هنوز مشخص نیست که آیا می‌توان از این روش‌ها به یک تعریف عمومی، مستقل از معماری و قابل‌آزمایش از «فهم» یا «استدلال» یک سامانه هوش مصنوعی رسید. از سوی دیگر، مدل ممکن است توضیحی ظاهراً منسجم برای پاسخ خود ارائه کند، در حالی که آن توضیح الزاماً علت واقعی تولید پاسخ نباشد. پرسش بنیادین آیا می‌توان چارچوبی ریاضی و تجربی ایجاد کرد که بتواند میان «تولید پاسخ صحیح»، «استدلال واقعی» و «تولید توضیح ظاهراً منطقی» در یک سامانه هوش مصنوعی تمایز بگذارد؟ اهداف پژوهشی 1. ارائه تعریفی عملیاتی از فهم در سامانه‌های هوش مصنوعی. 2. تعیین اینکه چه ویژگی‌هایی از فعالیت درونی مدل باید برای اثبات وجود یک فرایند استدلالی قابل مشاهده باشند. 3. بررسی امکان ساخت آزمون‌هایی که مدل نتواند صرفاً با یادگیری الگوهای آماری از آن‌ها عبور کند. 4. بررسی رابطه میان قابلیت پیش‌بینی رفتار مدل و فهم سازوکار درونی آن. 5. بررسی اینکه آیا می‌توان یک معیار کمّی برای «عمق فهم» یا «استدلال» مدل تعریف کرد. 6. بررسی امکان تعمیم چنین معیاری میان معماری‌های متفاوت، مانند Transformer، شبکه‌های کانولوشنی و مدل‌های چندوجهی. پرسش‌های فرعی - آیا توضیحی که مدل ارائه می‌کند می‌تواند به‌عنوان شاهدی برای فرایند واقعی استدلال آن پذیرفته شود؟ - اگر دو مدل پاسخ یکسانی تولید کنند ولی مسیرهای محاسباتی متفاوتی داشته باشند، آیا هر دو را باید «فهمیده» تلقی کرد؟ - آیا ممکن است یک مدل بدون داشتن مفهومی معادل مفهوم انسانی، رفتاری از خود نشان دهد که از بیرون کاملاً شبیه فهم باشد؟ - آیا می‌توان «فهم» را بدون ارجاع به ذهن و آگاهی انسان تعریف کرد؟ - حداقل اطلاعات لازم برای بازسازی سازوکار تولید یک پاسخ چیست؟ - آیا امکان دارد یک معیار واحد برای Interpretability تمام انواع هوش مصنوعی وجود داشته باشد؟ اهمیت بنیادین مسئله این مسئله فقط به بهبود عملکرد مدل‌ها مربوط نیست. اگر مشخص شود که میان درستی پاسخ و فهم سازوکار تولید پاسخ فاصله‌ای بنیادی وجود دارد، بسیاری از مفاهیم فعلی ما درباره اعتمادپذیری، ارزیابی و حتی تعریف «هوشمندی» در سامانه‌های مصنوعی نیازمند بازنگری خواهند بود. در مقابل، اگر بتوان معیار عینی و قابل‌آزمایشی برای تشخیص استدلال واقعی ارائه کرد، می‌توان گامی به سوی یک نظریه علمی عمومی درباره هوشمندی مصنوعی برداشت.