توهم مدل

توهم مدل (Hallucination) یعنی هوش مصنوعی چیزی نادرست یا ساختگی را طوری بنویسد که انگار واقعیت دارد. مثل کسی که از او منبع می‌خواهید و به‌جای «نمی‌دانم»، نام کتابی را حدس می‌زند و با اطمینان می‌گوید.

فرض کنید مدل نام یک کتاب، نویسنده و سال چاپ را می‌دهد. همه‌چیز مرتب به نظر می‌رسد، اما وقتی جست‌وجو می‌کنید چنین کتابی پیدا نمی‌شود. مشکل فقط بد نوشتن نیست؛ خود اطلاعات ساخته شده است.

مدل زبانی پاسخ را از چیزهایی که یاد گرفته و متن پیش رویش می‌سازد. این کار تضمین نمی‌کند که هر نام و جمله با واقعیت جور باشد. ممکن است اطلاعات کافی نداشته باشد و ادامه‌ای بنویسد که فقط شبیه جواب درست است.

اطمینان در لحن را با درستی اطلاعات یکی نگیرید. نام کتاب را پیدا کنید، صفحهٔ منبع را باز کنید و ببینید واقعاً همان حرف را زده است. وجود لینک در جواب کافی نیست؛ لینک هم ممکن است ساختگی باشد یا ربطی به ادعا نداشته باشد.

اگر سؤال دربارهٔ یک سند است، خود متن مرتبط را بدهید و بخواهید جملهٔ مربوط به پاسخ را نشان دهد. روش پیدا کردن بخش‌های مرتبط اسناد هم کمک می‌کند اطلاعات لازم جلوی مدل باشد، اما خطا را کاملاً از بین نمی‌برد.

توضیح IBM دربارهٔ پاسخ‌های ساختگی مدل، به زبان انگلیسی.

فرض کنید از یک همکار دربارهٔ قانون مرخصی می‌پرسید. اگر آیین‌نامه را باز کند و بند مربوط را نشان دهد، راحت‌تر می‌توانید جوابش را بررسی کنید. در کانوکس هم جست‌وجوی اسناد، جست‌وجوی وب و ارجاع به منبع کمک می‌کنند پاسخ به اطلاعات قابل بررسی تکیه کند:

• جست‌وجو در فایل‌های شما: آیین‌نامه، قرارداد یا گزارش را به گفت‌وگو اضافه کنید. کانوکس می‌تواند بخش‌های مربوط به سؤال را پیدا کند و برای پاسخ در اختیار مدل بگذارد. به این روش RAG می‌گویند. مثلاً برای سؤال دربارهٔ مرخصی، متن آیین‌نامهٔ خودتان مبنای پاسخ قرار می‌گیرد. اگر جواب در فایل نیست، بخواهید همین را روشن بگوید.
• جست‌وجوی وب برای اطلاعات تازه: اگر سؤال دربارهٔ موضوعی است که ممکن است تغییر کرده باشد، از کانوکس بخواهید در وب جست‌وجو کند؛ مثلاً شرایط تازهٔ یک خدمت را در سایت رسمی آن بررسی کند. دستیار می‌تواند از اطلاعات پیدا‌شده همراه لینک منابع برای پاسخ کمک بگیرد. این کار باعث می‌شود پاسخ فقط به اطلاعاتی که مدل قبلاً یاد گرفته وابسته نباشد.
• ارجاع کنار پاسخ: کانوکس از نمایش ارجاع به فایل‌ها و صفحات وب پشتیبانی می‌کند. در پاسخ‌های دارای ارجاع می‌توانید سراغ منبع بروید و بررسی کنید جمله یا عدد موردنظر واقعاً در آن آمده است یا نه. از دستیار بخواهید برای ادعاهای مهم منبع بیاورد تا معلوم باشد هر بخش از پاسخ به چه اطلاعاتی تکیه دارد.