جست‌وجو در اسناد برای پاسخ دادن

جست‌وجو در اسناد برای پاسخ دادن (Retrieval-Augmented Generation یا RAG) یعنی اول نوشته‌های مربوط به سؤال را پیدا کنیم و بعد آن‌ها را به مدل بدهیم تا با کمکشان جواب بنویسد. مثل کتابداری که صفحه‌های لازم را پیدا می‌کند و جلوی نویسنده می‌گذارد.

فرض کنید دربارهٔ مرخصی در شرکت سؤال دارید. کتابدار به‌جای آوردن همهٔ پوشه‌های شرکت، بخش مرخصی را پیدا می‌کند. نویسنده آن بخش را می‌خواند و جواب را می‌نویسد. در این روش، یک بخش کار پیدا کردن نوشته است و بخش دیگر نوشتن پاسخ با کمک آن.

اینجا مدل را از نو آموزش نمی‌دهیم. اطلاعات لازم را هنگام پاسخ دادن جلویش می‌گذاریم؛ مثل همان نویسنده که برای این سؤال، صفحهٔ تازه‌ای می‌خواند. برای آشنایی با آموزش، صفحهٔ یادگیری ماشین را ببینید.

وقتی چند پوشه یا صدها صفحه دارید، همهٔ آن‌ها در جای محدود مدل جا نمی‌شوند یا خواندنشان لازم نیست. پیدا کردن بخش مربوط کمک می‌کند نوشته‌ای جلوی مدل باشد که به سؤال نزدیک‌تر است.

بله. کتابدار ممکن است صفحهٔ اشتباه یا نسخهٔ قدیمی را بیاورد. مدل هم ممکن است نوشتهٔ درست را بد بفهمد. هم پیدا شدن سند را بررسی کنید و هم اینکه جواب با آن جور باشد. این روش احتمال جواب ساختگی را از بین نمی‌برد.

توضیح آنتروپیک دربارهٔ پیدا کردن بخش‌های مرتبط اسناد، به زبان انگلیسی.

فرض کنید یک آیین‌نامهٔ چندصفحه‌ای دارید و می‌خواهید بدانید برای مرخصی چه مدارکی لازم است. در کانوکس می‌توانید خود فایل را به گفت‌وگو اضافه کنید و سؤالتان را بپرسید. دستیار مثل همان کتابدار، بخش‌های مربوط را پیدا می‌کند و برای پاسخ از آن‌ها کمک می‌گیرد:

1. فایل را بارگذاری کنید و سؤال را بنویسید. مثلاً آیین‌نامه را بفرستید و بپرسید: «طبق این فایل، برای درخواست مرخصی چه مدارکی لازم است؟»
2. کانوکس در فایل جست‌وجو می‌کند. بخش‌های نزدیک به سؤال را پیدا می‌کند تا متن مربوط، به‌جای همهٔ صفحه‌ها، در اختیار مدل قرار بگیرد.
3. پاسخ را با منبع بررسی کنید. از کانوکس بخواهید پاسخ را بر اساس فایل بنویسد و به بخش مربوط ارجاع بدهد. پیش از استفاده، پاسخ را با همان بخش مقایسه کنید.

این همان استفاده از RAG در یک کار روزمره است: اول پیدا کردن متن مرتبط، بعد پاسخ دادن با کمک آن. اگر جواب در فایل نباشد، از دستیار بخواهید روشن بگوید پیدا نکرده است و چیزی به جای آن نسازد.