پنجره زمینه

پنجره زمینه (Context Window) یعنی مدل هنگام پاسخ دادن چقدر متن را می‌تواند یک‌جا در اختیار داشته باشد. آن را مثل اندازهٔ یک میز کار تصور کنید.

برای نوشتن یک گزارش، چند کاغذ روی میز گذاشته‌اید: سؤال‌ها، یادداشت‌ها و متن قبلی گزارش. تا وقتی همه روی میز جا می‌شوند، می‌توانید به آن‌ها رجوع کنید. اگر کاغذها زیاد شوند، باید بعضی را کنار بگذارید یا از چند صفحه، یک یادداشت کوتاه بسازید.

برای مدل هم پیام شما، بخش‌هایی از گفت‌وگوی قبلی و متن‌هایی که در اختیارش گذاشته می‌شود جا می‌خواهند. پاسخ تازه هم از همین ظرفیت استفاده می‌کند. به همین دلیل، ظرفیت مدل فقط برای فایلی که می‌فرستید نیست.

در گفت‌وگوی طولانی ممکن است همهٔ پیام‌های قبلی به مدل داده نشوند. برنامه می‌تواند بخشی را حذف یا خلاصه کند. مثل کاغذی که دیگر روی میز نیست، آن پیام هم ممکن است هنگام نوشتن جواب پیش روی مدل نباشد. البته جا افتادن یک نکته همیشه از کمبود جا نیست؛ مدل ممکن است به نکته‌ای که جلویش هست هم توجه نکند.

جا داشتن با درست استفاده کردن فرق دارد. میز بزرگ‌تر کاغذ بیشتری نگه می‌دارد، اما پیدا کردن نکتهٔ مهم میان آن‌ها هنوز کار می‌خواهد. متن مرتبط و سؤال روشن، معمولاً از فرستادن انبوه نوشته‌های نامرتبط کمک بیشتری می‌کند.

نه. در همین مثال، حافظه مثل کشوی میز است: اطلاعاتی برای بعد نگه داشته می‌شود. اما برای استفاده، باید بخش لازم از کشو بیرون بیاید و روی میز قرار بگیرد. داشتن حافظه به این معنی نیست که همهٔ گفت‌وگوهای گذشته همیشه جلوی مدل‌اند.

ظرفیت را معمولاً با توکن می‌گویند؛ تکه‌های کوچکی که مدل متن را با آن‌ها می‌خواند و می‌نویسد. تعداد توکن با تعداد کلمه یکی نیست. برای آشنایی با خود مدل، مدل زبانی بزرگ را بخوانید.

توضیح آنتروپیک دربارهٔ متن‌های بزرگ و پیدا کردن بخش‌های لازم، به زبان انگلیسی.

اگر هر بار گفت‌وگوی تازه‌ای باز کنید، نمی‌خواهید دوباره توضیح بدهید چه کاری دارید و چه جور پاسخی به دردتان می‌خورد. حافظهٔ کانوکس مثل کشوی همان میز است: اطلاعات لازم را برای مراجعهٔ بعدی نگه می‌دارد. این حافظه دو لایه دارد:

• اطلاعات ثابت و ترجیح‌ها: خلاصه‌ای کوتاه که در اختیار مدل قرار می‌گیرد؛ مثلاً معلم علوم هستید و توضیح کوتاه با مثال را ترجیح می‌دهید. مثل یادداشتی که همیشه دم دستتان است.
• یادداشت‌های قابل جست‌وجو: اطلاعاتی مثل نکته‌های یک پروژه که لازم نیست همیشه جلوی مدل باشند. کانوکس هنگام نیاز در آن‌ها جست‌وجو می‌کند و بخش مرتبط را به گفت‌وگو می‌آورد؛ مثل پیدا کردن کاغذ موردنیاز از داخل کشو.

اطلاعات شخصی و کاری هم جدا نگه داشته می‌شوند. علاقهٔ شما به عکاسی مربوط به خودتان است؛ سمت و مسئولیت‌هایتان به محل کارتان مربوط‌اند. در حساب سازمانی، دستیار می‌تواند اطلاعات سازمان و تیم را هم با توجه به دسترسی شما بخواند.

پس اگر در گفت‌وگویی تازه از کانوکس برای آماده کردن درس کمک بخواهید، اطلاعاتی که دربارهٔ شغلتان ذخیره شده می‌تواند به کار بیاید. داشتن حافظه به معنی دیدن همهٔ گذشته نیست. بخش لازم هنوز باید از کشو بیرون بیاید و روی میز، یعنی در پنجرهٔ زمینه، جا بگیرد.

در یک گفت‌وگوی طولانی، کاغذهای روی میز کم‌کم زیاد می‌شوند. وقتی متن به ظرفیت مدل نزدیک شود، کانوکس برای ادامهٔ کار این مراحل را انجام می‌دهد:

1. از پیام‌های قدیمی‌تر خلاصه می‌سازد. هدف کار، تصمیم‌ها، شرط‌های مهم و کارهای باقی‌مانده در یک یادداشت کوتاه جمع می‌شوند.
2. خلاصه را کنار پیام‌های تازه به مدل می‌دهد. به‌جای چندین کاغذ، یک یادداشت روی میز می‌ماند تا برای ادامهٔ کار جا باز شود.
3. اصل پیام‌ها را در تاریخچه نگه می‌دارد. شما همچنان می‌توانید پیام‌های قبلی را بخوانید، اما مدل برای پاسخ تازه لزوماً متن کامل همهٔ آن‌ها را نمی‌بیند.

خلاصه‌سازی برای ادامهٔ همین گفت‌وگوست؛ حافظه برای استفادهٔ بعدی از اطلاعات. خلاصه ممکن است جزئیاتی را جا بیندازد. اگر عدد، نام یا شرطی برای درخواست تازه مهم است، همان را دوباره روشن بنویسید.