توکن

توکن (Token) تکه‌ای از متن است که مدل با آن کار می‌کند. متن را مثل یک پازل تصور کنید: ما جملهٔ کامل را می‌بینیم، اما مدل با قطعه‌های آن کار می‌کند.

قطعه‌های این پازل همیشه یک کلمهٔ کامل نیستند. یک قطعه ممکن است یک کلمه باشد و کلمهٔ دیگری به چند قطعه تقسیم شود. علامت‌های نگارشی و فاصله‌ها هم در این تقسیم نقش دارند. به همین دلیل، تعداد کلمه‌ها را نمی‌شود جای تعداد توکن گذاشت.

عدد ثابتی ندارد. هر مدل با روش مشخصی متن را تکه‌تکه می‌کند و ممکن است یک جمله برای دو مدل، تعداد توکن متفاوتی داشته باشد. شکل نوشتن کلمه و نیم‌فاصله هم اثر دارند. برای شمارش دقیق باید ابزار شمارش همان مدل را به کار برد.

ورودی، متن‌هایی است که مدل برای جواب دادن دریافت می‌کند؛ مثل پیام شما و بخش‌های لازم گفت‌وگوی قبلی. خروجی، پاسخی است که می‌سازد. در مثال پازل، هم قطعه‌هایی که می‌دهید حساب دارند و هم قطعه‌هایی که مدل برای جواب کنار هم می‌گذارد.

بسیاری از سرویس‌ها هزینه را با تعداد توکن حساب می‌کنند و ممکن است قیمت ورودی و خروجی متفاوت باشد. یک پیام بلند با جواب مفصل، لزوماً هم‌هزینهٔ یک سؤال کوتاه نیست. متن‌ها باید در جای محدود مدل هم جا شوند.

برای کمتر شدن مصرف، توضیح نامرتبط را کنار بگذارید و اگر جواب کوتاه کافی است، همان را بخواهید. اما شرط‌ها و اطلاعاتی را که مدل برای جواب درست نیاز دارد حذف نکنید. هزینهٔ تمام کردن یک کار را در هزینهٔ هر کار توضیح داده‌ایم.

توضیح Hugging Face دربارهٔ تکه‌تکه کردن متن، به زبان انگلیسی.

در گزارش مصرف سازمان در کانوکس، هزینه به تفکیک مدل و سرویس نمایش داده می‌شود. اگر مصرف بالا رفته، این گزارش کمک می‌کند ببینید سهم کدام بخش بیشتر است. بعد می‌توانید درخواست‌ها و طول جواب‌ها را بررسی کنید.