هزینهٔ هر کار

هزینهٔ هر کار (Cost per Task) یعنی برای انجام یک کار مشخص، در مجموع چقدر پول مصرف شده است. مثل چاپ یک جزوه: فقط قیمت هر صفحه مهم نیست؛ باید ببینید چند صفحه و چند بار چاپ کرده‌اید.

در کار با مدل هم ممکن است یک جواب کوتاه کافی باشد یا لازم شود چند بار توضیح بدهید و پاسخ تازه بگیرید. متن ورودی، جواب‌ها و تلاش‌های دوباره روی هزینه اثر دارند. برای همین، مدلی با قیمت پایین‌تر هر توکن لزوماً کار را ارزان‌تر تمام نمی‌کند.

در جدول‌های ما، عدد Artificial Analysis میانگین هزینهٔ انجام مسئله‌های آزمون خودش است؛ با در نظر گرفتن تعداد توکن‌های مصرف‌شده و قیمت آن‌ها. این عدد برآورد هزینهٔ کار روزمرهٔ شما یا مبلغ اشتراک یک برنامه نیست.

اول مشخص کنید چه چیزی را یک کار تمام‌شده می‌دانید؛ مثلاً خلاصه‌ای که نکته‌های اصلی گزارش را درست نگه داشته است. چند گزارش شبیه کار واقعی امتحان کنید و هزینهٔ همهٔ تلاش‌ها را یادداشت کنید. تعداد دفعات اصلاح را هم نگه دارید.

اگر یک مدل جواب ارزان اما پر از خطا می‌دهد، فقط هزینهٔ اولین پاسخ را با مدل دیگر مقایسه نکنید. امتیاز مدل و سرعت نوشتن کمک می‌کنند، اما جای دیدن نتیجهٔ واقعی را نمی‌گیرند.

تعریف هزینهٔ هر کار در Artificial Analysis، به زبان انگلیسی. روش در ۲۴ اکتبر ۲۰۲۶ بررسی شده است.