هزینه ایجنت هوش مصنوعی؛ یک درخواست، چند مرحله مصرف

هزینه ایجنت هوش مصنوعی فقط به طول جوابی که می‌بینید بستگی ندارد. یک پیام کوتاه شما ممکن است باعث خواندن دستورها و سابقهٔ گفتگو، چند بار استفاده از مدل و ابزار، جست‌وجوی اسناد یا تبدیل صدا به متن شود.

ایجنت، دستیاری است که برای انجام کار از ابزارها کمک می‌گیرد؛ مثل همکاری که برای نوشتن یک گزارش، دستور کار را می‌خواند، پرونده‌ها را پیدا می‌کند و چند نکته را بررسی می‌کند. گزارش نهایی شاید یک صفحه باشد، اما کار انجام‌شده فقط نوشتن همان یک صفحه نیست.

• کدام بخش‌های کار مصرف ایجاد می‌کنند؟
• چرا تعداد پیام یا کلمه برای برآورد کافی نیست؟
• چطور مصرف اضافه را کم کنیم؟
• کانوکس چطور مصرف را مدیریت می‌کند؟

فرض کنید یک فایل صوتی می‌فرستید و می‌خواهید دستیار با مراجعه به اسناد شرکت، گزارش پیگیری آماده کند. همهٔ درخواست‌ها به همهٔ مرحله‌های زیر نیاز ندارند، اما این کار می‌تواند چند بخش را کنار هم داشته باشد.

هر پردازش، لزوماً یک هزینهٔ جدا در حساب شما نیست. دستور اصلی و متن اسناد معمولاً در مصرف ورودی مدل قرار می‌گیرند؛ نباید همان متن را دوباره به‌عنوان هزینه‌ای مستقل جمع زد. ابزار هم فقط زمانی هزینهٔ سرویس جدا دارد که خدمت مربوط چنین هزینه‌ای داشته باشد.

در سرویس‌های متنی، مصرف معمولاً با توکن شمرده می‌شود؛ توکن تکه‌ای از متن است و با کلمه یکی نیست. یک پیام فارسی کوتاه، وقتی همراه دستور اصلی، سابقه و چند بخش از سند به مدل می‌رسد، می‌تواند ورودی بزرگ‌تری از چیزی باشد که در کادر پیام می‌بینید.

گفتگوی طولانی و فراخوانی ابزارها هم این ورودی را تغییر می‌دهند. شیوهٔ استفادهٔ دوباره از متن‌های قبلی و نرخ مدل روی هزینه اثر دارند؛ پس نمی‌توان از تعداد پیام یا طول جواب، مبلغ قطعی نتیجه گرفت. راهنمای آنتروپیک دربارهٔ اطلاعات همراه درخواست هم دستورها، ابزارها، منابع بیرونی و تاریخچه را بخش‌های همین ورودی می‌داند.

برای برآورد، یک کار پرتکرار را تا رسیدن به خروجی قابل استفاده دنبال کنید. مصرف اجرای ناموفق و اصلاح‌ها را هم ببینید. «یک گزارش آماده شد» معیار بهتری از «سه پیام فرستادیم» است، چون همهٔ مرحله‌های رسیدن به گزارش را در نظر می‌گیرد.

اول خروجی و منابع لازم را روشن کنید. اگر فقط خلاصهٔ یک فایل را می‌خواهید، جست‌وجوی کل مجموعهٔ اسناد کمکی نمی‌کند. اگر ابزار مدام نتیجهٔ نامرتبط می‌آورد، پیش از تکرار، سؤال یا منبع را اصلاح کنید. بیشترکردن سهمیه، علت اجرای ناموفق را برطرف نمی‌کند.

دستور اصلی باید روشن و متناسب با کار باشد. گفتگوهای نامرتبط را به یک کار تازه نکشانید و فقط اطلاعات لازم را در اختیار دستیار بگذارید. کاهش مصرف را کنار کیفیت بسنجید؛ حذف سندی که برای پاسخ لازم است، ممکن است فقط هزینهٔ اصلاح را بیشتر کند.

این مطلب دربارهٔ مصرف هنگام اجرای دستیار است. برای آموزش کارکنان، راه‌اندازی و هزینه‌های دیگر پروژه، راهنمای هزینهٔ هوش مصنوعی سازمانی را ببینید.

در کانوکس، مصرف و ماندهٔ اعتبار اعضا قابل مشاهده است. گزارش‌ها کمک می‌کنند مصرف را به تفکیک عضو، سرویس، مدل و گفتگو بررسی کنید. اگر مصرف بالا رفت، می‌توانید ببینید افزایش به کدام فرد، گفتگو یا نوع خدمت مربوط است؛ مثلاً استفادهٔ بیشتر از مدل یا تبدیل صدا.

خدمت‌های مختلف با اعتبار مشترک کانوکس محاسبه می‌شوند تا پیگیری آن‌ها در یک محیط انجام شود. برای بررسی روزمره، لازم نیست هزینهٔ هر سرویس بیرونی را خودتان جداگانه کنار هم بگذارید.

سهمیهٔ مصرف اعضا، محدودیت ورودی و مدل‌های در دسترس به پلن و تنظیمات حساب وابسته‌اند. این محدودیت‌ها در سامانه بررسی می‌شوند؛ صرفاً جمله‌ای در پیام دستیار نیستند. در استفادهٔ سازمانی، عضو می‌تواند اعتبار بیشتر درخواست کند و مدیر دربارهٔ آن تصمیم بگیرد.

به این ترتیب، رشد استفاده را می‌توان با گزارش‌ها و نیاز واقعی تیم بررسی کرد. اگر کسی مرتب به محدودیت می‌رسد، مشخص می‌شود آیا به سهمیهٔ بیشتری نیاز دارد یا باید روش انجام کارش اصلاح شود. راهنمای کنترل مصرف تیم این پیگیری را توضیح می‌دهد.

کانوکس برای ادامهٔ گفتگوهای طولانی از خلاصه‌سازی خودکار استفاده می‌کند تا لازم نباشد همیشه تمام سابقه در ورودی بماند. در شیوهٔ فعلی محاسبه، خودِ این خلاصه‌سازی و عملیات امبدینگ برای جست‌وجوی اسناد، هزینهٔ اعتباری جداگانه از کاربر کم نمی‌کنند. اما متن بازیابی‌شده‌ای که مدل برای پاسخ می‌خواند، همچنان می‌تواند بخشی از مصرف همان مدل باشد.

هدف، کم‌کردن بی‌دلیل توان دستیار نیست؛ روشن‌بودن مصرف و تصمیم‌گیری دربارهٔ آن است. در دموی سازمانی کانوکس، می‌توانیم یکی از کارهای واقعی تیمتان را مبنا بگذاریم و گزارش مصرف، سهمیه‌ها و مسیر افزایش اعتبار را با هم بررسی کنیم.