شاخص ارزش کانوکس

فرض کنید می‌خواهید از بین چند دستیار، یکی را برای انجام کار انتخاب کنید. توانایی بیشتر مهم است، اما دستمزد را هم می‌سنجید. انتخاب فقط بر اساس کمترین دستمزد یا بیشترین توانایی، همهٔ ماجرا را نشان نمی‌دهد. شاخص ارزش کانوکس همین دو جنبه را برای مدل‌های هوش مصنوعی کنار هم می‌گذارد.

دادهٔ اول، شاخص هوشمندی مدل است؛ در فهرست فعلی از امتیاز ثبت‌شدهٔ Artificial Analysis استفاده می‌کنیم. دادهٔ دوم، قیمت یک میلیون توکن خروجی به دلار است.

فقط مدل‌های منتشرشده و عمومی در همان زبان صفحه، با هر دو مقدار معتبر، مبنای مقایسه‌اند. مدل دارای دادهٔ ناقص امتیاز نمی‌گیرد و در محاسبهٔ امتیاز بقیه هم وارد نمی‌شود. مدل‌های پیش‌نویس نیز مبنای این فهرست نیستند.

عدد هوش و قیمت واحد یکسانی ندارند. ابتدا برای هر معیار، مقدار میانی فهرست را پیدا می‌کنیم؛ یعنی میانه. بعد میزان پراکندگی عددها را می‌سنجیم؛ این مقدار «انحراف معیار» نام دارد. فاصلهٔ هر مدل از میانه را بر انحراف معیار تقسیم می‌کنیم تا بتوانیم دو معیار را با هم مقایسه کنیم.

هوش بیشتر امتیاز را بالا می‌برد و قیمت بیشتر آن را پایین می‌آورد. وزن این دو معیار برابر است. پاداش و جریمهٔ هر معیار هم با قدرت یکسان اعمال می‌شوند: اگر یک فاصلهٔ مشخص امتیاز خام را چند برابر کند، همان فاصله در جهت مخالف آن را بر همان عدد تقسیم می‌کند.

پس از محاسبهٔ امتیاز خام همهٔ مدل‌ها، پایین‌ترین امتیاز به صفر و بالاترین به صد تبدیل می‌شود. بقیه متناسب با جای خود بین این دو قرار می‌گیرند. صد یعنی بالاترین امتیاز در همین فهرست، نه مدل بی‌نقص یا بهترین مدل برای هر کاری. اگر امتیاز خام همه برابر باشد، به همه امتیاز پنجاه می‌دهیم.

مثلاً فرض کنید امتیاز خام مدل‌ها از ۲۰ تا ۲۲۰ باشد. امتیاز خام ۱۷۰ در این بازه به ۷۵ از صد تبدیل می‌شود. این یک مثال فرضی برای توضیح تبدیل امتیاز است.

شاخص ارزش کانوکس را با داده‌های تازه و بازبینی روش امتیازدهی بهبود می‌دهیم تا مقایسهٔ مدل‌ها دقیق‌تر و کاربردی‌تر شود. با اضافه شدن مدل‌ها و اصلاح داده‌های هوش و قیمت، امتیازها دوباره محاسبه می‌شوند.

بهتر شدن شاخص به معنی بالاتر رفتن همیشگی عدد هر مدل نیست. امتیاز یک مدل ممکن است بیشتر یا کمتر شود؛ هدف، مقایسهٔ بهتر مدل‌های فهرست است.