انتخاب مدل مناسب برای هر کار

گران‌ترین مدل همیشه بهترین انتخاب نیست؛ گاهی برای همان کار ده برابر پول می‌دهید.

۶ دقیقهدرس ۳ از ۸۰ از ۳ قدم

وسوسهٔ همیشگی این است که سراغ قوی‌ترین مدل برویم. ولی برای تشخیص زبان یک جمله یا طبقه‌بندی یک نظر، مدل کوچک همان جواب را با کسری از قیمت می‌دهد.

از کار شروع کنید، نه از اسم مدل

کارشروع با
طبقه‌بندی، استخراج، خلاصهٔ کوتاهمدل کوچک و ارزان
جواب به مشتری، نوشتن، ترجمهمیان‌رده
کد پیچیده، استدلال چندمرحله‌ایمدل قوی یا مدل استدلالی
خواندن عکس یا سندمدلی که ورودی تصویر یا فایل دارد

صفحهٔ هر مدل چه می‌گوید

در صفحهٔ مدل‌ها مدل را باز کنید. این بخش‌ها به کارتان می‌آید:

  • در یک نگاه: طول context، حداکثر خروجی و سرعت.
  • قیمت و هزینه: قیمت هر یک میلیون توکن به ریال و قیمت‌های شرطی اگر داشته باشد.
  • عملکرد: زمان رسیدن اولین توکن و سرعت تولید، با منبع هر عدد.
  • قابلیت‌ها: ورودی تصویر، ابزارها، استدلال و از این قبیل.
  • هم‌رده‌ها: مدل‌های مشابه برای مقایسه.

طول context یعنی چند توکن را می‌شود یک‌جا به مدل داد. برای گفت‌وگوهای بلند و ایجنت‌ها این عدد مهم است. برای مقایسهٔ مدل‌ها با هم، رتبه‌بندی را هم ببینید.

برای مقایسه حدس نزنید: همان نمونه‌ها را از دو مدل بگذرانید و هزینهٔ هر کدام را در لاگ ببینید.

اگر نمی‌خواهید خودتان انتخاب کنید

پک‌ها برای همین‌اند: یک نام برای چند مدل، مثل iranrouter/auto:cheap، iranrouter/auto:balanced و iranrouter/auto:best، و پک‌های دیگری که در صفحهٔ مدل‌ها می‌بینید. هر پک فهرستی از چند مدل است که ما به‌روز نگهش می‌داریم و اگر مدلی جواب نداد، سراغ بعدی می‌رود. همیشه قیمت مدلی را می‌دهید که واقعاً جواب داده و اسم همان مدل در لاگ می‌آید.

برای کارهایی که باید همیشه یکسان رفتار کنند، شناسهٔ ثابت یک مدل بهتر است، چون فهرست مدل‌های auto به‌مرور عوض می‌شود.

دو مدل را مقایسه کنید۰ از ۳ قدم

  1. یک سؤال ثابت بنویسید.
  2. آن را یک بار با یک مدل ارزان و یک بار با یک مدل گران‌تر بفرستید.
  3. کیفیت جواب و ستون هزینه را در لاگ‌ها مقایسه کنید.

خلاصهٔ درس

  • اول کار را مشخص کنید، بعد مدل را.
  • صفحهٔ هر مدل قیمت، عملکرد و قابلیت‌ها را می‌گوید.
  • درس بعد لاگ‌ها را با هم می‌خوانیم.
خواندن صفحهٔ «مصرف و لاگ‌ها»هر درخواست اینجا ثبت می‌شود: کدام مدل جواب داد، چند توکن رفت، چقدر خرج داشت و اگر خطا داد، اشکال از کدام طرف بود.تمام کردم، درس بعد