رزرو و تسویه: max_tokens چطور موجودی را قفل می‌کند

یک عدد در درخواست شما تعیین می‌کند موجودی‌تان برای چند درخواست هم‌زمان کافی است.

۵ دقیقهدرس ۱ از ۹۰ از ۳ قدم

پیش از اینکه هر درخواست پولی اجرا شود، مبلغی از موجودی شما کنار گذاشته می‌شود. جواب که تمام شد، هزینهٔ واقعی جایش را می‌گیرد و بقیه آزاد می‌شود. خیلی از رفتارهایی که اولش عجیب به نظر می‌رسند، از همین سازوکار ساده می‌آیند.

رزرو چطور حساب می‌شود

برای chat، مبلغ رزرو این است: هزینهٔ پرامپت به‌علاوهٔ سقف خروجی. سقف خروجی همان max_tokens شماست. اگر آن را نفرستید، حداکثر خروجی خود مدل حساب می‌شود.

  1. هزینه تخمین زده می‌شود و همان مبلغ از موجودی رزرو می‌شود.
  2. درخواست به مدل می‌رود و جواب می‌آید.
  3. هزینهٔ واقعی حساب می‌شود؛ رزرو آزاد و فقط مبلغ واقعی کم می‌شود.

اگر max_tokens را خیلی بزرگ بگذارید، برای هر درخواست مبلغ زیادی بلوکه می‌شود، حتی وقتی جواب کوتاه باشد.

اثرش روی درخواست‌های هم‌زمان

درخواست‌های هم‌زمان هر کدام رزرو خودشان را می‌گیرند. فرض کنید ده worker موازی دارید و هر کدام با سقف خروجی بزرگ کار می‌کند. بیشتر موجودی در رزرو گیر می‌افتد و درخواست یازدهم خطا می‌گیرد، با اینکه خرج واقعی کم است.

در این حالت سیستم این‌طور رفتار می‌کند:

  • اگر max_tokens نفرستید و موجودی به سقف نرسد، سقف همان درخواست تا جایی که موجودی می‌رسد پایین می‌آید.
  • اگر خودتان max_tokens بفرستید و موجودی نرسد، خطای ۴۰۲ می‌گیرید و پیام خطا می‌گوید موجودی‌تان تا چه عددی کافی است.
برای هر نوع درخواست یک max_tokens واقع‌بینانه بگذارید. هم رزروها کوچک‌تر می‌شوند و هم کمتر به insufficient_balance می‌خورید.

هزینهٔ درخواستی که قطع شود

پس از رسیدن اولین بایت جواب، دیگر نمی‌شود مدل را عوض کرد. اگر stream وسط راه قطع شود، توکن‌هایی که تا آن لحظه تولید شده‌اند حساب می‌شوند. برای جواب‌های طولانی، متن دریافتی را سمت خودتان نگه دارید.

دسته‌های توکن

هر توکن فقط در یک دسته حساب می‌شود: ورودی عادی، نوشتن در کش، خواندن از کش، خروجی، استدلال، تصویر و صدا. بعضی مدل‌ها برای پرامپت‌های خیلی بلند نرخ بالاتری دارند. همهٔ نرخ‌ها به ریال در صفحهٔ هر مدل آمده است.

هزینهٔ واقعی را ببینید۰ از ۳ قدم

  1. یک درخواست با max_tokens برابر ۵۰۰ بفرستید و جوابی کوتاه بگیرید.
  2. در جواب، usage.cost_rial را ببینید.
  3. در لاگ‌ها هزینه را با آنچه رزرو شده بود مقایسه کنید: فقط مبلغ واقعی کم شده است.

خلاصهٔ درس

  • رزرو برابر هزینهٔ پرامپت به‌علاوهٔ سقف خروجی است.
  • max_tokens واقع‌بینانه جای بیشتری برای درخواست‌های هم‌زمان باز می‌کند.
  • درس بعد راه ارزان کردن پرامپت‌های تکراری را می‌بینیم.
کش پرامپت و کم کردن هزینهاگر هر بار یک متن ثابت و طولانی می‌فرستید، برای یک متن چند بار پول می‌دهید.تمام کردم، درس بعد