رزرو و تسویه: max_tokens چطور موجودی را قفل میکند
یک عدد در درخواست شما تعیین میکند موجودیتان برای چند درخواست همزمان کافی است.
پیش از اینکه هر درخواست پولی اجرا شود، مبلغی از موجودی شما کنار گذاشته میشود. جواب که تمام شد، هزینهٔ واقعی جایش را میگیرد و بقیه آزاد میشود. خیلی از رفتارهایی که اولش عجیب به نظر میرسند، از همین سازوکار ساده میآیند.
رزرو چطور حساب میشود
برای chat، مبلغ رزرو این است: هزینهٔ پرامپت بهعلاوهٔ سقف خروجی. سقف خروجی همان max_tokens شماست. اگر آن را نفرستید، حداکثر خروجی خود مدل حساب میشود.
- هزینه تخمین زده میشود و همان مبلغ از موجودی رزرو میشود.
- درخواست به مدل میرود و جواب میآید.
- هزینهٔ واقعی حساب میشود؛ رزرو آزاد و فقط مبلغ واقعی کم میشود.
اگر max_tokens را خیلی بزرگ بگذارید، برای هر درخواست مبلغ زیادی بلوکه میشود، حتی وقتی جواب کوتاه باشد.
اثرش روی درخواستهای همزمان
درخواستهای همزمان هر کدام رزرو خودشان را میگیرند. فرض کنید ده worker موازی دارید و هر کدام با سقف خروجی بزرگ کار میکند. بیشتر موجودی در رزرو گیر میافتد و درخواست یازدهم خطا میگیرد، با اینکه خرج واقعی کم است.
در این حالت سیستم اینطور رفتار میکند:
- اگر
max_tokensنفرستید و موجودی به سقف نرسد، سقف همان درخواست تا جایی که موجودی میرسد پایین میآید. - اگر خودتان
max_tokensبفرستید و موجودی نرسد، خطای ۴۰۲ میگیرید و پیام خطا میگوید موجودیتان تا چه عددی کافی است.
max_tokens واقعبینانه بگذارید. هم رزروها کوچکتر میشوند و هم کمتر به insufficient_balance میخورید.هزینهٔ درخواستی که قطع شود
پس از رسیدن اولین بایت جواب، دیگر نمیشود مدل را عوض کرد. اگر stream وسط راه قطع شود، توکنهایی که تا آن لحظه تولید شدهاند حساب میشوند. برای جوابهای طولانی، متن دریافتی را سمت خودتان نگه دارید.
دستههای توکن
هر توکن فقط در یک دسته حساب میشود: ورودی عادی، نوشتن در کش، خواندن از کش، خروجی، استدلال، تصویر و صدا. بعضی مدلها برای پرامپتهای خیلی بلند نرخ بالاتری دارند. همهٔ نرخها به ریال در صفحهٔ هر مدل آمده است.
هزینهٔ واقعی را ببینید۰ از ۳ قدم
- یک درخواست با
max_tokensبرابر ۵۰۰ بفرستید و جوابی کوتاه بگیرید. - در جواب،
usage.cost_rialرا ببینید. - در لاگها هزینه را با آنچه رزرو شده بود مقایسه کنید: فقط مبلغ واقعی کم شده است.
خلاصهٔ درس
- رزرو برابر هزینهٔ پرامپت بهعلاوهٔ سقف خروجی است.
max_tokensواقعبینانه جای بیشتری برای درخواستهای همزمان باز میکند.- درس بعد راه ارزان کردن پرامپتهای تکراری را میبینیم.
وارد شوید تا پیشرفتتان بماند
اگر وارد پنل شوید، مسیرتان و جایی که در هر درس بودید ذخیره میشود و روی هر دستگاهی از همانجا ادامه میدهید.