کش پرامپت و کم کردن هزینه

اگر هر بار یک متن ثابت و طولانی می‌فرستید، برای یک متن چند بار پول می‌دهید.

۵ دقیقهدرس ۲ از ۹۰ از ۳ قدم

اگر برنامه‌تان هر بار یک دستور سیستم طولانی یا یک سند ثابت می‌فرستد، برای همان متن ثابت هر بار پول کامل می‌دهید. کش پرامپت برای همین است.

چطور حساب می‌شود

نوع توکننرخ
ورودی عادینرخ پایهٔ ورودی
نوشتن در کشکمی گران‌تر از ورودی عادی
خواندن از کشبسیار کمتر از ورودی عادی

نرخ دقیق هر مدل در صفحهٔ همان مدل است. اگر مدلی نرخ کش جدا نداشته باشد، کش برای آن مدل صرفه‌ای ندارد.

شرط کار کردن کش

کش فقط وقتی کار می‌کند که اول پرامپت بایت‌به‌بایت تکرار شود.

کوچک‌ترین فرق در اول متن، کل کش را بی‌اثر می‌کند. پس ترتیب را درست بچینید:

Python
messages = [
    # ثابت: همیشه یکسان و همیشه اول
    {"role": "system", "content": LONG_INSTRUCTIONS},
    # متغیر: بعد از بخش ثابت
    {"role": "user", "content": user_question},
]
  • بخش ثابت را همیشه اول بگذارید.
  • زمان فعلی، شناسهٔ تصادفی یا نام کاربر را در بخش ثابت نگذارید.
  • ترتیب ابزارها و schema آن‌ها را بین درخواست‌ها ثابت نگه دارید.

نگه‌داشتن گفت‌وگو روی یک مسیر

اگر session_id را در بدنه یا هدر x-session-id بفرستید، همهٔ پیام‌های یک گفت‌وگو از یک مسیر می‌روند تا کش گرم بماند، و در گزارش مصرف هم با همان شناسه پیدا می‌شوند. اگر نفرستید، سیستم تا جایی که بتواند از روی شروع گفت‌وگو خودش تشخیص می‌دهد.

سه کار دیگر برای کم کردن هزینه

  1. کارهای ساده را به مدل کوچک بدهید. فاصلهٔ قیمت رده‌ها اغلب چند برابر است.
  2. تصویر را پیش از فرستادن کوچک کنید. عکس ۴۰۰۰ پیکسلی معمولاً همان جواب را با چند برابر هزینه می‌دهد.
  3. فقط ابزارهایی را بفرستید که در آن قدم لازم‌اند. schema هر ابزار جزو ورودی حساب می‌شود.

ببینید کش کار می‌کند یا نه۰ از ۳ قدم

  1. یک درخواست با دستور سیستم بلند و ثابت بفرستید و بلافاصله همان را با سؤال دیگری تکرار کنید.
  2. در لاگ‌ها ستون «از cache» را برای درخواست دوم ببینید.
  3. اگر صفر ماند، یعنی اول پرامپت هنوز در هر درخواست فرق می‌کند، یا این مدل کش ندارد.

خلاصهٔ درس

  • بخش ثابت اول پرامپت باید بی‌تغییر تکرار شود.
  • ستون «از cache» نشان می‌دهد چقدر صرفه‌جویی شده است.
  • مدل کوچک، تصویر کوچک و ابزار کمتر هم هزینه را پایین می‌آورند.
stream و ابزارهامدل فقط متن می‌نویسد و کار اصلی را ابزار انجام می‌دهد. اینجا می‌بینید این دو چطور در یک حلقه به هم وصل می‌شوند.تمام کردم، درس بعد