مستندات

کش پرامپت

چطور بخش ثابت پرامپت را کش کنید و صورتحساب را محسوس پایین بیاورید.

اگر برنامهٔ شما هر بار یک پرامپت سیستمی طولانی می‌فرستد، دارید بابت همان متن ثابت هر بار پول کامل می‌دهید. کش پرامپت دقیقاً همین را حل می‌کند.

چطور حساب می‌شود

نرخ دقیق هر مدل در صفحهٔ همان مدل آمده است. اگر مدلی نرخ کش جداگانه نداشته باشد، صفحه‌اش صریح می‌گوید — یعنی برای آن مدل کش صرفه‌ای ندارد، نه اینکه رایگان است.

شرط استفاده: ترتیب را ثابت نگه دارید

کش وقتی کار می‌کند که ابتدای پرامپت بایت‌به‌بایت تکرار شود. یک تفاوت کوچک در ابتدای متن، کل کش را بی‌اثر می‌کند.

messages = [
    # fixed — always identical, always first
    {"role": "system", "content": LONG_INSTRUCTIONS},
    # variable — after the fixed part
    {"role": "user", "content": user_question},
]

• بخش ثابت را همیشه اول بگذارید.
• زمان فعلی، شناسهٔ تصادفی یا نام کاربر را داخل بخش ثابت نبرید — آن‌ها را در پیام کاربر بگذارید.