לכלי הבינה מלאכותית יש קאש- זה אומר זיכרון זמני של הקשר השיחה הקודם שעליו לא נגבית מכסת טוקנים כל עוד הוא נשמר.
שיחה לדוגמא-
-כמה עולה שקית חלב
$ 6.5 שח
- היכן ניתן להשיג
$ בסופר הקרוב
כשהAI עונה את התשובה השניה- אם הפרומפט השני נשלח בתוך חלון הזמן של הקאש, הטוקנים יחושבו רק על ההודעה השניה. אבל אם הפרומפט השני נשלח לאחר חלון הזמן הזה הטוקנים יחושבו מתחילת ההקשר. זה אומר תחילת השיחה או פקודת הcompact האחרונה.
חלון הזמן לקאש בקלוד לצאט- 5 דקות. לקלוד קוד-שעה. בapi 5 דקות אלא אם כן מגדירים זאת באופן ידני ואז יש לזה עלות נוספת
לכן, אם אתה קם מהמחשב ומתכנן לחזור בעוד שעה וחצי הכי משתלם יהיה לשלוח בדרך כל שהיא הודעה אפילו סתמית כמו "." או "אל תעשה כלום" כדי לשמור את הקאש. אם זה ליותר זמן שוה לשקול לתת פקודת compact לתמצות השיחה למינימום טוקנים על ידי שהבינה יוצר לעצמו תקציר של מה היה עד עכשיו. לפעמים עלול להיות חיסרון בפקודה הזאת שהבינה לא תופס את הנקודות שמבחינתך הם חשובות וכשהשיחה תמשיך אחר כך הוא לא יתייחס לכל מה שדברתם לפני כן.
יש כמה דברים שגורמים לקאש להשכח לפני הזמן. למשל- שינוי הקונטקסט באמצע, שינוי המודל ועוד.
שינוי רמת החשיבה לא משכיח את הקאש.
לכן, אם רוצים לעשות compact כדי לחסוך טוקנים וכמו שהוזכר לעיל צריך לעשות את זה דווקא עם המודל הנוכחי אבל עם רמת חשיבה נמוכה. אחרת, כל הקונטקסט יטען מחדש וישרוף סתם את כל הטוקנים מההתחלה.
עוד רעיון- בקלוד שעדיין יש את מגבלת השעות- אם יש לך עוד שעה וחצי ולא בוער לך דווקא עכשיו לקבל תשובה- שוה לחכות 35 דקות או קצת יותר ולשלוח רק אז את הפרומפט הבא כדי למשוך את חלון הקאש לאחרי איפוס המכסה.
מקוה שיחסוך למישהו.
עוד רעיונות:
אל תתנו לבינה להשתמש בסאב אייגנט מכיון שהוא צריך ללמוד את כל ההקשר שלו מחדש. הרבה פעמים יותר זול שהוא בעצמו יעשה את העבודה.
דבר נוסף- לא תמיד יש הצדקה למעבר לרף חשיבה גבוה יותר. אנתרופיק טוענים שבאופוס 5 הם הגיעו ליעילות טוקנים לפי רמת החשיבה אבל במודלים אחרים התועלת בחשיבה ברמה גבוהה אפסית ביחס לעלות הטוקנים. אז כדאי לבדוק.
זה מדבר על המודלים בתשלום. לא יודע אם זה ככה גם בחינמיים. כתבתי ספציפית על קלוד אבל זה ככה גם באחרים.
 { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}