הסבר | מה זה Vertex AI
-
@עידו300 כתב בהסבר | מה זה Vertex AI:
@NH.LOCAL משתנים לפי הענין.
נכון לעכשיו RAG בעיקראני חושב שבמקום כל החיפושים העקרים האלו, פשוט תקנה או תשכור חומרה חזקה ותריץ עליה שרת מקומי עם חזית המודלים המקומיים, ומאז התשלום יהיה רק חשמל (כמה אלפי שקלים בחודש לשימוש רציף).
או שתחכה עוד שנה, אולי אז מודלי 4B כבר יחזיקו ביכולות של 30B... -
@א.מ.ד. כתב בהסבר | מה זה Vertex AI:
אני חושב שבמקום כל החיפושים העקרים האלו, פשוט תקנה או תשכור חומרה חזקה ותריץ עליה שרת מקומי עם חזית המודלים המקומיים, ומאז התשלום יהיה רק חשמל (כמה אלפי שקלים בחודש לשימוש רציף).
או שתחכה עוד שנה, אולי אז מודלי 4B כבר יחזיקו ביכולות של 30B...לא רעיון מומלץ בכלל.
לכל היותר אפשר לשלם על API של מודלים פתוחים, שהם זולים הרבה יותר ממודלים קנייניים.
למשל דרך openroute, ראה כאן מודלים בתמחור נמוך לדוגמהעלות של הרצה עם שרת אישי תהיה גבוהה הרבה יותר ופחות יציבה.
אי אפשר להתחרות בעלויות הזולות של התפעול של ספקי API גדולים
@NH.LOCAL כתב בהסבר | מה זה Vertex AI:
לא רעיון מומלץ בכלל.
לכל היותר אפשר לשלם על API של מודלים פתוחים, שהם זולים הרבה יותר ממודלים קנייניים.
למשל דרך openrouterעלות של הרצה עם שרת אישי תהיה גבוהה הרבה יותר ופחות יציבה.
אי אפשר להתחרות בעלויות הזולות של התפעול של ספקי API גדולים
לא בטוח בכלל. הספקים גוזרים קופון שמן על הדרך לעצמם. הבנתי ממנו שהוא צריך כמויות גדולות, וגם RAG שותה טוקנים בקצב, אז עדיף לשכור שרת או חומרה פיזית.
יש גם נקודה חשובה של פרטיות, שהיא קריטית בעסקים. הספקים הגדולים מוכרים כל טוקן שעובר דרכם וזה המסבסד העיקרי.אין לי משג מה גודל העסק שלו, אבל אם הוא יציב ועם מספיק לקוחות עדיף לו בהחלט לרכוש כרטיסי מסך יד 2 ולהקים שרת ביתי.
מפתח אפליקציות אנדרואיד
em0548438097@gmail.com -
@NH.LOCAL כתב בהסבר | מה זה Vertex AI:
לא רעיון מומלץ בכלל.
לכל היותר אפשר לשלם על API של מודלים פתוחים, שהם זולים הרבה יותר ממודלים קנייניים.
למשל דרך openrouterעלות של הרצה עם שרת אישי תהיה גבוהה הרבה יותר ופחות יציבה.
אי אפשר להתחרות בעלויות הזולות של התפעול של ספקי API גדולים
לא בטוח בכלל. הספקים גוזרים קופון שמן על הדרך לעצמם. הבנתי ממנו שהוא צריך כמויות גדולות, וגם RAG שותה טוקנים בקצב, אז עדיף לשכור שרת או חומרה פיזית.
יש גם נקודה חשובה של פרטיות, שהיא קריטית בעסקים. הספקים הגדולים מוכרים כל טוקן שעובר דרכם וזה המסבסד העיקרי.אין לי משג מה גודל העסק שלו, אבל אם הוא יציב ועם מספיק לקוחות עדיף לו בהחלט לרכוש כרטיסי מסך יד 2 ולהקים שרת ביתי.
-
@NH.LOCAL כתב בהסבר | מה זה Vertex AI:
לא רעיון מומלץ בכלל.
לכל היותר אפשר לשלם על API של מודלים פתוחים, שהם זולים הרבה יותר ממודלים קנייניים.
למשל דרך openrouterעלות של הרצה עם שרת אישי תהיה גבוהה הרבה יותר ופחות יציבה.
אי אפשר להתחרות בעלויות הזולות של התפעול של ספקי API גדולים
לא בטוח בכלל. הספקים גוזרים קופון שמן על הדרך לעצמם. הבנתי ממנו שהוא צריך כמויות גדולות, וגם RAG שותה טוקנים בקצב, אז עדיף לשכור שרת או חומרה פיזית.
יש גם נקודה חשובה של פרטיות, שהיא קריטית בעסקים. הספקים הגדולים מוכרים כל טוקן שעובר דרכם וזה המסבסד העיקרי.אין לי משג מה גודל העסק שלו, אבל אם הוא יציב ועם מספיק לקוחות עדיף לו בהחלט לרכוש כרטיסי מסך יד 2 ולהקים שרת ביתי.
@א.מ.ד. אני מתקשה להאמין שזה יצא זול יותר. מעבר לעלויות הרכישה הראשוניות.
לספקי API גדולים יש אפשרות לייעל ולחסוך בעלויות חשמל ותפעול, בצורה שאין למשתמש פרטילדוגמה, ב-1000$ ניתן לרכוש שימוש במודל Gemma 4 31B בסדר גודל הבא בערך:
- 7.69 מיליארד טוקני קלט
- 2.63 מיליארד טוקני פלט
-
@עידו300 כתב בהסבר | מה זה Vertex AI:
@א.מ.ד. לא לא לא גדול בכלל, אבל מנסה להגדיל.
אז תתחיל מ-API של ספקים גדולים (תשווה כל הזמן כי הפערים גדולים) - זה הכי יציב כרגע וגם לא תשלם על זמן מת, כשתגדל עוד בעז"ה - תשכור שרת פרטי ותריץ בעצמך, וכשתגדל עוד תרכוש חומרה מתאימה. עלות כל ההקמה תעלה לך בין 15 ל-20 אלף, עם תשלום חודשי של כ-300 ש"ח לחודש על החשמל אם תשתמש נניח ב-10 מיליון טוקנים בחודש, וזה יכסה את עצמו תוך שנה.
-
@א.מ.ד. אני מתקשה להאמין שזה יצא זול יותר. מעבר לעלויות הרכישה הראשוניות.
לספקי API גדולים יש אפשרות לייעל ולחסוך בעלויות חשמל ותפעול, בצורה שאין למשתמש פרטילדוגמה, ב-1000$ ניתן לרכוש שימוש במודל Gemma 4 31B בסדר גודל הבא בערך:
- 7.69 מיליארד טוקני קלט
- 2.63 מיליארד טוקני פלט
@NH.LOCAL כתב בהסבר | מה זה Vertex AI:
@א.מ.ד. אני מתקשה להאמין שזה יצא זול יותר. מעבר לעלויות הרכישה הראשוניות.
לספקי API גדולים יש אפשרות לייעל ולחסוך בעלויות חשמל ותפעול, בצורה שאין למשתמש פרטיתחשב עלות API לעומת עלות חשמל... כמה מאות ש"ח לעומת כמה אלפי ש"ח בחודש...
מפתח אפליקציות אנדרואיד
em0548438097@gmail.com -
@NH.LOCAL כתב בהסבר | מה זה Vertex AI:
@א.מ.ד. אני מתקשה להאמין שזה יצא זול יותר. מעבר לעלויות הרכישה הראשוניות.
לספקי API גדולים יש אפשרות לייעל ולחסוך בעלויות חשמל ותפעול, בצורה שאין למשתמש פרטיתחשב עלות API לעומת עלות חשמל... כמה מאות ש"ח לעומת כמה אלפי ש"ח בחודש...
@א.מ.ד. כתב בהסבר | מה זה Vertex AI:
תחשב עלות API לעומת עלות חשמל... כמה מאות ש"ח לעומת כמה אלפי ש"ח בחודש...
@א.מ.ד. כתב בהסבר | מה זה Vertex AI:
אם תשתמש נניח ב-10 מיליון טוקנים בחודש, וזה יכסה את עצמו תוך שנה.
העלות של 10 מיליון טוקנים עם Gemma 4 31B היא בערך 7.5 שקל (!)
אפילו ג'מיני 3 פרו, יעלה בסביבות 210 ש"ח בלבד לכמות הזו.
ב-15 אלף ש"ח ניתן יהיה לרכוש כ-20 מליארד טוקנים, כמות שיכולה להחזיק את כל חברי הפורום למשך חודשים
חוששני שאתה לא מודע כמה מחירי המודלים הפתוחים (ומודלים בכלל) זולים דרך ממשקי API
וכמובן במקרה הנוכחי של @עידו300 זו הצעה לא רלוונטית כלל -
@א.מ.ד. כתב בהסבר | מה זה Vertex AI:
תחשב עלות API לעומת עלות חשמל... כמה מאות ש"ח לעומת כמה אלפי ש"ח בחודש...
@א.מ.ד. כתב בהסבר | מה זה Vertex AI:
אם תשתמש נניח ב-10 מיליון טוקנים בחודש, וזה יכסה את עצמו תוך שנה.
העלות של 10 מיליון טוקנים עם Gemma 4 31B היא בערך 7.5 שקל (!)
אפילו ג'מיני 3 פרו, יעלה בסביבות 210 ש"ח בלבד לכמות הזו.
ב-15 אלף ש"ח ניתן יהיה לרכוש כ-20 מליארד טוקנים, כמות שיכולה להחזיק את כל חברי הפורום למשך חודשים
חוששני שאתה לא מודע כמה מחירי המודלים הפתוחים (ומודלים בכלל) זולים דרך ממשקי API
וכמובן במקרה הנוכחי של @עידו300 זו הצעה לא רלוונטית כלל@NH.LOCAL אתה צודק, טעיתי עם הכמויות. חישבתי עכשיו, ועד 2-3 מיליארד טוקנים לחודש הכי משתלם זה API, יותר מזה הכי משתלם זה שכירת שרת, ומעל 8 מיליארד טוקנים כדאי לקנות חומרה יד 2.
כמובן זה כמויות אסטרונומיות של חברה גדולה. אז מסתבר שהכי יתאים כרגע זה אכן API עם מודל פתוח כמו שכתב @nh.local .
באמת הופתעתי מהמחירים ב-API. אני חושב להתחיל לשלם על זה במקום לרנדל בין ספקים חינמיים עם הגבלות קצב מציקות...אני כנראה מושפע מההתלהבות של r/LocalLLaMA שהדבר האחרון שמעניין אותם זה עלות...
מפתח אפליקציות אנדרואיד
em0548438097@gmail.com -
@NH.LOCAL אתה צודק, טעיתי עם הכמויות. חישבתי עכשיו, ועד 2-3 מיליארד טוקנים לחודש הכי משתלם זה API, יותר מזה הכי משתלם זה שכירת שרת, ומעל 8 מיליארד טוקנים כדאי לקנות חומרה יד 2.
כמובן זה כמויות אסטרונומיות של חברה גדולה. אז מסתבר שהכי יתאים כרגע זה אכן API עם מודל פתוח כמו שכתב @nh.local .
באמת הופתעתי מהמחירים ב-API. אני חושב להתחיל לשלם על זה במקום לרנדל בין ספקים חינמיים עם הגבלות קצב מציקות...אני כנראה מושפע מההתלהבות של r/LocalLLaMA שהדבר האחרון שמעניין אותם זה עלות...
@א.מ.ד. כתב בהסבר | מה זה Vertex AI:
אני כנראה מושפע מההתלהבות של r/LocalLLaMA שהדבר האחרון שמעניין אותם זה עלות...
למעשה מודלים מקומיים בהחלט משפיעים על העלות. רק בגלל שהם קיימים ניתן לרכוש API במחירים זולים כל כך...
וזה כמובן גם מכריח את החברות הגדולות להוריד מחירים על המודלים הקניניים -
@א.מ.ד. כתב בהסבר | מה זה Vertex AI:
אני כנראה מושפע מההתלהבות של r/LocalLLaMA שהדבר האחרון שמעניין אותם זה עלות...
למעשה מודלים מקומיים בהחלט משפיעים על העלות. רק בגלל שהם קיימים ניתן לרכוש API במחירים זולים כל כך...
וזה כמובן גם מכריח את החברות הגדולות להוריד מחירים על המודלים הקניניים -
@א.מ.ד. כתב בהסבר | מה זה Vertex AI:
תחשב עלות API לעומת עלות חשמל... כמה מאות ש"ח לעומת כמה אלפי ש"ח בחודש...
@א.מ.ד. כתב בהסבר | מה זה Vertex AI:
אם תשתמש נניח ב-10 מיליון טוקנים בחודש, וזה יכסה את עצמו תוך שנה.
העלות של 10 מיליון טוקנים עם Gemma 4 31B היא בערך 7.5 שקל (!)
אפילו ג'מיני 3 פרו, יעלה בסביבות 210 ש"ח בלבד לכמות הזו.
ב-15 אלף ש"ח ניתן יהיה לרכוש כ-20 מליארד טוקנים, כמות שיכולה להחזיק את כל חברי הפורום למשך חודשים
חוששני שאתה לא מודע כמה מחירי המודלים הפתוחים (ומודלים בכלל) זולים דרך ממשקי API
וכמובן במקרה הנוכחי של @עידו300 זו הצעה לא רלוונטית כלל -
-
@עידו300 טוב בהכל, זה מודל ממש טוב בקטגוריית המודלים הפתוחים הקטנים
השאלה שוב - מה הצרכים שלך(
 { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}