הסבר | מה זה Vertex AI
-
@צדיק-תמים יודע איך עובדים עם זה?
-
@צדיק-תמים התכוונתי, תכלס מה עושים שם איזה כלי מתאים לאיזו פעולה, אני רק רואה את כל האפשרויות שיש שם (הרי צריך להירשם לכל דבר, וצריך לדעת להירשם לדבר הנכון) ואני חוטף חום...
לא יודע מה זה כל דבר ואיך משתמשים בו. לא מצאתי מדריכים נורמאליים על זה, ולהשתמש בAI בתור מדריך אני לא סובל. -
@צדיק-תמים התכוונתי, תכלס מה עושים שם איזה כלי מתאים לאיזו פעולה, אני רק רואה את כל האפשרויות שיש שם (הרי צריך להירשם לכל דבר, וצריך לדעת להירשם לדבר הנכון) ואני חוטף חום...
לא יודע מה זה כל דבר ואיך משתמשים בו. לא מצאתי מדריכים נורמאליים על זה, ולהשתמש בAI בתור מדריך אני לא סובל. -
-
@אברהם-גלסר כתב בהסבר | מה זה Vertex AI:
@יוסף-הכהן אתה צריך לצאת מנקודת הנחה שאת הAI הוא יכול לשאול בעצמו.
ואתה צריך לצאת מנקודת הנחה שלא סתם שמתי בספוילר...
@אברהם-גלסר אתה לא צריך לרוץ להעביר ביקורת על כל דבר בשביל לקושש כמה לייקים
ראיתי שאף אחד לא ענה לו תשובה אז הבאתי לו תשובה מה AI בספוילר ואני עשיתי את זה אחרי שראיתי שאתר פה מפוצץ עם תשובות מהAI בספוילר@יוסף-הכהן זה שהרבה אנשים עושים משהו - לא הופך אותו למותר.
כדי לדעת אם משהו חוקי בפורום - תקרא את חוקי הפורום, ואל תסתכל על עוד 100 אנשים שבדיוק כמוך - כנראה לא קראו אותם.
זה שאף אחד לא ענה לו לא מתיר לך לתת לו תשובה מAI.
(וכהוכחה מציאותית לכך אתה יכול לראות שהוא כתב שכמובן שהוא כבר שאל את הAI... והוא לא הסביר טוב)
אני לא צוות פיקוח או משהו, רק רציתי להעיר את תשומת ליבך לדבר.
לילה טוב! -
@mefateach נשמע שהחלק המקצועי שם, לא?
-
@mefateach נשמע שהחלק המקצועי שם, לא?
-
@עידו300 זה מיועד לשימוש בכמויות סיטונאיות, לא בשבילך... נניח צ'אטבוט של חברת ביטוח ענקית בארה"ב שצורך עשרות מיליארדי טוקנים בשעה.
-
@א.מ.ד. @mefateach אפשר לכוונן דרך הai studio? rag? הבנתי שהוא נותן אופציות שא"א בסטודיו וגם יותר פרטיות כי המידע שלך לא מאמן את המודל שלהם, אלא כביכול נשאר שלך.
@עידו300 כתב בהסבר | מה זה Vertex AI:
@א.מ.ד. @mefateach אפשר לכוונן דרך הai studio? rag? הבנתי שהוא נותן אופציות שא"א בסטודיו וגם יותר פרטיות כי המידע שלך לא מאמן את המודל שלהם, אלא כביכול נשאר שלך.
גם ב-API הסטנדטרטי של ג'מיני המידע נשאר פרטי, רק צריך להשתמש במודל בתשלום
-
@עידו300 כתב בהסבר | מה זה Vertex AI:
@א.מ.ד. @mefateach אפשר לכוונן דרך הai studio? rag? הבנתי שהוא נותן אופציות שא"א בסטודיו וגם יותר פרטיות כי המידע שלך לא מאמן את המודל שלהם, אלא כביכול נשאר שלך.
גם ב-API הסטנדטרטי של ג'מיני המידע נשאר פרטי, רק צריך להשתמש במודל בתשלום
-
@עידו300 כתב בהסבר | מה זה Vertex AI:
@NH.LOCAL טוב, אבל לגבי כל שאר הדברים?
בוא נשאל ככה: מה בדיוק הצרכים שלך?
-
@עידו300 כתב בהסבר | מה זה Vertex AI:
@NH.LOCAL משתנים לפי הענין.
נכון לעכשיו RAG בעיקראני חושב שבמקום כל החיפושים העקרים האלו, פשוט תקנה או תשכור חומרה חזקה ותריץ עליה שרת מקומי עם חזית המודלים המקומיים, ומאז התשלום יהיה רק חשמל (כמה אלפי שקלים בחודש לשימוש רציף).
או שתחכה עוד שנה, אולי אז מודלי 4B כבר יחזיקו ביכולות של 30B...מפתח אפליקציות אנדרואיד
em0548438097@gmail.com -
@עידו300 כתב בהסבר | מה זה Vertex AI:
@NH.LOCAL משתנים לפי הענין.
נכון לעכשיו RAG בעיקראני חושב שבמקום כל החיפושים העקרים האלו, פשוט תקנה או תשכור חומרה חזקה ותריץ עליה שרת מקומי עם חזית המודלים המקומיים, ומאז התשלום יהיה רק חשמל (כמה אלפי שקלים בחודש לשימוש רציף).
או שתחכה עוד שנה, אולי אז מודלי 4B כבר יחזיקו ביכולות של 30B...@א.מ.ד. כתב בהסבר | מה זה Vertex AI:
אני חושב שבמקום כל החיפושים העקרים האלו, פשוט תקנה או תשכור חומרה חזקה ותריץ עליה שרת מקומי עם חזית המודלים המקומיים, ומאז התשלום יהיה רק חשמל (כמה אלפי שקלים בחודש לשימוש רציף).
או שתחכה עוד שנה, אולי אז מודלי 4B כבר יחזיקו ביכולות של 30B...לא רעיון מומלץ בכלל.
לכל היותר אפשר לשלם על API של מודלים פתוחים, שהם זולים הרבה יותר ממודלים קנייניים.
למשל דרך openroute, ראה כאן מודלים בתמחור נמוך לדוגמהעלות של הרצה עם שרת אישי תהיה גבוהה הרבה יותר ופחות יציבה.
אי אפשר להתחרות בעלויות הזולות של התפעול של ספקי API גדולים
-
@עידו300 כתב בהסבר | מה זה Vertex AI:
@NH.LOCAL משתנים לפי הענין.
נכון לעכשיו RAG בעיקראני חושב שבמקום כל החיפושים העקרים האלו, פשוט תקנה או תשכור חומרה חזקה ותריץ עליה שרת מקומי עם חזית המודלים המקומיים, ומאז התשלום יהיה רק חשמל (כמה אלפי שקלים בחודש לשימוש רציף).
או שתחכה עוד שנה, אולי אז מודלי 4B כבר יחזיקו ביכולות של 30B... -
@א.מ.ד. כתב בהסבר | מה זה Vertex AI:
אני חושב שבמקום כל החיפושים העקרים האלו, פשוט תקנה או תשכור חומרה חזקה ותריץ עליה שרת מקומי עם חזית המודלים המקומיים, ומאז התשלום יהיה רק חשמל (כמה אלפי שקלים בחודש לשימוש רציף).
או שתחכה עוד שנה, אולי אז מודלי 4B כבר יחזיקו ביכולות של 30B...לא רעיון מומלץ בכלל.
לכל היותר אפשר לשלם על API של מודלים פתוחים, שהם זולים הרבה יותר ממודלים קנייניים.
למשל דרך openroute, ראה כאן מודלים בתמחור נמוך לדוגמהעלות של הרצה עם שרת אישי תהיה גבוהה הרבה יותר ופחות יציבה.
אי אפשר להתחרות בעלויות הזולות של התפעול של ספקי API גדולים
@NH.LOCAL כתב בהסבר | מה זה Vertex AI:
לא רעיון מומלץ בכלל.
לכל היותר אפשר לשלם על API של מודלים פתוחים, שהם זולים הרבה יותר ממודלים קנייניים.
למשל דרך openrouterעלות של הרצה עם שרת אישי תהיה גבוהה הרבה יותר ופחות יציבה.
אי אפשר להתחרות בעלויות הזולות של התפעול של ספקי API גדולים
לא בטוח בכלל. הספקים גוזרים קופון שמן על הדרך לעצמם. הבנתי ממנו שהוא צריך כמויות גדולות, וגם RAG שותה טוקנים בקצב, אז עדיף לשכור שרת או חומרה פיזית.
יש גם נקודה חשובה של פרטיות, שהיא קריטית בעסקים. הספקים הגדולים מוכרים כל טוקן שעובר דרכם וזה המסבסד העיקרי.אין לי משג מה גודל העסק שלו, אבל אם הוא יציב ועם מספיק לקוחות עדיף לו בהחלט לרכוש כרטיסי מסך יד 2 ולהקים שרת ביתי.
מפתח אפליקציות אנדרואיד
em0548438097@gmail.com -
@NH.LOCAL כתב בהסבר | מה זה Vertex AI:
לא רעיון מומלץ בכלל.
לכל היותר אפשר לשלם על API של מודלים פתוחים, שהם זולים הרבה יותר ממודלים קנייניים.
למשל דרך openrouterעלות של הרצה עם שרת אישי תהיה גבוהה הרבה יותר ופחות יציבה.
אי אפשר להתחרות בעלויות הזולות של התפעול של ספקי API גדולים
לא בטוח בכלל. הספקים גוזרים קופון שמן על הדרך לעצמם. הבנתי ממנו שהוא צריך כמויות גדולות, וגם RAG שותה טוקנים בקצב, אז עדיף לשכור שרת או חומרה פיזית.
יש גם נקודה חשובה של פרטיות, שהיא קריטית בעסקים. הספקים הגדולים מוכרים כל טוקן שעובר דרכם וזה המסבסד העיקרי.אין לי משג מה גודל העסק שלו, אבל אם הוא יציב ועם מספיק לקוחות עדיף לו בהחלט לרכוש כרטיסי מסך יד 2 ולהקים שרת ביתי.
-
@NH.LOCAL כתב בהסבר | מה זה Vertex AI:
לא רעיון מומלץ בכלל.
לכל היותר אפשר לשלם על API של מודלים פתוחים, שהם זולים הרבה יותר ממודלים קנייניים.
למשל דרך openrouterעלות של הרצה עם שרת אישי תהיה גבוהה הרבה יותר ופחות יציבה.
אי אפשר להתחרות בעלויות הזולות של התפעול של ספקי API גדולים
לא בטוח בכלל. הספקים גוזרים קופון שמן על הדרך לעצמם. הבנתי ממנו שהוא צריך כמויות גדולות, וגם RAG שותה טוקנים בקצב, אז עדיף לשכור שרת או חומרה פיזית.
יש גם נקודה חשובה של פרטיות, שהיא קריטית בעסקים. הספקים הגדולים מוכרים כל טוקן שעובר דרכם וזה המסבסד העיקרי.אין לי משג מה גודל העסק שלו, אבל אם הוא יציב ועם מספיק לקוחות עדיף לו בהחלט לרכוש כרטיסי מסך יד 2 ולהקים שרת ביתי.
@א.מ.ד. אני מתקשה להאמין שזה יצא זול יותר. מעבר לעלויות הרכישה הראשוניות.
לספקי API גדולים יש אפשרות לייעל ולחסוך בעלויות חשמל ותפעול, בצורה שאין למשתמש פרטילדוגמה, ב-1000$ ניתן לרכוש שימוש במודל Gemma 4 31B בסדר גודל הבא בערך:
- 7.69 מיליארד טוקני קלט
- 2.63 מיליארד טוקני פלט
-
@עידו300 כתב בהסבר | מה זה Vertex AI:
@א.מ.ד. לא לא לא גדול בכלל, אבל מנסה להגדיל.
אז תתחיל מ-API של ספקים גדולים (תשווה כל הזמן כי הפערים גדולים) - זה הכי יציב כרגע וגם לא תשלם על זמן מת, כשתגדל עוד בעז"ה - תשכור שרת פרטי ותריץ בעצמך, וכשתגדל עוד תרכוש חומרה מתאימה. עלות כל ההקמה תעלה לך בין 15 ל-20 אלף, עם תשלום חודשי של כ-300 ש"ח לחודש על החשמל אם תשתמש נניח ב-10 מיליון טוקנים בחודש, וזה יכסה את עצמו תוך שנה.
 { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}