שיתוף | gemini 2.5 pro - מת.

[מתושלח-הישראלי]

למה לא להשתמש ב google ai studio יש שם מכסה חינמית גדולה מאד

[מתושלח-הישראלי]

פוסט זה נמחק!

[לאצי]

מה זה בעצם gemma? למה הוא מיועד ומה היכולות שלו? כי אני רואה שיש לו עדיין (!) כמות נאה של קצב בקשות. 30 בקשות לדקה, 15K טוקנים לדקה, 14.4K בקשות ליום. זה אולי לא מספיק בשביל תוכנה/פרויקט ציבורי, אבל בהחלט מספיק לפרויקטים קטנים או פרטיים. השאלה מה זה בכלל.

Spoiler

@מתושלח-הישראלי כתב בשיתוף | gemini 2.5 pro - מת.:

מי זה @אין

שלום @מתושלח-הישראלי וברוך הבא לפורום.
נראה שאתה חדש בפורום ולא מכיר את כל הכללים\סדר הנושאים בפורום.
למען הנוחות והתועלת של כולנו, יש בפורום כללים. מי שעובר עליהם עלול להחסם וחבל
אז אני ממליץ לך לקרוא את חוקי הפורום ואת המדריך למשתמש (למרות שהמדריך לא רלוונטי בחלק מהפרטים בשל עדכוני תוכנה שהפורום עבר, עדיין מומלץ מאוד לעבור עליו), ככה שתבין טוב יותר איך הכל כאן עובד.
בהצלחה והמשך שימוש נעים!

מקור וקרדיט: https://mitmachim.top/post/994076

[י. פל.]

@לאצי
מודל קטן, מיועד להרצה מקומית על מכשירים חלשים.
מעין PHI של מיקרוספוט.

[א.מ.ד.]

@לאצי כתב בשיתוף | gemini 2.5 pro - מת.:

groq

זו לא חברה שמפתחת מודלים אלא מריצה מודלים על השבבים המהירים שלה, עם מגבלות חינמיות מסוימות.

@לאצי כתב בשיתוף | gemini 2.5 pro - מת.:

mistral ai

לא ידוע לי על מכסה חינמית אצלם, אבל אתה יכול להריץ מקומית חלק מהמודלים שלהם לפי רמת המחשב שלך.

[חובבן מקצועי]

@י.-פל. כתב בשיתוף | gemini 2.5 pro - מת.:

הpro עכשיו לא זמין בחינמי בכלל

בכלל? אני מצליח לשאול 3 שאלות... או שאתה מדבר על API?

Spoiler

יותר נכון הייתי צריך לשאול - למה בדיוק כוונת בכתיבת הפוסט? איפה הוא לא זמין?!

[א.מ.ד.]

@א.מ. כתב בשיתוף | gemini 2.5 pro - מת.:

@א.מ.ד. כתב בשיתוף | gemini 2.5 pro - מת.:

זה רק מוכיח כמה בינה מלאכותית בקוד פתוח ומקומית חשובה והכרחית, וכדאי לכל אחד לשקלל את זה ברכישת מחשב חדש - שיתאים להרצת מודלים מקומיים איכותיים בקלות ובמהירות, לא רק עבור מצבי אופליין או פרטיות אלא גם בשביל שימוש יומיומי ב-AI.

לא לכל אחד שווה להשקיע 20-30 אלף ש"ח בשביל מחשב שיריץ מודלים הרבה פחות טובים...

אני לא מדבר על תחנות עבודה להרצה של DEEPSEEK באופן מקומי. אני מדבר על שימושים יומיומיים של ידע, סיכומי טקסט וכדומה. בשביל זה מספיק GEMMA 3 27B, וכשיצא GEMMA 4 הוא מן הסתם יהיה הרבה יותר טוב, ואפשר גם לחבר אותם ל-MCP וחיפוש בגוגל. בשביל מודלים בסדר גודל כזה מספיק מחשב עם 32 RAM, ואם GEMMA 4 יהיה מודל MOE אז גם יעזור מאוד VRAM של 4 ג'יגה. לא סיפור כזה יקר, עניין של אלפיה או שתיים. צריך לזכור ש-99% מהמשתמשים ב-AI בעולם זה לא למשימות קידוד מורכבות וכדומה. בשביל זה אכן כדאי לשלם על מנוי פרו בג'מיני.

[א.מ.ד.]

@לאצי כתב בשיתוף | gemini 2.5 pro - מת.:

מה זה בעצם gemma? למה הוא מיועד ומה היכולות שלו? כי אני רואה שיש לו עדיין (!) כמות נאה של קצב בקשות. 30 בקשות לדקה, 15K טוקנים לדקה, 14.4K בקשות ליום. זה אולי לא מספיק בשביל תוכנה/פרויקט ציבורי, אבל בהחלט מספיק לפרויקטים קטנים או פרטיים. השאלה מה זה בכלל.

יש כמה גדלים של Gemma 3, החל מ-270M פרמטרים שנועד לסיווג טקסט ונתונים מובנים, ובעיקר לאימון מותאם אישית, ועד ל-27B פרמטרים. באמצע יש הרבה גדלים, והסוג הכי טוב להרצה מקומית על מחשבים ופלאפונים ממוצעים זה Gemma 3n E4B, שטוב בעברית ועם ידע יחסית נרחב והוא משתמש בארכיטקטורת MOE (תערובת מומחים - שימוש בחלק קטן ממספר הפרמטרים עבור כל טוקן, מה שמאיץ משמעותית את ההסקה). אני משתמש בו הרבה. הוא מקבל כקלט טקסט, תמונה ואודיו.
אתה יכול להשתמש בו לפרוייקטים קטנים, אבל שים לב שאין לו יכולת חיפוש באינטרנט, שאותה תצטרך לשלב בעצמך בפרוייקט אם זה נצרך.

[א.מ.]

@א.מ.ד. כתב בשיתוף | gemini 2.5 pro - מת.:

ואפשר גם לחבר אותם ל-MCP וחיפוש בגוגל

מורכב מאוד.

@א.מ.ד. כתב בשיתוף | gemini 2.5 pro - מת.:

וכשיצא GEMMA 4 הוא מן הסתם יהיה הרבה יותר טוב

הלוואי...

המודל המקומי הכי טוב למחשב סביר שאני מכיר (ומשתמש בו) כיום הוא gpt-oss-20b.

[א.מ.ד.]

@א.מ. כתב בשיתוף | gemini 2.5 pro - מת.:

מורכב מאוד.

יש תוספים פשוטים ב-LM STUDIO ובאפליקציות נוספות