בקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית

[א.מ.ד.]

@המלאך כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

יש מודל ייעודי לעברית?

חוץ ממה שאמרתי - לא.

[CSS 0]

@א.מ.ד. דרך אגב המודל שאתה אימנת, (אני יודע שזה לא קשור לפה..) מה היכולות שלו? ו..מתי אתה משיק אותו?

[א.מ.ד.]

@CSS-0 כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

@א.מ.ד. דרך אגב המודל שאתה אימנת, (אני יודע שזה לא קשור לפה..) מה היכולות שלו? ו..מתי אתה משיק אותו?

אני מתעסק בהרבה דברים במקביל, אז אין לי לו"ז לכלום.
היכולות שלו? כמובן מודל צעצוע, לא משהו עם יכולות דרמטיות. הרעיון שלי הוא להראות שתאורטית זה אפשרי לאמן מודלים קטנים בחינם.
יש את המודל שאני מסנן, שלו כן יש יכולות גבוהות.

[רציונל]

@א.מ.ד. כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

אני מתעסק בהרבה דברים במקביל, אז אין לי לו"ז לכלום.
היכולות שלו? כמובן מודל צעצוע, לא משהו עם יכולות דרמטיות. הרעיון שלי הוא להראות שתאורטית זה אפשרי לאמן מודלים קטנים בחינם.

אז כל עוד לא תפרסם אותו לא נראה שזה אכן אפשרי...

[CSS 0]

@א.מ.ד. אתה משווה את היכולות שלו בעברית לאיזה מודל קיים? הוא יעודי אך ורק לעברית? כווננת מודל או בנית מ - 0? מה היכולות שלו בקוד? מה הגודל שלו? ומתי אתה משיק?

[א.מ.ד.]

@רציונל כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

אז כל עוד לא תפרסם אותו לא נראה שזה אכן אפשרי...

אימון לוקח כמה שבועות, כן? יש לי רק בערך 3 שעות GPU חינם ביום, ואני משתמש בהם ל-3 מודלים שונים, ובנוסף בשבועיים האחרונים לא כ"כ היה לי זמן להתעסק עם האימון.
אבל כבר עכשיו הוא פולט טקסט עם הקשר ומראה לוגיקה מסויימת, ויכולות העברית שלו גבוהות מאוד. העניין הוא שהוא מיצה את הלימוד ממערך הנתונים הגדול שלי, ואני צריך לחפש מה להוסיף לו לאימון.

[א.מ.ד.]

@CSS-0 כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

@א.מ.ד. אתה משווה את היכולות שלו בעברית לאיזה מודל קיים?

כתבתי שלא.

@CSS-0 כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

הוא יעודי אך ורק לעברית?

כן.

@CSS-0 כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

כווננת מודל או בנית מ - 0?

כתבתי - יש מודל מאפס, ויש מודלים שאני מכוונן, כמו המודל המסונן שהוא כוונון עדין חזק במיוחד.

@CSS-0 כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

מה היכולות שלו בקוד?

קצת פחות מקלוד אופוס 4.6.

@CSS-0 כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

מה הגודל שלו?

0.6B פרמטרים.

@CSS-0 כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

ומתי אתה משיק?

כתבתי שאין לו"ז מטעמי עומס לו"ז.

[רציונל]

@א.מ.ד. כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

אני צריך לחפש מה להוסיף לו לאימון.

אם נוכל לעזור אתה צריך רק לבקש

[א.מ.ד.]

@רציונל כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

אם נוכל לעזור אתה צריך רק לבקש

אם יהיה צורך בעז"ה, תודה!
אבל בגדול זה עבודת נמלים לא אנושית. אני מחפש מערכי נתונים מוכנים בקוד פתוח.

[המלאך]

@א.מ.ד. כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

קצת פחות מקלוד אופוס 4.6.

???

[CSS 0]

@א.מ.ד. כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

מה הגודל שלו?

0.6B פרמטרים.

@א.מ.ד. כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

אתה משווה את היכולות שלו בעברית לאיזה מודל קיים?

כתבתי שלא.

זה לא סותר? הרי נקח למשל את gemma3:4b הוא אומן על 120 שפות שאנגלית בעיקר אז תחלק את זה שבערך 1B לאנגלית וכל השאר לשאר השפות זה אומר שלעברית יש בערך רק 30M לעברית אז איך יתכן ש 600M לא יותר טוב ממנו לעברית?

אני יודע שיש את ההקשר שהוא עושה בין שפות, אבל הגודל אמור לחפות על זה לא?

[א.מ.ד.]

@CSS-0 כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

זה לא סותר? הרי נקח למשל את gemma3:4b הוא אומן על 120 שפות שאנגלית בעיקר אז תחלק את זה שבערך 1B לאנגלית וכל השאר לשאר השפות זה אומר שלעברית יש בערך רק 30M לעברית אז איך יתכן ש 600M לא יותר טוב ממנו לעברית?

אני יודע שיש את ההקשר שהוא עושה בין שפות, אבל הגודל אמור לחפות על זה לא?

אני לא משווה יכולות, אבל אתה צודק - היכולות שלו בעברית נטו גדולות ממודלים שגדולים ממנו פי 4 ויותר. לא בגלל שהאימון שלי מיוחד, אלא בגלל שאין מודל בגודל הזה שאומן על עברית למעט בודדים.
רק בקוד הוא מפתיע כנ"ל.

[המלאך]

כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

@א.מ.ד. כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

קצת פחות מקלוד אופוס 4.6.

???

@א.מ.ד. כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

רק בקוד הוא מפתיע כנ"ל.

סלח לי?
קלוד אופוס 4.6????

Spoiler

אני מתחיל להתלבט אם זה ציניות או רצינות..

[א.מ.ד.]

@המלאך כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

סלח לי?
קלוד אופוס 4.6????

לא! קצת פחות.

[CSS 0]

@א.מ.ד. מה זאת אומרת בקוד הוא מפתיעה??? כי אני חושב שמה שאמרת על אופוס 4.6 היה בדיחה נכון? והם ביכולות בעברית הוא יותר טוב מ gemma4:a26b ?

ומה זה בשבילך קצת פחות?? כי אני לא חושב ש מודל של 0.6B אמור להגיע ל 0.0000000001 מאופוס 4.6?

[שלמה רביב]

@א.מ.ד. אם כל הכבוד (ויש כ"כ הרבה כבוד!)
אני לא חושב שכ"כ קל להתחרות באופוס 4.6...
גם לא להגיע לרמה קרובה.

[א.מ.ד.]

@CSS-0 כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

@א.מ.ד. מה זאת אומרת בקוד הוא מפתיעה???

שבתחרות מול קלוד אופוס 4.6 הוא מגיע למקום שני!!!!!!

[המלאך]

@CSS-0 כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

ומה זה בשבילך קצת פחות?? כי אני לא חושב ש מודל של 0.6B אמור להגיע ל 0.0000000001 מאופוס 4.6?

טכנית זה 0.000000000000000000000000000000000000000000000000000000001 ממנו.
זה כמה מלייארדי פרמטרים.
וזה כמה מאות טרליארדי..
@א.מ.ד. התחרות הייתה בינו לבין קלוד והוא מקום שני? (ואחרון)..

[א.מ.ד.]

@המלאך כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

@א.מ.ד. התחרות הייתה בינו לבין קלוד והוא מקום שני? (ואחרון)..

וקלוד הגיע למקום אחד לפני האחרון!!!

[המלאך]

@א.מ.ד.

טוב. אבל לפחות בעברית הוא מקום ראשון מהסוף?