בקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית

[א.מ.ד.]

@המלאך מה פירוש הבנת טקסט?
אם אתה צריך הבנה בסיסית של שפה בשביל סיווג טקסט וכדו' בעברית ובאנגלית, הכי קטן כרגע זה DictaLM 3.0 1.7B, ואם הוא לא מספיק טוב אז Tiny-aya-global 3.35B.

[cannon]

פוסט זה נמחק!

[המלאך]

@א.מ.ד. אני מתכוון למודל בסגנון SmolLM. וסמולאלאם2.
המטרה שלי היא שיחזיר פורמט ג'סון, לא תגובה למשתמש.
אבל הם טיפשים מדי...
אני רוצה מודלים ייעודיים לNuExtract.

[CSS 0]

@המלאך יש את gemma3:1b או את gemma3:273m
השאלה עם לזה התכוונת שאמרת קטנים, עד כמה קטנים אתה מתכוון?

[המלאך]

@CSS-0 לא מודל טקסט רגיל.
מודל nlp שמחזיר פורמט ג'סון.
וקטנים זה כמו הסמולאלאם שהבאתי [1 זה 150m ו2זה 350m].

[א.מ.ד.]

@המלאך כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

@א.מ.ד. אני מתכוון למודל בסגנון SmolLM. וסמולאלאם2.

@CSS-0 כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

@המלאך יש את gemma3:1b או את gemma3:273m

לא טובים בעברית!!!

@המלאך כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

וקטנים זה כמו הסמולאלאם שהבאתי [1 זה 150m ו2זה 350m].

SmolLM 1 ו-2 הם באותם גדלים, יש של 135M ויש של 360M. שניהם מודלי טקסט רגילים, אבל כאמור אין להם חצי מושג בעברית גם הם מיושנים מאוד.

כדי לקבל פורמט JSON מדוייק, צריך להגדיר ב-LM Studio סכמת JSON, ואז התוכנה מזריקה את הפורמט הנדרש לתוך פלט המודל תוך כדי יצירה, והתוצאה היא פלט JSON מדוייק.
בשביל זה אתה צריך את המודלים שהזכרתי למעלה שטובים בעברית.

[המלאך]

@א.מ.ד. לכן כתבתי שהם לא חכמים.
הבעיה מתחילה בזה שאני לא רוצה כזה גודל.
יש מודל ייעודי לעברית?
(ת'אמת אני לא משתמש לזה לשימוש רגיל, יותר לשימוש פנימי לתוכנה, אבל בזה אני עוד אסתדר).

[א.מ.ד.]

@המלאך כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

יש מודל ייעודי לעברית?

חוץ ממה שאמרתי - לא.

[CSS 0]

@א.מ.ד. דרך אגב המודל שאתה אימנת, (אני יודע שזה לא קשור לפה..) מה היכולות שלו? ו..מתי אתה משיק אותו?

[א.מ.ד.]

@CSS-0 כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

@א.מ.ד. דרך אגב המודל שאתה אימנת, (אני יודע שזה לא קשור לפה..) מה היכולות שלו? ו..מתי אתה משיק אותו?

אני מתעסק בהרבה דברים במקביל, אז אין לי לו"ז לכלום.
היכולות שלו? כמובן מודל צעצוע, לא משהו עם יכולות דרמטיות. הרעיון שלי הוא להראות שתאורטית זה אפשרי לאמן מודלים קטנים בחינם.
יש את המודל שאני מסנן, שלו כן יש יכולות גבוהות.

[רציונל]

@א.מ.ד. כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

אני מתעסק בהרבה דברים במקביל, אז אין לי לו"ז לכלום.
היכולות שלו? כמובן מודל צעצוע, לא משהו עם יכולות דרמטיות. הרעיון שלי הוא להראות שתאורטית זה אפשרי לאמן מודלים קטנים בחינם.

אז כל עוד לא תפרסם אותו לא נראה שזה אכן אפשרי...

[CSS 0]

@א.מ.ד. אתה משווה את היכולות שלו בעברית לאיזה מודל קיים? הוא יעודי אך ורק לעברית? כווננת מודל או בנית מ - 0? מה היכולות שלו בקוד? מה הגודל שלו? ומתי אתה משיק?

[א.מ.ד.]

@רציונל כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

אז כל עוד לא תפרסם אותו לא נראה שזה אכן אפשרי...

אימון לוקח כמה שבועות, כן? יש לי רק בערך 3 שעות GPU חינם ביום, ואני משתמש בהם ל-3 מודלים שונים, ובנוסף בשבועיים האחרונים לא כ"כ היה לי זמן להתעסק עם האימון.
אבל כבר עכשיו הוא פולט טקסט עם הקשר ומראה לוגיקה מסויימת, ויכולות העברית שלו גבוהות מאוד. העניין הוא שהוא מיצה את הלימוד ממערך הנתונים הגדול שלי, ואני צריך לחפש מה להוסיף לו לאימון.

[א.מ.ד.]

@CSS-0 כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

@א.מ.ד. אתה משווה את היכולות שלו בעברית לאיזה מודל קיים?

כתבתי שלא.

@CSS-0 כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

הוא יעודי אך ורק לעברית?

כן.

@CSS-0 כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

כווננת מודל או בנית מ - 0?

כתבתי - יש מודל מאפס, ויש מודלים שאני מכוונן, כמו המודל המסונן שהוא כוונון עדין חזק במיוחד.

@CSS-0 כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

מה היכולות שלו בקוד?

קצת פחות מקלוד אופוס 4.6.

@CSS-0 כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

מה הגודל שלו?

0.6B פרמטרים.

@CSS-0 כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

ומתי אתה משיק?

כתבתי שאין לו"ז מטעמי עומס לו"ז.

[רציונל]

@א.מ.ד. כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

אני צריך לחפש מה להוסיף לו לאימון.

אם נוכל לעזור אתה צריך רק לבקש

[א.מ.ד.]

@רציונל כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

אם נוכל לעזור אתה צריך רק לבקש

אם יהיה צורך בעז"ה, תודה!
אבל בגדול זה עבודת נמלים לא אנושית. אני מחפש מערכי נתונים מוכנים בקוד פתוח.

[המלאך]

@א.מ.ד. כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

קצת פחות מקלוד אופוס 4.6.

???

[CSS 0]

@א.מ.ד. כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

מה הגודל שלו?

0.6B פרמטרים.

@א.מ.ד. כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

אתה משווה את היכולות שלו בעברית לאיזה מודל קיים?

כתבתי שלא.

זה לא סותר? הרי נקח למשל את gemma3:4b הוא אומן על 120 שפות שאנגלית בעיקר אז תחלק את זה שבערך 1B לאנגלית וכל השאר לשאר השפות זה אומר שלעברית יש בערך רק 30M לעברית אז איך יתכן ש 600M לא יותר טוב ממנו לעברית?

אני יודע שיש את ההקשר שהוא עושה בין שפות, אבל הגודל אמור לחפות על זה לא?

[א.מ.ד.]

@CSS-0 כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

זה לא סותר? הרי נקח למשל את gemma3:4b הוא אומן על 120 שפות שאנגלית בעיקר אז תחלק את זה שבערך 1B לאנגלית וכל השאר לשאר השפות זה אומר שלעברית יש בערך רק 30M לעברית אז איך יתכן ש 600M לא יותר טוב ממנו לעברית?

אני יודע שיש את ההקשר שהוא עושה בין שפות, אבל הגודל אמור לחפות על זה לא?

אני לא משווה יכולות, אבל אתה צודק - היכולות שלו בעברית נטו גדולות ממודלים שגדולים ממנו פי 4 ויותר. לא בגלל שהאימון שלי מיוחד, אלא בגלל שאין מודל בגודל הזה שאומן על עברית למעט בודדים.
רק בקוד הוא מפתיע כנ"ל.

[המלאך]

כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

@א.מ.ד. כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

קצת פחות מקלוד אופוס 4.6.

???

@א.מ.ד. כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

רק בקוד הוא מפתיע כנ"ל.

סלח לי?
קלוד אופוס 4.6????

Spoiler

אני מתחיל להתלבט אם זה ציניות או רצינות..