בקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית

[א.מ.ד.]

@sivan22 אתה מתכוון לזיקוק.
אבל בדרך כלל משתמשים בזה על מודל קיים, כמו המודלים הקטנים של דיפסיק שבנויים על המודלים של Qwen ו-Llama.
בשביל לבנות מאפס צריך ליצור מאות אלפי ואפילו מיליוני קטעים כאלו, ואז באמת האיכות גבוהה מאוד (מודלי Phi של מיקרוסופט אומנו בעיקר על נתונים כאלו, ונחשבו פריצת דרך בזמנם), אבל זו עבודה מטורפת ועלות גבוהה מאוד. אפשר להשתמש בזה מקסימום בשביל כוונון עדין מינימלי.

[CSS 0]

@א.מ.ד. כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

מערך הנתונים שמצאתי כולל 50 מיליון פיסקאות...

איזה?

(ת'אמת ראיתי משהו והוא שוקל 47GB זה זה?)

[א.מ.ד.]

@CSS-0 כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

איזה?

(ת'אמת ראיתי משהו והוא שוקל 47GB זה זה?)

איך קוראים לו? אני יגיד לך אם כן... בגדול אין יותר מידי מערכים גדולים בעברית אז סביר להניח שזה זה.

[CSS 0]

@א.מ.ד. HeDC4

[א.מ.ד.]

@CSS-0 לא חושב.

[CSS 0]

@א.מ.ד. https://huggingface.co/datasets/HeNLP/HeDC4

[א.מ.ד.]

@CSS-0 הוא נראה פחות איכותי. אולי זה תרגום מכונה כלשהו.

[CSS 0]

@א.מ.ד. כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

@CSS-0 הוא נראה פחות איכותי. אולי זה תרגום מכונה כלשהו.

מה זה מה שאתה מצאת?

[א.מ.ד.]

@CSS-0 כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

מה זה מה שאתה מצאת?

https://huggingface.co/datasets/Moveo/hebrew_pretrain_v1_4baseData

[עידו300]

כמה המירך צריך להיות גדול?
ומה צריך להיות כתוב בו

[א.מ.ד.]

@עידו300 כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

כמה המירך צריך להיות גדול?
ומה צריך להיות כתוב בו

צריך להיות בו לפחות מיליארד טוקנים בשביל מודל בסביבות ה-2B, אבל הם צריכים להיות נקיים ואיכותיים, בלי זבל אינטרנט ותגיות HTML וכדומה.

[עידו300]

@א.מ.ד. כמה זה כל טוקן?
אם לדוגמא נבקש מהם להשתמש בגליונות, יש שם המון חומר איכותי מקצועי בעברית ולא שטויות. אני פשוט לא יודע כמה זה כל טוקן.

[המלאך]

@עידו300 זה תלוי בשפה.
עברית לדוגמא זה די מורכב.
בגדול בשפות רגילות זה מחולק למילה.
בעברית זה תלוי איזה מילים.
לדוגמא "הלכתי" מחולק ל2- "הלכ" "תי".
זה קצת קשה להסבר.. [סתם כך יש כמה סוגי דרכים לפרק מילה לטוקנים..]
בכל מקרה האתר הזה לדוגמא [בלי להיכנס לעניין משפטי שזה כמובן אסור ומוגן בזכויות יוצרים] יש הרבה תגיות html יש צורך להוריד רווחים וכותרות.
אחרי זה מחלקים לקטעים, אחרי זה אתה משתמש tokenizer של המודל לפירוק לטוקנים..
לדעתי לא נראה לי אפשרי לצורך שלך לעשות אימון מלא של מודל.
זה פשוט לא יהיה יעיל יחסית להשקעה.
פשוט תלך על ראג'.

[המלאך]

פוסט זה נמחק!

[א.מ.ד.]

@עידו300 כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

אם לדוגמא נבקש מהם להשתמש בגליונות, יש שם המון חומר איכותי מקצועי בעברית ולא שטויות. אני פשוט לא יודע כמה זה כל טוקן.

אני חושב שלא ממש הבנת מה הכמויות שצריך בשביל לאמן מודל מאפס. קח את כל האינטרנט העברי, וזה לא יספיק לאימון של מודל קטן.

@המלאך כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

@עידו300 זה תלוי בשפה.
עברית לדוגמא זה די מורכב.
בגדול בשפות רגילות זה מחולק למילה.
בעברית זה תלוי איזה מילים.
לדוגמא "הלכתי" מחולק ל2- "הלכ" "תי".
זה קצת קשה להסבר.. [סתם כך יש כמה סוגי דרכים לפרק מילה לטוקנים..]

כיום במודלים החדשים אין הבדל משמעותי בין עברית לאנגלית. הכל עניין של אימון הטוקנייזר.

[CSS 0]

@א.מ.ד. כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

קח את כל האינטרנט העברי, וזה לא יספיק לאימון של מודל קטן.

מקווה בשביך שאתה אמרת בציניות.... ולא ברצינות
(אלא עם אתה אוחז שכל האינטרנט העברי שוקל 250GB של נתונים שהשגתי לאימון... זה כל האינטרנט העברי.)

Spoiler

שדרך אגב בשעות אלה אני עושה כוונות למודל על 70GB של טקסט בעברית איכותי להביא אותו ל LOSS של 2.00000))
הגדרתי לו לרוץ עד 2,500 STOPS אבל כנראה שהו יצתרך פחות ומקווה שה 30 שעות בחודש של kaggle יספיקו לכוונון מודל...

[א.מ.ד.]

@CSS-0 כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

מקווה בשביך שאתה אמרת בציניות.... ולא ברצינות

ברצינות גמורה!

@CSS-0 כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

(אלא עם אתה אוחז שכל האינטרנט העברי שוקל 250GB של נתונים שהשגתי לאימון... זה כל האינטרנט העברי.)

זה כמעט כל האינטרנט העברי (הטקסטואלי), סביר להניח עם כפילויות רבות. רוב מערכי הנתונים בעברית חוזרים על עצמם. מציע לך לזרוק את כולם ולהשאיר את הנקי ביותר.

@CSS-0 כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

שדרך אגב בשעות אלה אני עושה כוונות למודל על 70GB של טקסט בעברית איכותי להביא אותו ל LOSS של 2.00000))
הגדרתי לו לרוץ עד 2,500 STOPS אבל כנראה שהו יצתרך פחות ומקווה שה 30 שעות בחודש של kaggle יספיקו לכוונון מודל...

כוונון זה סיפור אחר לגמרי, מספיק אפילו 500-2000 דוגמאות בלבד. כבר יש מודל תקין ורק צריך לכוונן אותו.

[CSS 0]

@א.מ.ד. אמממ המודל שלקחתי העברית שלו בלתי תקנית בעליל ככה שהכונון הזה די דרסטי (המודל שלקחתי זה: Qwen3-0.6B) ואני לא יודע כמה STOPS הוא יצתרך נחייה ונראה... (ב STOP ה 85 הוא אחז ב 3.4 כשב STOP ה 5 הוא אחז על 3.9

[CSS 0]

@א.מ.ד. ודרך אגב אתה אמרת שיש לך רק 3 שעות של כח חישוב כל יום, איך זה? ואיך אתה מסתדר עם זה? ולה אתה לא עובר ל kaggle? אומנם בסך הכללי זה פחות אבל ברצף זה יותר והמומחיות שלו זה שאתה מקבל GPU T4 X2 ל 30 שעות כל חודש...

[א.מ.ד.]

@CSS-0 כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

@א.מ.ד. אמממ המודל שלקחתי העברית שלו בלתי תקנית בעליל ככה שהכונון הזה די דרסטי (המודל שלקחתי זה: Qwen3-0.6B) ואני לא יודע כמה STOPS הוא יצתרך נחייה ונראה... (ב STOP ה 85 הוא אחז ב 3.4 כשב STOP ה 5 הוא אחז על 3.9

אתה מתכוון ל-steps...
לדעתי זה בזבוז משאבים. המודל הזה לא ייקלוט עברית. תנסה לכוונן מודל עם כיוון טוב בעברית, תחזק אצלו את הנושא הזה.
ואם כבר Qwen, למה לא Qwen3.5-0.8B?

@CSS-0 כתב בבקשת מידע | מודל אופליין להבנת טקסט בשפה טבעית:

@א.מ.ד. ודרך אגב אתה אמרת שיש לך רק 3 שעות של כח חישוב כל יום, איך זה? ואיך אתה מסתדר עם זה? ולה אתה לא עובר ל kaggle? אומנם בסך הכללי זה פחות אבל ברצף זה יותר והמומחיות שלו זה שאתה מקבל GPU T4 X2 ל 30 שעות כל חודש...

כי בקולאב יש לי בסה"כ כ-100 שעות GPU בחודש, וגם הוא הרבה יותר נוח.