מדריך | כמה דברים שלא אפשריים עם מודלים מקומיים!!!
-
ואל תגידו לי שהמודלים יותר בעיתיים - כי הם לא.
למה לא?
באונליין יש עליהם לכה"פ ניסיון סינון של נטפרי. -
כמה דברים שלא אפשריים עם מודלים מקומיים!!
-
אי אפשר להריץ מודל על המחשב אם אין לך 16 ראם וכרטיס מסך של אינבידיה, או שאתה משתמש בספארק MoE של @א.מ.ד.
-
אי אפשר להריץ מודל של מעל טריליון פרמטרים על המחשב לא דיפסיק לא glm 5 ולא שום דבר אחר.
-
אי אפשר לצפות ממודל מקומי שיהיה חכם כמו קלוד או gpt.
-
אי אפשר לצפות שתוכלו להריץ ברקע שני דפדפנים, אוצריא, וורד, vs code, וכלי קימפול של rust.
-
הוא לא יכול לפתוח לך דפדפן או כל דבר אחר אם לא תאפשר לו את זה באמצעות api של חיפוש או mcp לדפדפנים תומכים.
-
אי אפשר לדחוף לא את כל הידע עליך מאז שנולדת ובאותו צאט לצפות שיענה לך על חידת מסלולי המעגל המודולרי.
-
אי אפשר לעדכן אותו במידע חדש ולצפות שידע לענות על סמך המידע בלי לעשות אימון מחדש.
-
לזהות פרצות זרו דיי כמו פייבל 5.
-
לדעת איך קוראים לך ומה המידת נעליים של סבתא שלך.
-
לצפות שלשאול על זה במתמחים טופ יפתור את אחת הבעיות דלעיל.
לזהות פרצות זרו דיי כמו פייבל 5.
או כמו mythos... יישר כח על עוד מדריך יעיל, לצאצאי האנשים שאינם יודעים מה זה מחשב!!
לענ"ד זה אחד החלקים המרכזיים בפורום, לספק ידע בסיסי טכנולוגי, כי לא לומדים דברים כאלה בחיידר. אז המדריכים האלה הם עבודת קודש הכרחית...
רבותיי בבקשה להמשיך להגיב, שזה יקפוץ ויראו כל הזקוקים למידע חשוב זה!
-
-
לזהות פרצות זרו דיי כמו פייבל 5.
או כמו mythos... יישר כח על עוד מדריך יעיל, לצאצאי האנשים שאינם יודעים מה זה מחשב!!
לענ"ד זה אחד החלקים המרכזיים בפורום, לספק ידע בסיסי טכנולוגי, כי לא לומדים דברים כאלה בחיידר. אז המדריכים האלה הם עבודת קודש הכרחית...
רבותיי בבקשה להמשיך להגיב, שזה יקפוץ ויראו כל הזקוקים למידע חשוב זה!
-
@המלאך די מוזר לי שבפורום חרדי אתה לא מזכיר את היתרון בהימנעות מאינטרנט
ואל תגידו לי שהמודלים יותר בעיתיים - כי הם לא.@בנימין-מחשבים רק עכשיו ראיתי את זה,
אתה צודק וודאי,
אבל דיברתי על חסרונות במודלים אופליין, לא ייתרונות..
והפוסט הזה שלי-המלאך כתב:
בלי מגבלות שעתיות או שבועיות או חודשיות,
פרטיות,
מה שבמחשבך נשאר שלך,
ופרוגריסיבם ושנאת המערב.התכוונתי לאנשים בעולם.
לא דווקא חרדים.. -
ה המלאך התייחס לנושא זה
-
לזהות פרצות זרו דיי כמו פייבל 5.
אא"כ תאמן אותו על כל המאגרים שפייבל התאמן עליהם
אי אפשר לצפות שתוכלו להריץ ברקע שני דפדפנים, אוצריא, וורד, vs code, וכלי קימפול של rust.
למה לא? 64 ראם יסחוב את זה..עזוב..אפילו המחשב לי סוחב את כל מה שאמרת (למרות שהוא על 86 מעלות זה עניין אחר מה זה עושה לכרטיס מסך)
על איזה מחשב דיברת?
-
לזהות פרצות זרו דיי כמו פייבל 5.
אא"כ תאמן אותו על כל המאגרים שפייבל התאמן עליהם
אי אפשר לצפות שתוכלו להריץ ברקע שני דפדפנים, אוצריא, וורד, vs code, וכלי קימפול של rust.
למה לא? 64 ראם יסחוב את זה..עזוב..אפילו המחשב לי סוחב את כל מה שאמרת (למרות שהוא על 86 מעלות זה עניין אחר מה זה עושה לכרטיס מסך)
על איזה מחשב דיברת?
אא"כ תאמן אותו על כל המאגרים שפייבל התאמן עליהם
לא קשור, הכמות מידע שפייבל אומן היא כמות אדירה, טכנית זה לא נכנס במודלים קטנים. (כמובן שזה נכון לעכשיו, אני מאמין שעוד כמה שנים ישפרו ויזקקו היטב את התוכן, והלוגיקה תשתפר - ואז מודל 'חכם' כמו פייבל 5 (בדגש על חכם, לא בכמות ידע) יוכל לרוץ גם על מחשב ביתי)
@Nils-Sjoberg כתב במדריך | כמה דברים שלא אפשריים עם מודלים מקומיים!!!:
על איזה מחשב דיברת?
הוא דיבר על כל מחשב ביתי ממוצע, שאין לו כרטיס מסך עם מאות/עשרות ג'יגה.
-
אא"כ תאמן אותו על כל המאגרים שפייבל התאמן עליהם
לא קשור, הכמות מידע שפייבל אומן היא כמות אדירה, טכנית זה לא נכנס במודלים קטנים. (כמובן שזה נכון לעכשיו, אני מאמין שעוד כמה שנים ישפרו ויזקקו היטב את התוכן, והלוגיקה תשתפר - ואז מודל 'חכם' כמו פייבל 5 (בדגש על חכם, לא בכמות ידע) יוכל לרוץ גם על מחשב ביתי)
@Nils-Sjoberg כתב במדריך | כמה דברים שלא אפשריים עם מודלים מקומיים!!!:
על איזה מחשב דיברת?
הוא דיבר על כל מחשב ביתי ממוצע, שאין לו כרטיס מסך עם מאות/עשרות ג'יגה.
(בדגש על חכם, לא בכמות ידע)
אלא ?!
וכבר אמרו חז"ל "אין חכמת אדם מגעת אלא עד מקום שספריו מגיעין"
אלא אם כן תחדש שAI מסוגל ליותר -
(בדגש על חכם, לא בכמות ידע)
אלא ?!
וכבר אמרו חז"ל "אין חכמת אדם מגעת אלא עד מקום שספריו מגיעין"
אלא אם כן תחדש שAI מסוגל ליותר@חד-צורבא כבר היום מודלי שפה קטנים מגיעים לכמות ה'אינטליגנציה' של מודלי שפה גדולים של לפני שלוש שנים.. אבל זה לא אומר שיש להם את אותו כמות ידע.
-
@חד-צורבא כבר היום מודלי שפה קטנים מגיעים לכמות ה'אינטליגנציה' של מודלי שפה גדולים של לפני שלוש שנים.. אבל זה לא אומר שיש להם את אותו כמות ידע.
@חובבן-מקצועי במה זה מתבטא ? בא נאמר אם יש לי קלוד חינמי ואני רוצה לעשות תוסף לאוצריא בלי שיגמר לי הטוקנים כל 2-3 תשובות מודל מקומי ידע לעשות את אותה עבודה באותה איכות ?
-
(בדגש על חכם, לא בכמות ידע)
אלא ?!
וכבר אמרו חז"ל "אין חכמת אדם מגעת אלא עד מקום שספריו מגיעין"
אלא אם כן תחדש שAI מסוגל ליותראלא ?!
יש את הידע של המודלים, שזה בעצם לזכור את הטקסטים עצמם, ויש את יכולות ההיגיון וההסקה שהוא לומד מהם.
למודל של 4B פרמטרים, אין את הקיבולת הטכנית להכיל את כל הידע העולמי, ולכן מודל עדכני כזה לא ידע מי זה הח"כ הישראלי הספציפי שתשאל עליו, למרות שזה חזר על עצמו מאות פעמים בטקסטים שעליהם אומן, לעומת המודל של ה-175B מלפני 3 שנים שאמנם מבחינת יכולות היגיון הוא חלש יותר, אבל יש לו יותר מקום להכיל את הידע הזה. -
@חובבן-מקצועי במה זה מתבטא ? בא נאמר אם יש לי קלוד חינמי ואני רוצה לעשות תוסף לאוצריא בלי שיגמר לי הטוקנים כל 2-3 תשובות מודל מקומי ידע לעשות את אותה עבודה באותה איכות ?
בא נאמר אם יש לי קלוד חינמי ואני רוצה לעשות פרוייקט בלי שיגמר לי הטוקנים כל 2-3 תשובות מודל מקומי ידע לעשות את אותה עבודה באותה איכות ?
כיום, וודאי שלא!
אני מדבר או על העתיד, [על דרך "מתי יהיה לחם מהיום? מחר.." ]
או על העבר - שאם אתה רוצה לקודד באיכות של gpt 4o אז אתה מוזמן לתכנת עם qwen..להסבר, פשוט תסתכל על הפוסט הקודם, א.מ.ד. הסביר את זה הרבה יותר טוב ממני.
-
@חובבן-מקצועי במה זה מתבטא ? בא נאמר אם יש לי קלוד חינמי ואני רוצה לעשות תוסף לאוצריא בלי שיגמר לי הטוקנים כל 2-3 תשובות מודל מקומי ידע לעשות את אותה עבודה באותה איכות ?
@חובבן-מקצועי במה זה מתבטא ? בא נאמר אם יש לי קלוד חינמי ואני רוצה לעשות תוסף לאוצריא בלי שיגמר לי הטוקנים כל 2-3 תשובות מודל מקומי ידע לעשות את אותה עבודה באותה איכות ?
אתה בהחלט יכול לתכנת עם QWEN 3.5 4B באיכות של GPT 4o, ואפילו יותר גבוהה, אבל לא יהיה לו את הידע הרחב על כל הספריות הרלוונטיות. אבל אם תחבר לו מנועי חיפוש חיצוניים וכדומה, זה ייפצה מאוד על הפער בידע.
אגב @חובבן-מקצועי , אני לא כ"כ אופטימי לגבי עתיד המודלים הקטנים, כי כרגע נראה שהם די נזנחו ע"י המעבדות הגדולות. חקרתי את זה לעומק ביום שישי, אולי אני ירחיב על זה בנושא חדש. ובלי קשר, יש גבול לפריצות הדרך במודלים קטנים, כל עוד נשארים עם הארכיטקטורה הנוכחית.
בנוסף, בעבר, אם היה לך את llama 2 7B, הרגשת שאתה חווה חלק משמעותי מתוך GPT 4 על המחשב שלך מקומית. היום, המודל הכי טוב שתוכל להריץ במחשב שלך, לכאורה QWEN 3.5 4B, אולי הוא חזק בהיגיון, אבל לא ממש מסוגל לתפקד כסוכן ולהשתמש בכלים וכו'...מפתח אפליקציות אנדרואיד ויישומי ומודלי AI
-
@חובבן-מקצועי במה זה מתבטא ? בא נאמר אם יש לי קלוד חינמי ואני רוצה לעשות תוסף לאוצריא בלי שיגמר לי הטוקנים כל 2-3 תשובות מודל מקומי ידע לעשות את אותה עבודה באותה איכות ?
אתה בהחלט יכול לתכנת עם QWEN 3.5 4B באיכות של GPT 4o, ואפילו יותר גבוהה, אבל לא יהיה לו את הידע הרחב על כל הספריות הרלוונטיות. אבל אם תחבר לו מנועי חיפוש חיצוניים וכדומה, זה ייפצה מאוד על הפער בידע.
אגב @חובבן-מקצועי , אני לא כ"כ אופטימי לגבי עתיד המודלים הקטנים, כי כרגע נראה שהם די נזנחו ע"י המעבדות הגדולות. חקרתי את זה לעומק ביום שישי, אולי אני ירחיב על זה בנושא חדש. ובלי קשר, יש גבול לפריצות הדרך במודלים קטנים, כל עוד נשארים עם הארכיטקטורה הנוכחית.
בנוסף, בעבר, אם היה לך את llama 2 7B, הרגשת שאתה חווה חלק משמעותי מתוך GPT 4 על המחשב שלך מקומית. היום, המודל הכי טוב שתוכל להריץ במחשב שלך, לכאורה QWEN 3.5 4B, אולי הוא חזק בהיגיון, אבל לא ממש מסוגל לתפקד כסוכן ולהשתמש בכלים וכו'...אגב @חובבן-מקצועי , אני לא כ"כ אופטימי לגבי עתיד המודלים הקטנים, כי כרגע נראה שהם די נזנחו ע"י המעבדות הגדולות. חקרתי את זה לעומק ביום שישי, אולי אני ירחיב על זה בנושא חדש. ובלי קשר, יש גבול לפריצות הדרך במודלים קטנים, כל עוד נשארים עם הארכיטקטורה הנוכחית.
ואני כן אופטימי, ויש לי כמה סיבות להיות אופטימי..
- בנתיים זה ככה עובד, המודלים הפתוחים הקטנים (בעיקר הסיניים) לא מפסיקים להפתיע..
- מאמין שהמודלים המובילים בעצמם, יצליחו לבנות מודלים קטנים טובים. (נגיד פייבל 7 לכשייצא, יצליח לבנות מודל קטן באיכות של פייבל 5..)
(אבל אם אתה אומר, אז זו בהחלט סיבה להיות פסימי..)
-
אגב @חובבן-מקצועי , אני לא כ"כ אופטימי לגבי עתיד המודלים הקטנים, כי כרגע נראה שהם די נזנחו ע"י המעבדות הגדולות. חקרתי את זה לעומק ביום שישי, אולי אני ירחיב על זה בנושא חדש. ובלי קשר, יש גבול לפריצות הדרך במודלים קטנים, כל עוד נשארים עם הארכיטקטורה הנוכחית.
ואני כן אופטימי, ויש לי כמה סיבות להיות אופטימי..
- בנתיים זה ככה עובד, המודלים הפתוחים הקטנים (בעיקר הסיניים) לא מפסיקים להפתיע..
- מאמין שהמודלים המובילים בעצמם, יצליחו לבנות מודלים קטנים טובים. (נגיד פייבל 7 לכשייצא, יצליח לבנות מודל קטן באיכות של פייבל 5..)
(אבל אם אתה אומר, אז זו בהחלט סיבה להיות פסימי..)
בנתיים זה ככה עובד, המודלים הפתוחים הקטנים (בעיקר הסיניים) לא מפסיקים להפתיע..
המודלים הסיניים כן, המודלים הסיניים הקטנים פחות. הקפיצה מ-QWEN 2.5 3B ל-3 4B היתה עצומה, אבל מ-3 ל-3.5 4B פחות.
אבל לא על זה אני מתבסס, אלא על חוסר העניין של מעבדות להתעסק בזה.מפתח אפליקציות אנדרואיד ויישומי ומודלי AI
-
בנתיים זה ככה עובד, המודלים הפתוחים הקטנים (בעיקר הסיניים) לא מפסיקים להפתיע..
המודלים הסיניים כן, המודלים הסיניים הקטנים פחות. הקפיצה מ-QWEN 2.5 3B ל-3 4B היתה עצומה, אבל מ-3 ל-3.5 4B פחות.
אבל לא על זה אני מתבסס, אלא על חוסר העניין של מעבדות להתעסק בזה. -
חושב שזה אינטרס דיי מובהק של מייקרוסופט גוגל ודומיהם - שירוץ בעתיד על כל מחשב / פלאפון עם NPU מודל שפה קטן, והוא יהיה הסוכן AI של המשתמש..
אז ככה:
מיקרוסופט - דווקא עברו ממודלים פתוחים - PHI, שהיו חזית המודלים הפתוחים בזמנו, למודלים סגורים.
גוגל - דווקא משחררת מעת לעת מודלים פתוחים מעניינים וחזקים, אבל היא דואגת שהם לא ייפגעו בעיקר המיקוד שלה - מודלי ג'מיני הסגורים.
תפריד בין הרצון להריץ מודל חמוד שרץ ומפעיל דברים קלים בפלאפון, מחייג לאנשים ומסכם מיילים, לבין הרצון להפוך מודל קטן לפייבל 5 הבא. בעבר זה היה הכיוון של החברות שעסקו בתחום - לנסות להשתוות ל-GPT 4 עם 7B, והם די הצליחו, היום החוויה שונה לגמרי.מפתח אפליקציות אנדרואיד ויישומי ומודלי AI
-
חושב שזה אינטרס דיי מובהק של מייקרוסופט גוגל ודומיהם - שירוץ בעתיד על כל מחשב / פלאפון עם NPU מודל שפה קטן, והוא יהיה הסוכן AI של המשתמש..
אז ככה:
מיקרוסופט - דווקא עברו ממודלים פתוחים - PHI, שהיו חזית המודלים הפתוחים בזמנו, למודלים סגורים.
גוגל - דווקא משחררת מעת לעת מודלים פתוחים מעניינים וחזקים, אבל היא דואגת שהם לא ייפגעו בעיקר המיקוד שלה - מודלי ג'מיני הסגורים.
תפריד בין הרצון להריץ מודל חמוד שרץ ומפעיל דברים קלים בפלאפון, מחייג לאנשים ומסכם מיילים, לבין הרצון להפוך מודל קטן לפייבל 5 הבא. בעבר זה היה הכיוון של החברות שעסקו בתחום - לנסות להשתוות ל-GPT 4 עם 7B, והם די הצליחו, היום החוויה שונה לגמרי. -
@א.מ.ד. שכחת את החברה הכי עניינת בהקשר של השינוי כיוון,
מטא..
ממודלי הלאמה הפתוחים(?)..כתבתי על זה באישי ל @חובבן-מקצועי ...
בעבר מטא רצתה לפרסם את עצמה ולהידחף לשוק של OPEN AI, אז היא פתחה את המודלים. כיום כבר אין לה צורך בכך - היא הפכה למותג בפני עצמה בתחום, אז היא לא מפרסמת את המודלים שלה במשקל פתוח (למרות שצוקרברג מבטיח מודל פתוח בשביל לרצות את קהילת הקוד הפתוח, נו נו...)
אותו דבר עם QWEN, עד 2.5, הם ניסו לפרסם את עצמם, ניסו להתמקצע, ניסו לתפוס תשומת לב שהנה הם יכולים להריץ מודלים קטנים עם יכולות גבוהות, אבל מאז QWEN 3 הם כבר עסק ענק ומוכר שמריץ מודלי ענן ענקיים משלו בתשלום, ובזה הם משקיעים. המודלים הקטנים זה רצון להישאר רלוונטיים בקהילת ה-AI המקומי, קצת מחקר, וכדומה. לא עיקר המיקוד.מפתח אפליקציות אנדרואיד ויישומי ומודלי AI
-
@א.מ.ד. שכחת את החברה הכי עניינת בהקשר של השינוי כיוון,
מטא..
ממודלי הלאמה הפתוחים(?)..כתבתי על זה באישי ל @חובבן-מקצועי ...
בעבר מטא רצתה לפרסם את עצמה ולהידחף לשוק של OPEN AI, אז היא פתחה את המודלים. כיום כבר אין לה צורך בכך - היא הפכה למותג בפני עצמה בתחום, אז היא לא מפרסמת את המודלים שלה במשקל פתוח (למרות שצוקרברג מבטיח מודל פתוח בשביל לרצות את קהילת הקוד הפתוח, נו נו...)
אותו דבר עם QWEN, עד 2.5, הם ניסו לפרסם את עצמם, ניסו להתמקצע, ניסו לתפוס תשומת לב שהנה הם יכולים להריץ מודלים קטנים עם יכולות גבוהות, אבל מאז QWEN 3 הם כבר עסק ענק ומוכר שמריץ מודלי ענן ענקיים משלו בתשלום, ובזה הם משקיעים. המודלים הקטנים זה רצון להישאר רלוונטיים בקהילת ה-AI המקומי, קצת מחקר, וכדומה. לא עיקר המיקוד. -
@א.מ.ד. עיקר הקטע הוא שכיום הם ממש לא נחשבים ׳קוד פתוח׳ מקסימום משקלים פתוחים..
אבל הסיניים עוד לא היו בזירה והמפתחים שיוועו ללוקאלים..@א.מ.ד. עיקר הקטע הוא שכיום הם ממש לא נחשבים ׳קוד פתוח׳ מקסימום משקלים פתוחים..
אף פעם הם לא היו קוד פתוח. אין כמעט מודלים פתוחים באמת. אין מודל שעונה על ההגדרות של קוד פתוח, כמו יכולת לשחזר את הפרוייקט, יכולת לתרום לפרוייקט וכו'. כל נתוני האימון וקוד האימון חסויים. רק מודלים בודדים של מעבדות מטורללות, או של אנבידיה שרוצה להגביר ביקוש לשבבים שלה.
שלום! נראה שהשיחה הזו מעניינת אותך, אבל עדיין אין לך חשבון.
נמאס לכם לגלול בין אותם הפוסטים בכל ביקור? כשנרשמים לחשבון, תמיד תחזרו בדיוק למקום שבו הייתם קודם, ותוכלו לבחור לקבל התראות על תגובות חדשות (בין אם במייל, ובין אם בהתראת פוש). תוכלו גם לשמור סימניות ולפרגן ב-upvote לפוסטים כדי להביע הערכה לחברי קהילה אחרים.
בעזרת התרומה שלך, הפוסט הזה יכול להיות אפילו טוב יותר 💗
הרשמה התחברות { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}