שאלה | AI ללא חיבור לאינטרנט
-
@יענקיH הלוואי
@הישבשר-המלומד
מניסיון..
מוזמן לנסות בבית.. -
@הישבשר-המלומד
מניסיון..
מוזמן לנסות בבית..@יענקיH אדרבה בא אני רוצה לאמן מודל קטנטן ליצור תמונות יש לי 16 ראם ו2 VRAM וכרטיס גרפי של אינטל מה יש לך להציע לגימני יש להציע כמה ימים של עבודה של אימון שבמחשב או אתרים מתאמים זה יקח 20 דקות וגם זה במקרה הטוב אם זה לא יפול
-
@יענקיH אדרבה בא אני רוצה לאמן מודל קטנטן ליצור תמונות יש לי 16 ראם ו2 VRAM וכרטיס גרפי של אינטל מה יש לך להציע לגימני יש להציע כמה ימים של עבודה של אימון שבמחשב או אתרים מתאמים זה יקח 20 דקות וגם זה במקרה הטוב אם זה לא יפול
@הישבשר-המלומד
אתה מעוניין להריץ מודל AI או לאמן מודל AI? -
@הישבשר-המלומד
אתה מעוניין להריץ מודל AI או לאמן מודל AI?@יענקיH לאמן אבל גם להריץ טוב
-
@יענקיH לאמן אבל גם להריץ טוב
@הישבשר-המלומד
הבדל של שמיים וארץ.. -
@הישבשר-המלומד
ואחרי בדיקה קטנה..
כל עוד יש לך ראם פיזי אתה יכול להריץ הכל -
@יענקיH תוכל לאמן בשבילי מודל? יש לי מודל של גוגל, קוראים לו Switch Transformer, והוא לא שוקל הרבה.
רק איזה 1.6 טריליון פרמטרים,
בכלל לא רציני בשביל המחשב המלאכי שלך,
אחרי הכל וודאי שמחשב של 8 ג'יגה ראם יוכל להריץ מודל של בערך 3 טרליון TB ראם... -
@יענקיH OK טעות שלי
-
רציתי לברר האם אפשר ליצור AI ללא חיבור לאינטרנט שיהיה מבוסס על כל מיני מאגרי מידע מסוננים כמו המכלול , אוצריא ,וכדו' ?
-
@AZX מאפס? לא באמת מציאותי, אין מספיק דאטה באיכות גבוהה בעברית בשביל ליצור מודל שפה ברמה סבירה
קל וחומר לא מבוסס תוכן מסומן בלבדהאופציה היחידה היא ליישם סינון עם כוונון עדין על מודל קיים
-
@NH.LOCAL הוא וודאי לא התכוון מאפס.
וכמו שכבר הצעתי, האפשרות היחדיה זה מה שאמד עשה, שזה לאמן על מודל קיים על סמך המשאבים החינמיים שגוגל מספקת. -
קצת סדר:
-
ישנם עשרות אלפי מודלי AI שמסוגלים לרוץ אפילו על מחשבי אברכים פשוטים.
-
ככל שעובר הזמן המודלים משתפרים, וכיום ישנם מודלים בעלי 4B פרמטרים (2.5 GB בערך בכימות אופטימלי) שעוקפים את GPT 3.5 בסיבוב למרות שהם קטנים ממנו פי כמה עשרות, לדוגמא Qwen 3.5 4B שהושק לפני שבוע בדיוק יחד עם עוד 3 אחים מהאגף הצעיר של משפחת Qwen 3.5 - בעלי 0.8B, 2B ו-9B, כל אחד מהם עם יכולות מטורפות יחסית לגודל.
-
כל מודלי השפה חסומים להורדה בנטפרי ומכיוון שכך אסור להעלות קישורים שלהם בפורום.
-
אני עובד על פרוייקט לסינון מודלי שפה באמצעות כוונון עדין ממוקד ועוצמתי ע"י מערך נתונים איכותי. אני ממתין לתשובת נטפרי שיאשרו את המודל הניסיוני הראשון בסדרה להורדה והרצה מקומית.
-
צריכת ה-RAM ע"י המודלים נקבעת ע"י גודלם, בשילוב עם אורך ההקשר.
-
אימון של מודל שפה, אפילו זעיר מאוד בגודל כמה עשרות MB (יש כאלו! עם יכולות מפתיעות לגודלם) דורש משאבי חישוב אדירים, כמו GPU כתנאי בסיס. אחרת האימון ייקח חודשים למודל זעיר.
-
אימון מודלי שפה דורש גם מערכי נתונים עצומים, כך שלהסתמך רק על מאגרים קטנים כמו המכלול זה בדיחה. ועוד לא דיברנו על ניקוי וסידור מערכי הנתונים.
-
אפשר לבצע כוונון עדין על מודל שזה בעצם אימון קצר שנועד להתאים מודל קיים לצורך מסויים.
כוונון עדין עם הגדרות מתאימות וספריות אימון כמו QLoRA יכול לקחת בין כמה דקות לכמה שעות, אבל גם הוא דורש GPU חזק כנ"ל, ולצורך זה אפשר להשתמש (וככה גם אני עשיתי) במחברות גוגל קולאב (חסום בנטפרי) שמאפשרות כמה שעות GPU עם 16 VRAM בחינם בשבוע. גם כוונון עדין דורש ידע נרחב בתחום ומערכי נתונים איכותיים אפילו יותר מנתוני אימון רגיל. -
Stable Diffusion הם סדרת מודלי דיפוזיה ליצירת תמונות, יחסית מיושנים אבל עדיין נחשבים לצעצוע מעניין וחביבים על קהילת המשקלים הפתוחים.
-
רוב הגרסאות של Stable Diffusion ניתנות להרצה מקומית בקלות על מחשבים פשוטים.
-
יש גם מודלי יצירת תמונות עדכניים כדוגמת Z Image Turbo 6B שמסוגלים לרוץ על מחשבים קלאסיים, והתוצאות ממש איכותיות - ברמה של מודלי מעבדות החזית לפני הופעת המודלים האוטו-רגרסיביים ואף יותר, לדוגמא:
-
באופן עקרוני אפשר להריץ בכל מכשיר כל מודל שצורך בערך כמחצית מה-RAM שיש במכשיר המריץ, אפילו מודלי יצירת וידיאו מסויימים, רק שזה יכול לקחת אפילו כמה שבועות בהיעדר GPU חזק.
לצורך המחשת היכולת להרצת מודלים באופן מקומי, אני אישית מריץ על הפלאפון שלי - QIN F21 Pro עם 3 RAM בלבד (או ליתר דיוק 2.8) מודלי שפה מתקדמים יחסית למגוון שימושים ובמגוון גדלים (ממוצע של 500ms עד 1500ms לטוקן במודלים שמישים - תלוי בגודל), וכן מודלי יצירת תמונה (ממוצע של 10 דקות לתמונה - ב-10 צעדי יצירה).
אני נהנה להתפאר בכך שאני מחזיק ככל הנראה במכשיר החצי טאצ' החכם בעולם
- מחזיק ביכולות LLM, יצירת תמונה, קיוויקס, גוגל טרנסלייט אופליין, מפות גוגל אופליין וכו'... -
 { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}