שאלה | AI ללא חיבור לאינטרנט
-
רציתי לברר האם אפשר ליצור AI ללא חיבור לאינטרנט שיהיה מבוסס על כל מיני מאגרי מידע מסוננים כמו המכלול , אוצריא ,וכדו' ?
-
@AZX מאפס? לא באמת מציאותי, אין מספיק דאטה באיכות גבוהה בעברית בשביל ליצור מודל שפה ברמה סבירה
קל וחומר לא מבוסס תוכן מסומן בלבדהאופציה היחידה היא ליישם סינון עם כוונון עדין על מודל קיים
-
@NH.LOCAL הוא וודאי לא התכוון מאפס.
וכמו שכבר הצעתי, האפשרות היחדיה זה מה שאמד עשה, שזה לאמן על מודל קיים על סמך המשאבים החינמיים שגוגל מספקת. -
קצת סדר:
-
ישנם עשרות אלפי מודלי AI שמסוגלים לרוץ אפילו על מחשבי אברכים פשוטים.
-
ככל שעובר הזמן המודלים משתפרים, וכיום ישנם מודלים בעלי 4B פרמטרים (2.5 GB בערך בכימות אופטימלי) שעוקפים את GPT 3.5 בסיבוב למרות שהם קטנים ממנו פי כמה עשרות, לדוגמא Qwen 3.5 4B שהושק לפני שבוע בדיוק יחד עם עוד 3 אחים מהאגף הצעיר של משפחת Qwen 3.5 - בעלי 0.8B, 2B ו-9B, כל אחד מהם עם יכולות מטורפות יחסית לגודל.
-
כל מודלי השפה חסומים להורדה בנטפרי ומכיוון שכך אסור להעלות קישורים שלהם בפורום.
-
אני עובד על פרוייקט לסינון מודלי שפה באמצעות כוונון עדין ממוקד ועוצמתי ע"י מערך נתונים איכותי. אני ממתין לתשובת נטפרי שיאשרו את המודל הניסיוני הראשון בסדרה להורדה והרצה מקומית.
-
צריכת ה-RAM ע"י המודלים נקבעת ע"י גודלם, בשילוב עם אורך ההקשר.
-
אימון של מודל שפה, אפילו זעיר מאוד בגודל כמה עשרות MB (יש כאלו! עם יכולות מפתיעות לגודלם) דורש משאבי חישוב אדירים, כמו GPU כתנאי בסיס. אחרת האימון ייקח חודשים למודל זעיר.
-
אימון מודלי שפה דורש גם מערכי נתונים עצומים, כך שלהסתמך רק על מאגרים קטנים כמו המכלול זה בדיחה. ועוד לא דיברנו על ניקוי וסידור מערכי הנתונים.
-
אפשר לבצע כוונון עדין על מודל שזה בעצם אימון קצר שנועד להתאים מודל קיים לצורך מסויים.
כוונון עדין עם הגדרות מתאימות וספריות אימון כמו QLoRA יכול לקחת בין כמה דקות לכמה שעות, אבל גם הוא דורש GPU חזק כנ"ל, ולצורך זה אפשר להשתמש (וככה גם אני עשיתי) במחברות גוגל קולאב (חסום בנטפרי) שמאפשרות כמה שעות GPU עם 16 VRAM בחינם בשבוע. גם כוונון עדין דורש ידע נרחב בתחום ומערכי נתונים איכותיים אפילו יותר מנתוני אימון רגיל. -
Stable Diffusion הם סדרת מודלי דיפוזיה ליצירת תמונות, יחסית מיושנים אבל עדיין נחשבים לצעצוע מעניין וחביבים על קהילת המשקלים הפתוחים.
-
רוב הגרסאות של Stable Diffusion ניתנות להרצה מקומית בקלות על מחשבים פשוטים.
-
יש גם מודלי יצירת תמונות עדכניים כדוגמת Z Image Turbo 6B שמסוגלים לרוץ על מחשבים קלאסיים, והתוצאות ממש איכותיות - ברמה של מודלי מעבדות החזית לפני הופעת המודלים האוטו-רגרסיביים ואף יותר, לדוגמא:
-
באופן עקרוני אפשר להריץ בכל מכשיר כל מודל שצורך בערך כמחצית מה-RAM שיש במכשיר המריץ, אפילו מודלי יצירת וידיאו מסויימים, רק שזה יכול לקחת אפילו כמה שבועות בהיעדר GPU חזק.
לצורך המחשת היכולת להרצת מודלים באופן מקומי, אני אישית מריץ על הפלאפון שלי - QIN F21 Pro עם 3 RAM בלבד (או ליתר דיוק 2.8) מודלי שפה מתקדמים יחסית למגוון שימושים ובמגוון גדלים (ממוצע של 500ms עד 1500ms לטוקן במודלים שמישים - תלוי בגודל), וכן מודלי יצירת תמונה (ממוצע של 10 דקות לתמונה - ב-10 צעדי יצירה).
אני נהנה להתפאר בכך שאני מחזיק ככל הנראה במכשיר החצי טאצ' החכם בעולם
- מחזיק ביכולות LLM, יצירת תמונה, קיוויקס, גוגל טרנסלייט אופליין, מפות גוגל אופליין וכו'... -
-
קצת סדר:
-
ישנם עשרות אלפי מודלי AI שמסוגלים לרוץ אפילו על מחשבי אברכים פשוטים.
-
ככל שעובר הזמן המודלים משתפרים, וכיום ישנם מודלים בעלי 4B פרמטרים (2.5 GB בערך בכימות אופטימלי) שעוקפים את GPT 3.5 בסיבוב למרות שהם קטנים ממנו פי כמה עשרות, לדוגמא Qwen 3.5 4B שהושק לפני שבוע בדיוק יחד עם עוד 3 אחים מהאגף הצעיר של משפחת Qwen 3.5 - בעלי 0.8B, 2B ו-9B, כל אחד מהם עם יכולות מטורפות יחסית לגודל.
-
כל מודלי השפה חסומים להורדה בנטפרי ומכיוון שכך אסור להעלות קישורים שלהם בפורום.
-
אני עובד על פרוייקט לסינון מודלי שפה באמצעות כוונון עדין ממוקד ועוצמתי ע"י מערך נתונים איכותי. אני ממתין לתשובת נטפרי שיאשרו את המודל הניסיוני הראשון בסדרה להורדה והרצה מקומית.
-
צריכת ה-RAM ע"י המודלים נקבעת ע"י גודלם, בשילוב עם אורך ההקשר.
-
אימון של מודל שפה, אפילו זעיר מאוד בגודל כמה עשרות MB (יש כאלו! עם יכולות מפתיעות לגודלם) דורש משאבי חישוב אדירים, כמו GPU כתנאי בסיס. אחרת האימון ייקח חודשים למודל זעיר.
-
אימון מודלי שפה דורש גם מערכי נתונים עצומים, כך שלהסתמך רק על מאגרים קטנים כמו המכלול זה בדיחה. ועוד לא דיברנו על ניקוי וסידור מערכי הנתונים.
-
אפשר לבצע כוונון עדין על מודל שזה בעצם אימון קצר שנועד להתאים מודל קיים לצורך מסויים.
כוונון עדין עם הגדרות מתאימות וספריות אימון כמו QLoRA יכול לקחת בין כמה דקות לכמה שעות, אבל גם הוא דורש GPU חזק כנ"ל, ולצורך זה אפשר להשתמש (וככה גם אני עשיתי) במחברות גוגל קולאב (חסום בנטפרי) שמאפשרות כמה שעות GPU עם 16 VRAM בחינם בשבוע. גם כוונון עדין דורש ידע נרחב בתחום ומערכי נתונים איכותיים אפילו יותר מנתוני אימון רגיל. -
Stable Diffusion הם סדרת מודלי דיפוזיה ליצירת תמונות, יחסית מיושנים אבל עדיין נחשבים לצעצוע מעניין וחביבים על קהילת המשקלים הפתוחים.
-
רוב הגרסאות של Stable Diffusion ניתנות להרצה מקומית בקלות על מחשבים פשוטים.
-
יש גם מודלי יצירת תמונות עדכניים כדוגמת Z Image Turbo 6B שמסוגלים לרוץ על מחשבים קלאסיים, והתוצאות ממש איכותיות - ברמה של מודלי מעבדות החזית לפני הופעת המודלים האוטו-רגרסיביים ואף יותר, לדוגמא:
-
באופן עקרוני אפשר להריץ בכל מכשיר כל מודל שצורך בערך כמחצית מה-RAM שיש במכשיר המריץ, אפילו מודלי יצירת וידיאו מסויימים, רק שזה יכול לקחת אפילו כמה שבועות בהיעדר GPU חזק.
לצורך המחשת היכולת להרצת מודלים באופן מקומי, אני אישית מריץ על הפלאפון שלי - QIN F21 Pro עם 3 RAM בלבד (או ליתר דיוק 2.8) מודלי שפה מתקדמים יחסית למגוון שימושים ובמגוון גדלים (ממוצע של 500ms עד 1500ms לטוקן במודלים שמישים - תלוי בגודל), וכן מודלי יצירת תמונה (ממוצע של 10 דקות לתמונה - ב-10 צעדי יצירה).
אני נהנה להתפאר בכך שאני מחזיק ככל הנראה במכשיר החצי טאצ' החכם בעולם
- מחזיק ביכולות LLM, יצירת תמונה, קיוויקס, גוגל טרנסלייט אופליין, מפות גוגל אופליין וכו'... -
-
@א.מ.ד. המודל שאתה מתכנן יוכל לשבת על מחשב נייד פשוט ?
וכמה בערך הוא הולך לשקול ?
ולמה שנטפרי יאשרו לך אם אתה אומר שהם חוסמים את זה בד"כ ?@AZX כתב בשאלה | AI ללא חיבור לאינטרנט:
@א.מ.ד. המודל שאתה מתכנן יוכל לשבת על מחשב נייד פשוט ?
כן, אפילו על אנדרואיד.
@AZX כתב בשאלה | AI ללא חיבור לאינטרנט:
וכמה בערך הוא הולך לשקול ?
2 GB בערך. יתאים לכל מכשיר עם 4 RAM ומעלה. כמובן שעם 8 RAM הוא ירוץ הרבה יותר מהר.
@AZX כתב בשאלה | AI ללא חיבור לאינטרנט:
ולמה שנטפרי יאשרו לך אם אתה אומר שהם חוסמים את זה בד"כ ?
כי זה מודל שמסונן ברמת הבסיס, כלומר גם בלי הנחיות מערכת מיוחדות או סינון בתוכנת ההרצה, אלא המודל עצמו מסרב לענות על תכנים לא מתאימים.
-
@א.מ.ד. המודל שאתה מתכנן יוכל לשבת על מחשב נייד פשוט ?
וכמה בערך הוא הולך לשקול ?
ולמה שנטפרי יאשרו לך אם אתה אומר שהם חוסמים את זה בד"כ ?
 { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}