ברור | בינה מלאכותית להרצה מקומית
-
ל למעיישה סימן נושא זה כשאלה
-
ללא כרטיס מסך וכמות קטנה יחסית של RAM אני לא יודע אם זה שווה את המאמץ כי התוצאה בסוף תהיה מודל איטי מאוד ששוכח מה אמרת מאוד מהר ולא כול כך יעיל
בכול מקרה לשאלתך אני ממליץ מודל עם מקסימום 7 מיליארד פרמטרים
אין הרבה כאלה
אז בקיצור תשתמש ב- Llama 2 7b
- mistral (הגרסה הקטנה)
התוצאה שתקבל לדעתי לא שווה את המאמץ אבל בכול מקרה מה שאתה מחפש נקרא מודלים שהם CPU-only
בהצלחה -
@למעיישה אני במפרט קצת פחות משלך מריץ את המודל של גוגל 5 גיגה הוא די איטי אבל נותן תוצאות מסוימות תלוי לאיזה צרכים
@דוד-משה-1
תודה רבה.
whisper אופליין עובד אצלי מצויין. זה יכול לתת אינדיקציה מסויימת איזה מודל מתאים לי? -
@פיקחון כתב בברור | בינה מלאכותית להרצה מקומית:
יש כן משהו ששווה מאמץ?
השאלה הגדולה היא מה אתה מצפה ממנו מה הצרכים
-
@פיקחון כתב בברור | בינה מלאכותית להרצה מקומית:
יש כן משהו ששווה מאמץ?
השאלה הגדולה היא מה אתה מצפה ממנו מה הצרכים
@דוד-משה-1
כתיבת מאקרו/עריכה תורנית/תרגום -
@דוד-משה-1
קבלת מידע בנושאים שונים,
סיכום נתונים,
העלאת קבצים,
יצירת תמונות (יש בכלל?)
ועוד כגון דא,
אבל אין לי עניין להתקין בשביל משהו שמגמגם ולא עובד טוב.@פיקחון כתב בברור | בינה מלאכותית להרצה מקומית:
קבלת מידע בנושאים שונים,
יש דברים שהוא בסדר כמו רק אין לא חיפוש מה שאומר שהוא לא כל יודע ואי אפשר לסמוך עליו (האמת שבכל מודל)
@פיקחון כתב בברור | בינה מלאכותית להרצה מקומית:
סיכום נתונים,
לא יודע את הרמה שיש ב 32 גיגה בחצי מזה הוא לא טוב
@פיקחון כתב בברור | בינה מלאכותית להרצה מקומית:
יצירת תמונות
אין באותו מודל יש בניפרד (באנגלית) אבל לא מאוד איטי ומאמץ בלי מעבד גרפי
@למעיישה כתב בברור | בינה מלאכותית להרצה מקומית:
כתיבת מאקרו/עריכה תורנית/תרגום
לא נראה לי דברים מסובכים אולי שאלות יותר טכניות כמו איך לעשות משהו פלוני אוליי
-
@פיקחון כתב בברור | בינה מלאכותית להרצה מקומית:
קבלת מידע בנושאים שונים,
יש דברים שהוא בסדר כמו רק אין לא חיפוש מה שאומר שהוא לא כל יודע ואי אפשר לסמוך עליו (האמת שבכל מודל)
@פיקחון כתב בברור | בינה מלאכותית להרצה מקומית:
סיכום נתונים,
לא יודע את הרמה שיש ב 32 גיגה בחצי מזה הוא לא טוב
@פיקחון כתב בברור | בינה מלאכותית להרצה מקומית:
יצירת תמונות
אין באותו מודל יש בניפרד (באנגלית) אבל לא מאוד איטי ומאמץ בלי מעבד גרפי
@למעיישה כתב בברור | בינה מלאכותית להרצה מקומית:
כתיבת מאקרו/עריכה תורנית/תרגום
לא נראה לי דברים מסובכים אולי שאלות יותר טכניות כמו איך לעשות משהו פלוני אוליי
-
@פיקחון כמות הram בעיקר משנה אם אתה רוצה לעבוד על משימות ארוכות (תכנות וכדו')
הזיכרון של הבינה מלאכותית יהיה קטן יותר או גרוע יותרלגבי תמונות לא תמצא משהו ראוי לשימוש בלי כרטיס מסך וקירור
לגבי טקסט ומידע קצרים הבאתי למעלה מודלים קטנים תנסה אותם אם עובד לך בלי בעיות תלך קצת יותר
אבל מודל רציני אתה לא תוכל להריץ1. Llama 2 7b
2. mistral (הגרסה הקטנה) -
@פיקחון כמות הram בעיקר משנה אם אתה רוצה לעבוד על משימות ארוכות (תכנות וכדו')
הזיכרון של הבינה מלאכותית יהיה קטן יותר או גרוע יותרלגבי תמונות לא תמצא משהו ראוי לשימוש בלי כרטיס מסך וקירור
לגבי טקסט ומידע קצרים הבאתי למעלה מודלים קטנים תנסה אותם אם עובד לך בלי בעיות תלך קצת יותר
אבל מודל רציני אתה לא תוכל להריץ1. Llama 2 7b
2. mistral (הגרסה הקטנה) -
@פיקחון כמות הram בעיקר משנה אם אתה רוצה לעבוד על משימות ארוכות (תכנות וכדו')
הזיכרון של הבינה מלאכותית יהיה קטן יותר או גרוע יותרלגבי תמונות לא תמצא משהו ראוי לשימוש בלי כרטיס מסך וקירור
לגבי טקסט ומידע קצרים הבאתי למעלה מודלים קטנים תנסה אותם אם עובד לך בלי בעיות תלך קצת יותר
אבל מודל רציני אתה לא תוכל להריץ1. Llama 2 7b
2. mistral (הגרסה הקטנה)@cfopuser כתב בברור | בינה מלאכותית להרצה מקומית:
לגבי תמונות לא תמצא משהו ראוי לשימוש בלי כרטיס מסך וקירור
כרטיס ייעודי לAI נחשב כרטיס מסך?
-
@cfopuser כתב בברור | בינה מלאכותית להרצה מקומית:
לגבי תמונות לא תמצא משהו ראוי לשימוש בלי כרטיס מסך וקירור
כרטיס ייעודי לAI נחשב כרטיס מסך?
@aiib
בקצרה לא הוא אפילו גרוע יותר בחישובים עבור גרפיקה וכדו' הרחבתי טיפה בספויילרבפשטות
יש מעבד (cpu) לחישובים בודדים מורכביםיש כרטיס גרפי (gpu) להרבה חישובים פשוטים בו זמנית (טוב ai) ויעיל להרבה מטרות חוץ מחישובים גרפים (brute force וכו')
אחרי שהיתפתחה תעשית הAI וחברות פתחו מרכזי שרתים ענקיים נוצרה הבעיה של חשמל (כרטיסי מסך רגילים צורכים יותר מידי)
אז יצרו כרטיסים עבור בינה מלאכותית (npu) שעברו שינויים כדי ליעל אותם יותר בחישובים עבור בינה מלאכותית
ולכן הם מביאים את אותם ביצועים בכול הקשור לבai אבל לא בדברים אחרים (תלת ממד וכו')
התועלת העיקרית היא אותם ביצועים בצורך חשמל נמוך בהרבהאם אתה רוצה לקרוא עוד על רכיבים יש את המדריך המאוד מושקע ש @אביעד כתב בנושא
-
@aiib
בקצרה לא הוא אפילו גרוע יותר בחישובים עבור גרפיקה וכדו' הרחבתי טיפה בספויילרבפשטות
יש מעבד (cpu) לחישובים בודדים מורכביםיש כרטיס גרפי (gpu) להרבה חישובים פשוטים בו זמנית (טוב ai) ויעיל להרבה מטרות חוץ מחישובים גרפים (brute force וכו')
אחרי שהיתפתחה תעשית הAI וחברות פתחו מרכזי שרתים ענקיים נוצרה הבעיה של חשמל (כרטיסי מסך רגילים צורכים יותר מידי)
אז יצרו כרטיסים עבור בינה מלאכותית (npu) שעברו שינויים כדי ליעל אותם יותר בחישובים עבור בינה מלאכותית
ולכן הם מביאים את אותם ביצועים בכול הקשור לבai אבל לא בדברים אחרים (תלת ממד וכו')
התועלת העיקרית היא אותם ביצועים בצורך חשמל נמוך בהרבהאם אתה רוצה לקרוא עוד על רכיבים יש את המדריך המאוד מושקע ש @אביעד כתב בנושא
-
@aiib מה שקישרת זה בכלל מודל ליצירת תמונות למי שמשתמש בamd שלרוב כול המודלים משתמשים בcuda של nvidia
-
יש לי מחשב במפרט הבא
איזה מודל שפה מומלץ לנתונים אלו בדגש על עברית טובה ויעילות מירביתתודה רבה!
 { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}