להורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!

[NH.LOCAL]

@אלף-שין כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:

@דאנציג
זה מה שנפתח לי,
זה אומר שזה מתחיל לעבוד, או שיש תקלה [יתכן שזה בגלל חדר מחשבים לא עובד?]?
Active code page: 1255
note: if you have an AMD or NVIDIA GPU then you need to pass -ngl 9999 to enable GPU offloading

זה אומר שהוא מתחיל לעבוד

@דאנציג כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:

אגב, @sivan22 עם llamafile וההגדרות של @NH-LOCAL המודל בעברית עובד לי הרבה יותר מהר מאשר עם התוכנה LM STUDIO, שגם מנצלת יותר משאבים במחשב (גם GPU וגם CPU), ובכל זאת יותר איטי אצלי (ותחושה שלי גם פחות מדויק).

מעניין. אני מרגיש בדיוק הפוך - נראה שתוכנת LMSTUDIO מנצלת את המשאבים בצורה המיטבית וככה עושה את הכל מהיר יותר
(למעשה, אפשר לבדוק את זה - אמור להיות נתונים של מספר הטוקנים לשנייה)

[tcrvodkxrvzurgho]

אחרי כמה שניות נפתח לך חלון בכרום. לפחות לי זה היה ככה.

[דאנציג]

@שמואל-רבינוביץ כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:

כשאני פותח את הקבצים שנקראים כך
dictalm2.0.Q4_K_M.gguf
וכך
llamafile-0.8
הוא שואל איך לפתוח את זה כשאני בוחר לפתוח אותו בדפדפן גוגל אז נפתח לי דפדפן ללא שם ומבצע לי הורדה של הקובץ

את הקבצים האלו לא צריך לפתוח!

בקבצים האלו
start-language-model
start-language-model-on-gpu
הוא עושה לי את הבעיה של המסך השחור

את אחד הקבצים האלו צריך להפעיל, ואם יש לך מסך שחור, אז כנראה שהמחשב שלך חלש מדאי ולא יכול להפעיל את זה.
מה המאפיינים של המחשב שלך?

[דאנציג]

@NH-LOCAL כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:

מעניין. אני מרגיש בדיוק הפוך - נראה שתוכנת LMSTUDIO מנצלת את המשאבים בצורה המיטבית וככה עושה את הכל מהיר יותר
(למעשה, אפשר לבדוק את זה - אמור להיות נתונים של מספר הטוקנים לשנייה)

לכאורה זה בגלל שלא הגדרתי כלום בLM STUDIO, אלא ישר פתחתי.
מה צריך להגדיר והיכן?
(אני לא יודע אנגלית, אלא מצליח לקרוא, וכאשר מסבירים לי אני מבין קצת...)

[NH.LOCAL]

@דאנציג לפי מה שאני מבין - בעקרון יש הגדרה אוטומטית לפי המפרט של המחשב שלך

בחלון בצד ימין - יש מגוון של הגדרות. בין השאר יש שם הגדרה של מס' שכבות ב-GPU - אפשר לנסות לשחק עם זה - כרגע זה מוגדר אצלי על 14
(אם אין לך מעבד גרפי של NVIDIA או AMD אז זה לא רלוונטי)

בנוסף ניתן להגדיר את מספר הסיבובים בו זמנית של ה-CPU. בדרך כלל מומלץ להתאים את זה למספר הליבות. אם יש לך 4 ליבות - מומלץ להגדיר את המספר ל-4.
[את המספר של הליבות אפשר לראות במנהל המשימות בכרטיסית CPU]

בתמונה זו ההגדרה האחרונה ברשימה:

מקווה שאני מובן

[דאנציג]

@NH-LOCAL כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:

מקווה שאני מובן

מובן מאוד, יישר כוח.
אני התכוונתי להוראות האלו, עכשיו מצאתי את ההגדרה הזו, ננסה עכשיו, אולי זה יביא תוצאות יותר טובות.

אגב, אני חושב שכדאי להכניס את ההוראות, או לפחות קישור להוראות בפוסט הראשון שלך.
יישר כוח.

[NH.LOCAL]

@דאנציג כרגע הפוסט הראשון מותאם למודל אחר לגמרי... בכל מקרה, בעיקרון המודל גם מוגדר אוטומטית עם ההתאמות הנדרשות עליהם אתה מדבר. ובכל מקרה, זה לא אמור לשנות את המהירות אלא רק את האיכות

[דאנציג]

@NH-LOCAL
מוזר, שיניתי את ההגדרות ל[INST] ו[/INSTJ\n והמודל התחיל לענות לי תשובות באנגלית!

[שמואל רבינוביץ]

@דאנציג המאפינים שלי הם

יכול להיות שזה כבד מידי בשבילו?

[דאנציג]

@שמואל-רבינוביץ כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:

יכול להיות שזה כבד מידי בשבילו?

לא.
אתה צריך להפעיל את הקובץ הזה start-language-model, אבל גם לי יש כזו בעיה עם המודל PHI3. אם אמצע פתרון בעז"ה בל"נ אכתוב לך.

[שמואל רבינוביץ]

אשמח בכל מקרה איזה מודל אתה חושב שכן יעבוד לי ?

[דאנציג]

@שמואל-רבינוביץ
תנסה עם התוכנה LM STUDIO.

כאן יש קישור להורדה, וכן קישור לכמה פוסטים למעלה שיעזרו לך להתקין.
עריכה:
תוכל לראות במדריך כאן אם חסר משהו במדריך אשמח שתודיע לי.
בהצלחה

[יוסי מחשבים]

פוסט זה נמחק!

[יוסי מחשבים]

@דאנציג כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:

אם חסר משהו במדריך אשמח שתודיע לי.

בצד ימין להגדיר שיהיה מימין לשמאל

[דאנציג]

@יוסי-מחשבים
זה באמת נצרך, אבל לא מצאתי היכן ההגדרה הזו, אשמח שתכוון אותי יותר.
תודה רבה

[יוסי מחשבים]

@דאנציג כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:

@יוסי-מחשבים
זה באמת נצרך, אבל לא מצאתי היכן ההגדרה הזו, אשמח שתכוון אותי יותר.
תודה רבה

ללחוץ על הסמל הגדרות, לגלול למטה ולבחור ב Right to left

[דאנציג]

@יוסי-מחשבים
והיכן הסמל הגדרות?
גם בSETTINGS לא מצאתי:

[יוסי מחשבים]

@דאנציג כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:

גם בSETTINGS לא מצאתי

לי מופיע (ווינדוס 11):

[NH.LOCAL]

@יוסי-מחשבים זו גרסה חדשה יותר. יש עוד כמה שינויים בתצוגה (0.2.22 - 0.2.21)

למעשה:

• הורד את הגרסה האחרונה

• פתח את ההגדרות בצדד ימין

• רד למטה ותמצא את זה:

[A0533057932]

על מנת שתוכנת LM STUDIO תעבוד חלק בנטפרי
ויתאפשר להוריד מודלים דרך התוכנה
יש להריץ את הפקודה הבאה

setX NODE_TLS_REJECT_UNAUTHORIZED 0 /m

מדובר בפקודה לא מומלצת להרצה באופן קבוע כיון שהיא מבטלת את בדיקת האבטחה של NODE
מבטלים אותה על ידי הפקודה הבאה

REG delete "HKLM\SYSTEM\CurrentControlSet\Control\Session Manager\Environment" /F /V NODE_TLS_REJECT_UNAUTHORIZED

מקור לפקודות

לאחר מיכן ניתן להוריד כל מודל דרך התוכנה ישירות
כולל המודל בעברית
(בשבילו רושמים בתיבה את הכתובת

https://huggingface.co/dicta-il/dictalm2.0-instruct-GGUF/tree/main

כמו בתמונה

ולוחצים על הכפתור הכחול
ואז בוחרים את המודל שברצונכם להוריד