שיתוף | אברהם העברי V1 - תוכנת צ'אט AI אופליין מתקדמת שעובדת על כל מחשב! עם פונקציות מתקדמות!
-
תחשוב פעם נוספת על השם אברהם העברי כי לפי מה שזה נראה שבתנ״ך לפחות הוא ממש גרוע !?
אולי תרח הכנעני
כבמובן הכל בהומר התוכנה מדהימה בטירוף -
@א.מ.ד. המודלים חסומים בנטפרי וגם התוכנות שמריות את המודלים (למעט Ollama) חסומים וזה מסובך להשיג מחברים וכ"ו
-
@yehokarpel כתב בשיתוף | אברהם העברי V1 - תוכנת צ'אט AI אופליין מתקדמת שעובדת על כל מחשב! עם פונקציות מתקדמות!:
כמובן לא צוחק על המפתח של זה עבודה מעולה לבנתיים עשית(:
חס וחלילה עבודה נהדרת בטירוףףףףףףףף בסך הכללי הרעיון הוא ממש פצצצה רק המודל בהתאם לאופלין וזה כיף לראות את התשובות האלו אני אישית מאוד נההנ מהתשובות האלו זה מזכיר לי את ימי הקדם AI יצא אני אישית זוכר ששאלתי את הקופילוט אז למשל: איך מכינים עוגה כושית והתשובה היא שהוא אינו מוכן לתת יד לגזענות כמובן גם אחרי כמה הודעות של הסבר המנגוננני אבטחה היו ממש מחמירים
וסו״ס לראות כזה דבר זה חלום של שנים ממש חבל שיש לי מאק ואני לא יוכל להתקין את זה

-
@א.מ.ד. ואו לזה לא ציפיתי, הרצתי את המודל וזה עובד מצויין ב - Ollamaאף על פי שבעבר שניסיתי לא הלך לי אז אני ינסה לשלב את זה אצל רבי אברהם
-
@המלאך כתב בשיתוף | אברהם העברי V1 - תוכנת צ'אט AI אופליין מתקדמת שעובדת על כל מחשב! עם פונקציות מתקדמות!:
רובם משתמשות באולמה.
יותר מדוייק: ב-llama.cpp שגם Ollama מבוססת עליה.
@א.מ.ד. כתב בשיתוף | אברהם העברי V1 - תוכנת צ'אט AI אופליין מתקדמת שעובדת על כל מחשב! עם פונקציות מתקדמות!:
יותר מדוייק: ב-llama.cpp שגם Ollama מבוססת עליה.
אכן.
@CSS-0 כתב בשיתוף | אברהם העברי V1 - תוכנת צ'אט AI אופליין מתקדמת שעובדת על כל מחשב! עם פונקציות מתקדמות!:
@המלאך אני אז מהמיעוט
בנית מנוע הרצה?
למה לא מערכת הפעלה?
מציע לך לראות פה רק כדי שתקבל קצת פרופורציות. -
@CSS-0 כתב בשיתוף | אברהם העברי V1 - תוכנת צ'אט AI אופליין מתקדמת שעובדת על כל מחשב! עם פונקציות מתקדמות!:
המודל עצמו 1.7B אבל בעברית עוקף מודלי ענק! הוא פשוט פצצה! המודל מבוסס על המודל DictaLM-3.0-1.7B
למי שמכיר יודע את הרמה בעבריתמודל ממש גרוע ולא שמיש. איך בדיוק הוא עוקף מודלי ענק? תעבור ל-GEMMA 4 E4B.
@CSS-0 כתב בשיתוף | אברהם העברי V1 - תוכנת צ'אט AI אופליין מתקדמת שעובדת על כל מחשב! עם פונקציות מתקדמות!:
אז התשובה כבר נאמרה בעבר בפורום ואני יחזור עליה, שאלתי את נטפרי והם אמרו שעם ה AI יהיה כפוף להנחיות נטפרי ויהיה לו הנחיות שיחסמו אותו באופן מספיק חזק, הם מאשרים אותו
תוכל לכתוב לי בפרטי מה ההנחיות שלהם? אם כן אולי אשחרר את המודל המסונן שלי. אולי גם תוכל להכניס אותו לתוכנה שלך...
@CSS-0 כתב בשיתוף | אברהם העברי V1 - תוכנת צ'אט AI אופליין מתקדמת שעובדת על כל מחשב! עם פונקציות מתקדמות!:
אז ה 'אברהם העברי' קיבל את ההנחיות של נטפרי (כמובן בקצרה אל תשכחו שזה אופליין)
יש לציין שמודלים קטנים מתקשים במעקב אחר הוראות מערכת...
-
@א.מ.ד. כתב בשיתוף | אברהם העברי V1 - תוכנת צ'אט AI אופליין מתקדמת שעובדת על כל מחשב! עם פונקציות מתקדמות!:
תעבור ל-GEMMA 4 E4B.
איזה חומרה צריך בשבילו?
-
יש לך מושג למה על 16 RAM ו 6 VRAM אני לא מצליח לטעון את GEMMA 4 E4B? צריך עוד קובץ או הגדרה ספציפית אולי?
-
@א.מ.ד. כתב בשיתוף | אברהם העברי V1 - תוכנת צ'אט AI אופליין מתקדמת שעובדת על כל מחשב! עם פונקציות מתקדמות!:
יותר מדוייק: ב-llama.cpp שגם Ollama מבוססת עליה.
אכן.
@CSS-0 כתב בשיתוף | אברהם העברי V1 - תוכנת צ'אט AI אופליין מתקדמת שעובדת על כל מחשב! עם פונקציות מתקדמות!:
@המלאך אני אז מהמיעוט
בנית מנוע הרצה?
למה לא מערכת הפעלה?
מציע לך לראות פה רק כדי שתקבל קצת פרופורציות.@המלאך כתב בשיתוף | אברהם העברי V1 - תוכנת צ'אט AI אופליין מתקדמת שעובדת על כל מחשב! עם פונקציות מתקדמות!:
מציע לך לראות פה רק כדי שתקבל קצת פרופורציות.
הקוד של מנוע ההסקה עצמו יושב בתיקיה src ושם אין כל כך הרבה קוד באופן יחסי (בתיקיה models יש תמיכה בארכיטקטורות נפרדות - למודל ספציפי לא צריך את כל זה)
זה כמובן עדיין המון אבל בכל אופן להרצה בסיסית לא צריך כל כך הרבה קוד -
@המלאך כתב בשיתוף | אברהם העברי V1 - תוכנת צ'אט AI אופליין מתקדמת שעובדת על כל מחשב! עם פונקציות מתקדמות!:
מציע לך לראות פה רק כדי שתקבל קצת פרופורציות.
הקוד של מנוע ההסקה עצמו יושב בתיקיה src ושם אין כל כך הרבה קוד באופן יחסי (בתיקיה models יש תמיכה בארכיטקטורות נפרדות - למודל ספציפי לא צריך את כל זה)
זה כמובן עדיין המון אבל בכל אופן להרצה בסיסית לא צריך כל כך הרבה קוד@מתכנת-חובב א' הוא לא דיבר על ההרצה בסיסית. הוא טען שקשה להשיג את התוכנות הרצה בנטפרי ולכן רצה לבנות אחד חדש. כל שזה צריך לכלול מזהה.
ב' נכון שהsrc יחסית [מאוד יחסי..] קצת.
אבל המורכבות שלו היא הרבה יותר מכתיבת תוכנת צאט אברהם העברי.
זה אומר כתיבה בשפה נמוכה [שאני אישית לא יןדע.]
ניהול זיכרון, טעינה של הפורמטים בינאריים, כל הנושא של הgpu ועוד הרבה דברים שקשה לי לחשוב עליהם אפילו. אני מניח שאתה יודע יותר.
אבל זה ללא ספק אמור להיות פרוייקט קשה ומורכב מאוד.


