מדריך | כך תריצו מודלי AI מתקדמים על מכשיר האנדרואיד שלכם ללא אינטרנט!!!

א.מ.ד.

מאז שנחשפתי לראשונה לאפשרות להריץ מודלי שפה בפורמט GGUF על המחשב האישי, חיפשתי דרך לעשות את זה במכשירי אנדרואיד, אבל לא מצאתי אפליקציה מתאימה, וגם לא מודל איכותי בגודל שיתאים ל-RAM של אחד מהאנדרואידים שלי.

מה שקרה בימים האחרונים, זה שני דברים:

מצאתי שורת אפליקציות בתהליכי בנייה שמיועדות להריץ מודלים באופן מקומי באנדרואיד, כל אחת עם מעלות וחסרונות משלה,
DeepSeek הסינית פרסמה את מודל ההיסק שלה בקוד פתוח (R1), שהגרסה המוקטנת שלו (1.5B פרמטרים) שוקלת רק 1.89 GB בשיטת הדחיסה Q8 שהיא השיטה שמאבדת הכי פחות נתונים.
בנוסף, מצאתי גרסה זעירה של המודל של מטא - LlaMA 3.2 בגרסת 1B, במשקל 1.24 GB.
המשכתי לנבור ב-hugging face, ומצאתי עוד כמה מודלים מעניינים שעושים את העבודה.

אז איך עושים את זה?

נוריד ונתקין את האפליקציה PocketPal AI.xapk, או ב-apk: PocketPal v1.6.7(46)_apks_signed.apk שהיא לדעתי הכי טובה מבין האפליקציות, לא קורסת, מאפשרת להריץ כל מודל בגודל המתאים, תומכת במצב היסק (כמו DeepSeek R1) ומעוצבת יפה יחסית, מה גם שהמפתחים שלה ממשיכים לעבוד עליה כל הזמן ולחדש אותה.

האפליקציה מאפשרת גם הורדת מודלים דרך האפליקציה, אך זה לא מומלץ מכיון שאין דרך להגיע למודלים דרך מנהל הקבצים (לא מצאתי אותם גם ברוט) כך שזה סתם תופס הרבה מקום באחסון בלי שאפשר לגבות את המודלים.

הורידו את המודלים DeepSeek R1 ו-LlaMA 3.2 לאחסון המכשיר / כרטיס זיכרון.

פתחו את האפליקציה ולחצו על "go to models":

לחצו על כפתור ה-"+" ואז באופציה השנייה שנפתחת:

נווטו למיקום המודלים ובחרו אותם (בצעו את הפעולה עבור כל אחד מהמודלים).
המתינו מעט זמן עד שהמודל יועתק לאפליקציה.

לאחר שהמודל מופיע, לחצו על ההגדרות ("setting") של המודל, ושנו את "n predict".

תוכלו לכתוב הוראות מערכת ב-"system prompt", שעל פיהן המודל יפעל.

שמרו את ההגדרות בכפתור השחור למטה.

לחצו על "load" במודל שאתם רוצים, והמתינו לטעינת המודל.

כעת תוכלו להתכתב עם במודל בצ'אט, כמו עם GPT!!!

נכון לעכשיו המודלים האלו לא מבינים עברית כ"כ טוב, אבל באנגלית הם מצויינים. אפשר להשתמש בגוגל טרנסלייט אופליין כדי לתרגם את השאלות והתשובות. כשיושקו מודלים התומכים בעברית אעלה אותם כאן בעז"ה. לפי ההתקדמות המהירה בתחום נראה שזה ממש לא רחוק...

שימו לב: עבור שיחות רגילות מומלץ להשתמש במודל LlaMA 3.2 הפשוט, ולא עם DeepSeek R1 שיתחרבש עם עצמו בלופים. מומלץ להשתמש בו רק כשנדרשות תשובות מורכבות ועמוקות יותר. ניתן לראות מה המודל "חושב" לפני התשובה!

נחמן פלח

@א-מ-ד כתב במדריך | כך תריצו מודל AI על מכשיר האנדרואיד שלכם ללא אינטרנט!!!:

מאז שנחשפתי לראשונה לאפשרות להריץ מודלי שפה בפורמט GGUF על המחשב האישי, חיפשתי דרך לעשות את זה במכשירי אנדרואיד, אבל לא מצאתי אפליקציה מתאימה, וגם לא מודל איכותי בגודל שיתאים ל-RAM של אחד מהאנדרואידים שלי.

מה שקרה בימים האחרונים, זה שני דברים:

מצאתי שורת אפליקציות בתהליכי בנייה שמיועדות להריץ מודלים באופן מקומי באנדרואיד, כל אחת עם מעלות וחסרונות משלה,

DeepSeek הסינית פרסמה את מודל ההיסק שלה בקוד פתוח (R1), שהגרסה המוקטנת שלו (1.5B פרמטרים) שוקלת רק 1.89 GB בשיטת הדחיסה Q8 שהיא השיטה שמאבדת הכי פחות נתונים.
בנוסף, מצאתי גרסה זעירה של המודל של מטא - LlaMA 3.2 בגרסת 1B, במשקל 1.24 GB.
המשכתי לנבור ב-hugging face, ומצאתי עוד כמה מודלים מעניינים שעושים את העבודה.

אז איך עושים את זה?

נוריד ונתקין את האפליקציה PocketPal AI.xapk שהיא לדעתי הכי טובה מבין האפליקציות, לא קורסת, מאפשרת להריץ כל מודל בגודל המתאים, תומכת במצב היסק (כמו DeepSeek R1) ומעוצבת יפה יחסית, מה גם שהמפתחים שלה ממשיכים לעבוד עליה כל הזמן ולחדש אותה.

האפליקציה מאפשרת גם הורדת מודלים דרך האפליקציה, אך זה לא מומלץ מכיון שאין דרך להגיע למודלים דרך מנהל הקבצים (לא מצאתי אותם גם ברוט) כך שזה סתם תופס הרבה מקום באחסון בלי שאפשר לגבות את המודלים.

הורידו את המודלים DeepSeek R1 ו-LlaMA 3.2 לאחסון המכשיר / כרטיס זיכרון.

פתחו את האפליקציה ולחצו על "go to models":

לחצו על כפתור ה-"+" ואז באופציה השנייה שנפתחת:

נווטו למיקום המודלים ובחרו אותם (בצעו את הפעולה עבור כל אחד מהמודלים).
המתינו מעט זמן עד שהמודל יועתק לאפליקציה.

לאחר שהמודל מופיע, לחצו על ההגדרות ("setting") של המודל, ושנו את "n predict".

תוכלו לכתוב הוראות מערכת ב-"system prompt", שעל פיהן המודל יפעל.

שמרו את ההגדרות בכפתור השחור למטה.

לחצו על "load" במודל שאתם רוצים, והמתינו לטעינת המודל.

כעת תוכלו להתכתב עם במודל בצ'אט, כמו עם GPT!!!

נכון לעכשיו המודלים האלו לא מבינים עברית כ"כ טוב, אבל באנגלית הם מצויינים. כשיושקו מודלים התומכים בעברית אעלה אותם כאן בעז"ה. לפי ההתקדמות המהירה בתחום נראה שזה ממש לא רחוק...

שימו לב: עבור שיחות רגילות מומלץ להשתמש במודל LlaMA 3.2 הפשוט, ולא עם DeepSeek R1 שיתחרבש עם עצמו בלופים. מומלץ להשתמש בו רק כשנדרשות תשובות מורכבות ועמוקות יותר. ניתן לראות מה המודל "חושב" לפני התשובה!

איך אני מוריד מודלים אחרים

נגיד זה
https://huggingface.co/stabilityai/stable-diffusion-3.5-large

א.מ.ד.

@נחמן-פלח כתב במדריך | כך תריצו מודל AI על מכשיר האנדרואיד שלכם ללא אינטרנט!!!:

איך אני מוריד מודלים אחרים

נגיד זה
https://huggingface.co/stabilityai/stable-diffusion-3.5-large

זה מודל יצירת תמונות. הוא גדול מידי (16.5 GB), וגם האפליקציה מתאימה למודלי שפה (צ'אט) בלבד.
בהמשך בעז"ה אני יעלה אפליקציה ליצירת תמונות באנדרואיד באופליין.

מייבין במקצת

@א-מ-ד כתב במדריך | כך תריצו מודלי AI מתקדמים על מכשיר האנדרואיד שלכם ללא אינטרנט!!!:

מצאתי שורת אפליקציות בתהליכי בנייה שמיועדות להריץ מודלים באופן מקומי באנדרואיד,

אפשר קישורים לאפליקציות האלו? או קישור לאפליקציה שנתת רק שיתאים לאנדרואיד 4.4
כי ניסיתי להתקין על נגן ולא הצלחתי
תודה רבה

מישהו12

@מייבין-במקצת כנראה שהנגן לא יצליח "לסחוב" את זה גם אם תצליח להתקין, זה כנראה יהיה לו הרבה יותר מידי כבד

מייבין במקצת

@מישהו12 גם אם אני מתקין הכל על הכרטיס?
והזכרון הפנימי שלי הוא 8 GB והמודלים ביחד באזור ה3
אין מצב שזה יחזיק?

מגנוס קרלסן

@א-מ-ד על אנדרואיד 8.1 זה אמור לעבוד?

מישהו12

@מייבין-במקצת אני לא מכיר את המכשיר,
אבל משער שנגן שמריץ אנדרואיד כל כך ישן לא נועד לסחוב דברים כבדים.
וזה קשור למעבד, ראם וכדומה, ופחות לשטח אחסון.

מגנוס קרלסן

@א-מ-ד כתב במדריך | כך תריצו מודלי AI מתקדמים על מכשיר האנדרואיד שלכם ללא אינטרנט!!!:

נוריד ונתקין את האפליקציה PocketPal AI.xapk

אפשר את האפליקציה בAPK?

צוציק

@א-מ-ד איך מתקינים את האפליקיצה הזאת ?
אני לא מצליח כי זה לא APK
תודה

(עריכה: הסתדרתי)

ישראל 142

@מייבין-במקצת כתב במדריך | כך תריצו מודלי AI מתקדמים על מכשיר האנדרואיד שלכם ללא אינטרנט!!!:

אפשר קישורים לאפליקציות האלו? או קישור לאפליקציה שנתת רק שיתאים לאנדרואיד 4.4
כי ניסיתי להתקין על נגן ולא הצלחתי

לא כ"כ מסתבר שאפליקציית AI תתמוך באנדרואיד 4.4 (זה דור אחר לגמרי)

הרשוש

@צוציק כתב במדריך | כך תריצו מודלי AI מתקדמים על מכשיר האנדרואיד שלכם ללא אינטרנט!!!:

@א-מ-ד איך מתקינים את האפליקיצה הזאת ?
אני לא מצליח כי זה לא APK
תודה

תתקין באמצעות מנהל mt

א.מ.

אני כמובן לא רוצה לאכזב, אבל מודלים במשקל של 2 גיגה מאוד לא אמינים (אפי' באנגלית)...
כדאי לקחת הכל בפופורציות...

הרשוש

@א-מ כתב במדריך | כך תריצו מודלי AI מתקדמים על מכשיר האנדרואיד שלכם ללא אינטרנט!!!:

אני כמובן לא רוצה לאכזב, אבל מודלים במשקל של 2 גיגה מאוד לא אמינים (אפי' באנגלית)...
כדאי לקחת הכל בפופורציות...

הכל טוב
אף אחד לא חשב שמודלים כ"כ קטנים יעבדו כמו אונליין
אבל עצם הרעיון שאפשר ai אופליין זה נחמד

א.מ.ד.

@א-מ כתב במדריך | כך תריצו מודלי AI מתקדמים על מכשיר האנדרואיד שלכם ללא אינטרנט!!!:

אני כמובן לא רוצה לאכזב, אבל מודלים במשקל של 2 גיגה מאוד לא אמינים (אפי' באנגלית)...
כדאי לקחת הכל בפופורציות...

ברור שזה לא מתקרב לרמה של gpt 4o, אבל יחסית לפערי הגודל (כ-500 GB לעומת ג'יגה אחת), לדעתי זה מטורף.
מה גם שהתחום הזה הולך ומתפתח במהירות, ודי מהר נקבל מודלים אמינים ואיכותיים שמתאימים לאנדרואיד.
בנוסף, מי שמחזיק במכשיר עם 12 GB RAM, יכול בקלות להריץ באפליקציה הזו מודלים כבדים פי עשר מאלו שהעליתי, שיותר קרובים לרמת האמינות.
וכמו שכתב @הרשוש , העיקר זה הרעיון שהדבר אפשרי באנדרואיד. אף אחד לא ציפה לכתוב עכשיו קוד מורכב בפייתון עם האפליקציה הזאת, אבל מאוד נחמד לשאול אותו שאלות ידע וכדו', ולהשתמש בו בתור חיפוש גוגל מיני... כמובן שעם הזמן זה יתפתח, אבל גם עכשיו זה בסדר...

נחמן פלח

@א-מ-ד כתב במדריך | כך תריצו מודלי AI מתקדמים על מכשיר האנדרואיד שלכם ללא אינטרנט!!!:

בנוסף, מי שמחזיק במכשיר עם 12 GB RAM, יכול בקלות להריץ באפליקציה הזו מודלים כבדים פי עשר מאלו שהעליתי, שיותר קרובים לרמת האמינות.

אפשר כאלה מודלים?

הרשוש

@נחמן-פלח כתב במדריך | כך תריצו מודלי AI מתקדמים על מכשיר האנדרואיד שלכם ללא אינטרנט!!!:

@א-מ-ד כתב במדריך | כך תריצו מודלי AI מתקדמים על מכשיר האנדרואיד שלכם ללא אינטרנט!!!:

בנוסף, מי שמחזיק במכשיר עם 12 GB RAM, יכול בקלות להריץ באפליקציה הזו מודלים כבדים פי עשר מאלו שהעליתי, שיותר קרובים לרמת האמינות.

אפשר כאלה מודלים?

תנסה לראות כאן
לא הספקתי לעבור על העמוד אבל תסתכל

א.מ.ד.

@מגנוס-קרלסן כתב במדריך | כך תריצו מודלי AI מתקדמים על מכשיר האנדרואיד שלכם ללא אינטרנט!!!:

@א-מ-ד כתב במדריך | כך תריצו מודלי AI מתקדמים על מכשיר האנדרואיד שלכם ללא אינטרנט!!!:

נוריד ונתקין את האפליקציה PocketPal AI.xapk

אפשר את האפליקציה בAPK?

העליתי בפוסט הראשי apk.

א.מ.ד.

@נחמן-פלח כתב במדריך | כך תריצו מודלי AI מתקדמים על מכשיר האנדרואיד שלכם ללא אינטרנט!!!:

@א-מ-ד כתב במדריך | כך תריצו מודלי AI מתקדמים על מכשיר האנדרואיד שלכם ללא אינטרנט!!!:

בנוסף, מי שמחזיק במכשיר עם 12 GB RAM, יכול בקלות להריץ באפליקציה הזו מודלים כבדים פי עשר מאלו שהעליתי, שיותר קרובים לרמת האמינות.

אפשר כאלה מודלים?

תמצא המון ב-Hugging Face. תוודא שהגודל שלהם לא יותר גדול מה-RAM הפנוי במכשיר שלך.

נחמן פלח

@א-מ-ד כתב במדריך | כך תריצו מודלי AI מתקדמים על מכשיר האנדרואיד שלכם ללא אינטרנט!!!:

@נחמן-פלח כתב במדריך | כך תריצו מודלי AI מתקדמים על מכשיר האנדרואיד שלכם ללא אינטרנט!!!:

@א-מ-ד כתב במדריך | כך תריצו מודלי AI מתקדמים על מכשיר האנדרואיד שלכם ללא אינטרנט!!!:

בנוסף, מי שמחזיק במכשיר עם 12 GB RAM, יכול בקלות להריץ באפליקציה הזו מודלים כבדים פי עשר מאלו שהעליתי, שיותר קרובים לרמת האמינות.

אפשר כאלה מודלים?

תמצא המון ב-Hugging Face. תוודא שהגודל שלהם לא יותר גדול מה-RAM הפנוי במכשיר שלך.

אני לא מבין בזה... ולא מבין איך מורידים משם