בקשת מידע | להפוך מחשב לשרת - איך מתחילים?
-
@הישבשר-המלומד כן ואם יכבה בטעות נחזור לג'מיני (אני ייקח את זה בתור גיבוי)
-
מכיוון שמאסתי במפתחות API למיניהם (עיין ערך שגיאות מגבלה בעויזר צ'אט ),
החלטתי לעבור מג'מיני למודל מקומי.הבנתי שבשביל זה צריך להפוך את המחשב לשרת או משהו בסגנון...
יש למישהו מידע בעניין?
איך מתחילים?
איך ממשיכים?
ובכלל - איך מסיימים? ()תודה רבה!
מתקינים LM Studio, מפעילים הגדרות מתקדמות/מפתחים/לא זוכר איך קוראים לזה, מפעילים שרת, מאשרים גישה למחשבים אחרים בתוך הרשת הביתית, טוענים מודל מקומי ונהנים.
-
מכיוון שמאסתי במפתחות API למיניהם (עיין ערך שגיאות מגבלה בעויזר צ'אט ),
החלטתי לעבור מג'מיני למודל מקומי.הבנתי שבשביל זה צריך להפוך את המחשב לשרת או משהו בסגנון...
יש למישהו מידע בעניין?
איך מתחילים?
איך ממשיכים?
ובכלל - איך מסיימים? ()תודה רבה!
מתקינים LM Studio, מפעילים הגדרות מתקדמות/מפתחים/לא זוכר איך קוראים לזה, מפעילים שרת, מאשרים גישה למחשבים אחרים בתוך הרשת הביתית, טוענים מודל מקומי ונהנים.
-
@א.מ.ד. כ"כ פשוט? - באמת שנהנים...
@א.מ.ד. כ"כ פשוט? - באמת שנהנים...
ברור נהנים, השאלה היא איזה חומרה יש לך.
מפתח אפליקציות אנדרואיד ויישומי ומודלי AI
-
@א.מ.ד. כ"כ פשוט? - באמת שנהנים...
ברור נהנים, השאלה היא איזה חומרה יש לך.
-
@א.מ.ד. כ"כ פשוט? - באמת שנהנים...
ברור נהנים, השאלה היא איזה חומרה יש לך.
@א.מ.ד. אין לי שמץ - אתה אולי יודע מה זה אומר?
-
@א.מ.ד. עם התוכנה שלך אפשר? ככה הוא יכול להריץ מודלים יותר חזקים
@א.מ.ד. עם התוכנה שלך אפשר? ככה הוא יכול להריץ מודלים יותר חזקים
כן, אפשר, אבל זה יותר איטי מטבע הדברים. מה שאני עשיתי זה בעצם להעביר את רוב המודל לאחסון במקום ל-RAM המוגבל, והאחסון איטי בהרבה מה-RAM, אבל עם שליטה נכונה במטמון זה מספיק שמיש לדברים רגילים.
מפתח אפליקציות אנדרואיד ויישומי ומודלי AI
-
@א.מ.ד. עם התוכנה שלך אפשר? ככה הוא יכול להריץ מודלים יותר חזקים
כן, אפשר, אבל זה יותר איטי מטבע הדברים. מה שאני עשיתי זה בעצם להעביר את רוב המודל לאחסון במקום ל-RAM המוגבל, והאחסון איטי בהרבה מה-RAM, אבל עם שליטה נכונה במטמון זה מספיק שמיש לדברים רגילים.
-
@א.מ.ד. אין לי שמץ - אתה אולי יודע מה זה אומר?
-
-
@א.מ.ד. אין לי שמץ - אתה אולי יודע מה זה אומר?
לצערי מדובר במחשב מאוד חלש גם במושגי מחשבים חלשים - 8 RAM וללא GPU.
-
@א.מ.ד. ואם אני יריץ מודל רגיל עם התוכנה שלך - יכול להיות שהוא יענה לי יותר מהר?
@א.מ.ד. ואם אני יריץ מודל רגיל עם התוכנה שלך - יכול להיות שהוא יענה לי יותר מהר?
בתור מתחיל בתחום הייתי ממליץ לך להישאר עם LM Studio ולא להתעסק עם תוכנות אחרות, אבל כעיקרון הייתי ממליץ לך להשתמש ב-llama.cpp המקורי שעליו מבוססות כל התוכנות האחרות כולל LMS, בלי להפעיל ממשקים גרפיים שצורכים זיכרון.
מפתח אפליקציות אנדרואיד ויישומי ומודלי AI
-
@א.מ.ד. ואם אני יריץ מודל רגיל עם התוכנה שלך - יכול להיות שהוא יענה לי יותר מהר?
בתור מתחיל בתחום הייתי ממליץ לך להישאר עם LM Studio ולא להתעסק עם תוכנות אחרות, אבל כעיקרון הייתי ממליץ לך להשתמש ב-llama.cpp המקורי שעליו מבוססות כל התוכנות האחרות כולל LMS, בלי להפעיל ממשקים גרפיים שצורכים זיכרון.
@א.מ.ד. אוקי - אני מתחיל לעבוד (או לפחות לנסות לעבוד)
-
@א.מ.ד. מה כן אפשר להריץ עליו?
-
@א.מ.ד. מה כן אפשר להריץ עליו?
תתחיל עם Gemma 4 E4B.
-
-
@מייבין-במקצת
-
שלום! נראה שהשיחה הזו מעניינת אותך, אבל עדיין אין לך חשבון.
נמאס לכם לגלול בין אותם הפוסטים בכל ביקור? כשנרשמים לחשבון, תמיד תחזרו בדיוק למקום שבו הייתם קודם, ותוכלו לבחור לקבל התראות על תגובות חדשות (בין אם במייל, ובין אם בהתראת פוש). תוכלו גם לשמור סימניות ולפרגן ב-upvote לפוסטים כדי להביע הערכה לחברי קהילה אחרים.
בעזרת התרומה שלך, הפוסט הזה יכול להיות אפילו טוב יותר 💗
הרשמה התחברות { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}