בעיה | איך משתמשים במודל בסיומת safetensors
-
יש לי OLLAMA מותקן, והורדתי [לא דרכו, במחשב אחר] קובץ מודל בסיומת safetensors, הבנתי שהיה צריך GGUF. האם יש דרך להשתמש במה שהורדתי? אם זה יעזור, אני יכול גם להתקין LM STUDIO [יש לי את קובץ ההתקנה] וזה יספיק לחלק מהדברים שאני צריך.
@חובבן-מקצועי @א.מ.ד. -
יש לי OLLAMA מותקן, והורדתי [לא דרכו, במחשב אחר] קובץ מודל בסיומת safetensors, הבנתי שהיה צריך GGUF. האם יש דרך להשתמש במה שהורדתי? אם זה יעזור, אני יכול גם להתקין LM STUDIO [יש לי את קובץ ההתקנה] וזה יספיק לחלק מהדברים שאני צריך.
@חובבן-מקצועי @א.מ.ד.@אהרן
תנסה להשתמש ב LM Studio פשוט תתקין אותו ואז תוכל לייבא את המודל ידנית.בתוך התוכנה, תלחץ על האייקון של התיקייה בצד (או בלשונית של ה-Local Server), ותגרור לשם את הקובץ.
-
יש לי OLLAMA מותקן, והורדתי [לא דרכו, במחשב אחר] קובץ מודל בסיומת safetensors, הבנתי שהיה צריך GGUF. האם יש דרך להשתמש במה שהורדתי? אם זה יעזור, אני יכול גם להתקין LM STUDIO [יש לי את קובץ ההתקנה] וזה יספיק לחלק מהדברים שאני צריך.
@חובבן-מקצועי @א.מ.ד. -
יש לי OLLAMA מותקן, והורדתי [לא דרכו, במחשב אחר] קובץ מודל בסיומת safetensors, הבנתי שהיה צריך GGUF. האם יש דרך להשתמש במה שהורדתי? אם זה יעזור, אני יכול גם להתקין LM STUDIO [יש לי את קובץ ההתקנה] וזה יספיק לחלק מהדברים שאני צריך.
@חובבן-מקצועי @א.מ.ד.@אהרן אין מה לעשות עם safetensors עם OLLAMA. מה שכן, יתכן שתוכל להמיר את הקובץ ל-GGUF על המחשב שלך.
ההמרה לא דורשת משאבים מיוחדים. השאלה אם הקובץ אכן מתאים לכך.תבדוק את הכיוון הזה
אופציה ב' היא להשתמש בספריית safetensors להרצה של המודל עם פייתון
-
@אהרן אין מה לעשות עם safetensors עם OLLAMA. מה שכן, יתכן שתוכל להמיר את הקובץ ל-GGUF על המחשב שלך.
ההמרה לא דורשת משאבים מיוחדים. השאלה אם הקובץ אכן מתאים לכך.תבדוק את הכיוון הזה
אופציה ב' היא להשתמש בספריית safetensors להרצה של המודל עם פייתון
@NH.LOCAL הקובץ במודל Gemma 4 E4B למחשב עם 16GB וI5-7300 [לפי המדריך של @א.מ.ד.] . זה די מסובך לי להוריד מחדש GGUF, אבל לא שווה לי מידי הרבה מאמצים, השאלה כמה זה מסובך להמיר, והאם קובץ שאני מוריד מכווץ יהיה מכווץ בצורה יותר מתאימה. [אני עם נטפרי ולא ניתן להוריד, זה רק להשיג מישהו שיוריד לי] את ההמרה אני יכול לעשות במחשב יותר חזק [I7]
-
@NH.LOCAL הקובץ במודל Gemma 4 E4B למחשב עם 16GB וI5-7300 [לפי המדריך של @א.מ.ד.] . זה די מסובך לי להוריד מחדש GGUF, אבל לא שווה לי מידי הרבה מאמצים, השאלה כמה זה מסובך להמיר, והאם קובץ שאני מוריד מכווץ יהיה מכווץ בצורה יותר מתאימה. [אני עם נטפרי ולא ניתן להוריד, זה רק להשיג מישהו שיוריד לי] את ההמרה אני יכול לעשות במחשב יותר חזק [I7]
@אהרן כתב בבעיה | איך משתמשים במודל בסיומת safetensors:
@NH.LOCAL הקובץ במודל Gemma 4 E4B למחשב עם 16GB וI5-7300 [לפי המדריך של @א.מ.ד.] . זה די מסובך לי להוריד מחדש GGUF, אבל לא שווה לי מידי הרבה מאמצים, השאלה כמה זה מסובך להמיר, והאם קובץ שאני מוריד מכווץ יהיה מכווץ בצורה יותר מתאימה. [אני עם נטפרי ולא ניתן להוריד, זה רק להשיג מישהו שיוריד לי] את ההמרה אני יכול לעשות במחשב יותר חזק [I7]
לא התנסיתי בהמרה בעצמי. תנסה לבקש הדרכה מ-GPT (ותדגיש שיחפש מידע עדכני ברשת)
הדבר היחיד שהבנתי זה שתהליך ההמרה לא צורך משאבים כבדים -
@NH.LOCAL הקובץ במודל Gemma 4 E4B למחשב עם 16GB וI5-7300 [לפי המדריך של @א.מ.ד.] . זה די מסובך לי להוריד מחדש GGUF, אבל לא שווה לי מידי הרבה מאמצים, השאלה כמה זה מסובך להמיר, והאם קובץ שאני מוריד מכווץ יהיה מכווץ בצורה יותר מתאימה. [אני עם נטפרי ולא ניתן להוריד, זה רק להשיג מישהו שיוריד לי] את ההמרה אני יכול לעשות במחשב יותר חזק [I7]
@אהרן אני אישית המרתי הרבה פעמים.
כל מודל אפשר להמיר בקלות, וזה לא פעולה כבדה ואפשר לעשות אותה גם במחשבים פשוטים וחלשים.
הנקודה היא שאת המודל הספציפי הזה קצת מסובך להמיר, ואפילו מומחי ההמרה ב-Hugging Face מעדכנים את ההמרות כל יומיים. יש לו ארכיטקטורה לא רגילה ותבנית צ'אט ייחודית ועוד כמה דברים שמקשים על ההמרה.
תבקש מ-Gemini שיעזור לך עם זה, ותגיד לו שיעשה את זה דרך llama.cpp-python, ושיוריד בקוד את כלי ההמרה הבנוי והמוכן, ולא שיבנה מחדש את כלי ההמרה. אחרת זה יכול להיתקע במחשבים חלשים וגם השליטה של ה-AI בנבכי כלי ההמרה הזה קצת חלשה, בפרט עם הפורמט החדש CMake. -
יש לי OLLAMA מותקן, והורדתי [לא דרכו, במחשב אחר] קובץ מודל בסיומת safetensors, הבנתי שהיה צריך GGUF. האם יש דרך להשתמש במה שהורדתי? אם זה יעזור, אני יכול גם להתקין LM STUDIO [יש לי את קובץ ההתקנה] וזה יספיק לחלק מהדברים שאני צריך.
@חובבן-מקצועי @א.מ.ד.
. { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}