שיתוף | סקריפט קטן ופשוט למציאת קבצים כפולים בתוך תיקיה
-
אם כבר התחלתי להתעסק עם האשים אז הלכתי צעד קטן קדימה ובניתי סקריפט קטן בפייתון שעובר על כל הקבצים בתיקייה ומוצא קבצים כפולים
ארבע הערות:
א' הסקריפט לא בודק תתי - תיקיות
ב' הסקריפט יראה רק אחד מהקבצים הכפולים ולא את שניהם
ג' הסקריפט מיועד בעיקר לכאלו שרוצים ללמוד קצת פייתון - בשביל הפעולה הזאת קיימות כבר הרבה תוכנות מעולות (כולל אופציה נהדרת ב CCleaner)
ד' הסקריפט משווה את תוכן הקבצים ולא את השמות - כך שגם קבצים עם שמות שונים אבל תוכן זהה יזוהו אבל לא קבצים עם שם זהה ותוכן שונהimport hashlib import os def hashfile(file): os.chdir(dir_name) sha256 = hashlib.sha256() try: with open(file, 'rb') as f: while True: data = f.read(65536) if not data: break sha256.update(data) return sha256.hexdigest() except: pass list_of_hashs = [] duplicate_files = [] dir_name = input("enter full path : ") dir_name = dir_name.replace('"', "") for file in os.listdir(dir_name): current_hash = hashfile(file) if not current_hash in list_of_hashs: list_of_hashs.append(current_hash) else: duplicate_files.append(file) print(*duplicate_files, sep='\n')@מתכנת-חובב ברוך שכיוונתי / כיוונת. אני בדיוק עובד על משהו כזה דרך באט, עם שימוש באסימונים של פקודת פור (המעלה בזה שהוא מוצא גם קבצים עם שמות דומים ולאו דוקא שמות זהים)
לכל הפרוייקטים שלי
https://nhlocal.github.io -
@מתכנת-חובב ברוך שכיוונתי / כיוונת. אני בדיוק עובד על משהו כזה דרך באט, עם שימוש באסימונים של פקודת פור (המעלה בזה שהוא מוצא גם קבצים עם שמות דומים ולאו דוקא שמות זהים)
-
@NH-LOCAL הסקריפט שלי לא בודק שמות זהים אלא תוכן זהה
@מתכנת-חובב מדהים! אם ככה, זה עדיף על סי-קלינר שרק בודק גודל או שם של קובץ
ב. מה מהירות הסריקה של זה?לכל הפרוייקטים שלי
https://nhlocal.github.io -
@מתכנת-חובב מדהים! אם ככה, זה עדיף על סי-קלינר שרק בודק גודל או שם של קובץ
ב. מה מהירות הסריקה של זה? -
@NH-LOCAL סי קלינר יכול לבדוק גם תוכן
@מתכנת-חובב למיטב ניסיוני עם התוכנה היא לא באמת בודקת תוכן
לכל הפרוייקטים שלי
https://nhlocal.github.io -
@מתכנת-חובב למיטב ניסיוני עם התוכנה היא לא באמת בודקת תוכן
-
@NH-LOCAL ולמיטב ניסיוני (הדי רב) היא בודקת
-
@מתכנת-חובב מדהים! אם ככה, זה עדיף על סי-קלינר שרק בודק גודל או שם של קובץ
ב. מה מהירות הסריקה של זה?@NH-LOCAL כתב בשיתוף | סקריפט קטן ופשוט למציאת קבצים כפולים בתוך תיקיה:
ב. מה מהירות הסריקה של זה?
לא הכי מהיר בעולם
בדקתי עכשיו השוואה בין 2 קבצים בגודל 1.7 ג'יגה כל אחד ולקח 8 שניות (מחשב נייח i5 דור 9 וכונן NVMe מדור שלישי בלי כרטיס מסך) -
@NH-LOCAL כתב בשיתוף | סקריפט קטן ופשוט למציאת קבצים כפולים בתוך תיקיה:
ב. מה מהירות הסריקה של זה?
לא הכי מהיר בעולם
בדקתי עכשיו השוואה בין 2 קבצים בגודל 1.7 ג'יגה כל אחד ולקח 8 שניות (מחשב נייח i5 דור 9 וכונן NVMe מדור שלישי בלי כרטיס מסך) -
אם כבר התחלתי להתעסק עם האשים אז הלכתי צעד קטן קדימה ובניתי סקריפט קטן בפייתון שעובר על כל הקבצים בתיקייה ומוצא קבצים כפולים
ארבע הערות:
א' הסקריפט לא בודק תתי - תיקיות
ב' הסקריפט יראה רק אחד מהקבצים הכפולים ולא את שניהם
ג' הסקריפט מיועד בעיקר לכאלו שרוצים ללמוד קצת פייתון - בשביל הפעולה הזאת קיימות כבר הרבה תוכנות מעולות (כולל אופציה נהדרת ב CCleaner)
ד' הסקריפט משווה את תוכן הקבצים ולא את השמות - כך שגם קבצים עם שמות שונים אבל תוכן זהה יזוהו אבל לא קבצים עם שם זהה ותוכן שונהimport hashlib import os def hashfile(file): os.chdir(dir_name) sha256 = hashlib.sha256() try: with open(file, 'rb') as f: while True: data = f.read(65536) if not data: break sha256.update(data) return sha256.hexdigest() except: pass list_of_hashs = [] duplicate_files = [] dir_name = input("enter full path : ") dir_name = dir_name.replace('"', "") for file in os.listdir(dir_name): current_hash = hashfile(file) if not current_hash in list_of_hashs: list_of_hashs.append(current_hash) else: duplicate_files.append(file) print(*duplicate_files, sep='\n') -
@מתכנת-חובב איך משתמשים בזה? בסביבת עבודה של פייתון? Notepad++? משהו אחר?
 { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}