להורדה | 🔥 עוזר אישי מטורף לאנדרואיד – זיהוי דיבור מטורף, חיפוש בקבצי ZIM ועוד! 🚀

[Uri W]

@בסדבסד
תודה רבה על הפיתוח המדהים הזה! כל הכבוד!
אגב הורדתי את האפליקציה ממש עכשיו ואצלי מופיע גרסה 35

[סטלה דקדושה]

@א.מ.ד. כתב:

אגב, מודלי זיהוי דיבור בלי קשר לא אמורים להיות בעייתיים מבחינת נטפרי, ככה שגם אם הם חסומים כדאי לבקש לפתוח ולהסביר שזה לא מודל יצירת טקסט או תמונה אלא זיהוי דיבור.

גם הקלדה קולית של גוגל?
אז תשתמש בזה

[123 דג מלוח]

@א.מ.ד.

@א.מ.ד. כתב:

אגב, מודלי זיהוי דיבור בלי קשר לא אמורים להיות בעייתיים מבחינת נטפרי,

באמת כל הקישורים שהובאו פה פתוחים בנטפרי

[auko76]

אני מעדכן שעכשיו ניסתי את העדכון וזה יותר טוב בזיהוי של הדיבור, יש עוד משהו שכדאי לתקן וזה שכשמשתמשים בעוזר הקולי בזמן שיש מוזיקה ברקע אז כדאי שהוא יעצור בזמן הקשבה או ינמיך את המוזיקה אחרת הוא לא מצליח לזהות את הדיבור...

[יוסף כהן 2]

@בסדבסד יש‌​‌‌​‌​​​​​‌ באג שהוא מזהה שניתנה הרשאה למיקרופון ותכלס זה לא באמת נתן, ולכן שלוחצים על הקלדה קולית הוא מבקש הרשאה, ולא ניתן לאשר שוב כי הוא מסמן שניתנה הרשאה.

[רפאל סון]

הוא לא נותן לי לתקין את האפליקציה המעודכנת ניסתי כמה פעמים
בעבר זה הותקן לי ללא בעיות ואחרי שהסרתי בשביל הגירסה החדשה גם את הישנה אני לא מצליח להתקין
יש למישהו מושג מה אני אמור לעשות?

[יאיר גפן]

@בסדבסד @מוקד-המערכות
חמוד מאוד.
להלן כמה הצעות לשיפור:

1. יהיה מגניב אם זה יענה אחרי קריאה "היי הלן" בדומה לסירי...
2. הוא מבין מעולה כשמדברים איתו אנגלית אממה הוא לא מבין פקודות באנגלית (למעט שניים : פתח ווטסאפ..)
3. בעברית ההבנה של דיבור של המשתמש די גרועה, אגב הוא גם לא מגיב בקול לגירסת אופליין
4. עוד המלצה שלי : תן למשתמש מקום להוסיף פקודות כדלהלן : אתה מקליט את עצמך / מקליד פקודה, ואז מראה לו מה בדיוק לעשות על ידי הקלטת פעולות באפליקציה, לדוג:
   פקודה : וויז הביתה.
   מקליט שלבים: חוזר למסך הבית, פותח וויז , לוחץ על הבית / מיקום שאתה מעוניין .
   לוחץ על סיום הקלטת הפקודה. וזהו. בפעם הבאה הוא יעשה את כל הפעולות ברקע ויציג לך ברגע שזה נכנס לוויז. (יתכן שאת זה ספציפית הוא מבין אבל לסבר את האוזן)
   עלו והצליחו , ואל תשכחו לעדכן

[למדנ]

אגב יהיה מאוד מועיל אם אחרי שפותחים את העוזר במסך הבית, יהיה אפשר לגרור אותו לאיזה איקס בתחתית ולסגור אותו, במקום מההתראה
ככה זה בכל האפליקציות שעושות תמונה בתוך תמונה...

[למדנ]

@בסדבסד @מוקד-המערכות מבדיקה שנערכה כמה פעמים, הגרסה ללא דיבור בעוגן פליי היא אכן גרסה 37 המועדכנת. אך הגרסה המורחבת עם הדיבור נשארה גרסה 35 ללא התיקונים וההוספות החדשות.

[בסדבסד]

עדכון – גרסה 1.0.42 עלתה

סידרתי את רוב מה שביקשתם פה בשרשור.

@אברהם-אבינו-1 עכשיו כשהוא שואל "התכוונת ל...?" מספיק לענות כן והוא עושה את זה.
@auko76 בזמן שהוא מקשיב המוזיקה נעצרת, וחוזרת לבד כשמסיימים לדבר.
@יוסף-כהן-2 הבאג עם הרשאת המיקרופון במקלדת אמור להיות מסודר.
@יאיר-גפן הוספתי פקודות מוקלטות, כמו שהצעת. מקליטים פעם אחת, למשל "וויז הביתה", ואחר כך רק אומרים את השם.

חוץ מזה סידרתי את ההגדרות, היה שם קצת בלגן.

@yolevi @auko76 לגבי הזיהוי בעברית: העליתי גם מודלים של ivrit.ai, מכווצים לטלפון.

הורדה בגיטהאב עד ש @מוקד-המערכות יעלה לעוגן פליי
האפליקציה: https://github.com/BSDBSDBSDBSD/helen-downloads/releases/tag/app
המודלים: https://github.com/BSDBSDBSDBSD/helen-downloads/releases/tag/models

הסבר מפורט מקלוד על כל השינויים בספוילר למטה.

Spoiler

מה חדש בגרסה 1.0.42 – הסבר מורחב

1. "כן" אחרי "התכוונת ל...?"
   עד עכשיו, כשהעוזר לא היה בטוח מה התכוונתם והציע אפשרויות, לא עזר לענות "כן". הייתם צריכים להגיד שוב את כל הפקודה.
   עכשיו:

• "כן" / "בסדר" / "נכון" / "סבבה" – מבצע את האפשרות הראשונה שהוא הציע.
• "השני" – מבצע את האפשרות השנייה.
• אפשר גם להגיד את האפשרות עצמה, למשל "לצלם".
• "לא" – מבטל, והוא לא עושה כלום.
  בונוס: כשהוא שואל "מה לפתוח?", מספיק לענות "וואטסאפ", בלי להגיד שוב "תפתח".
  התשובה עובדת רק אם עונים תוך כמה שניות. אחרי זה הוא מתייחס למה שאומרים כפקודה חדשה.

2. מוזיקה ברקע
   בזמן שהעוזר מקשיב, מוזיקה או סרטון שמתנגנים נעצרים, ככה שהוא שומע אתכם ולא את השיר. ברגע שההקלטה נגמרת הם ממשיכים לבד, עוד לפני שהוא מבצע את הפקודה.
   זה עובד גם במקלדת הקולית.
   מי שלא רוצה את זה יכול לכבות: הגדרות ← שמיעה ← "לעצור מוזיקה וסרטונים בזמן שהעוזר מקשיב".

3. הרשאת המיקרופון במקלדת הקולית
   מקלדת לא יכולה לבקש הרשאה בעצמה. לכן קרה שהמקלדת אמרה שאין הרשאה, ולא היה איך לאשר.
   עכשיו, כשחסרה הרשאה ולוחצים על המיקרופון במקלדת, נפתח חלון קטן שמבקש אותה.
   אם אנדרואיד כבר לא מוכן לשאול (כי סירבתם פעמיים), נפתח דף ההרשאות של האפליקציה בהגדרות הטלפון. שם בוחרים מיקרופון ← "לאפשר רק בזמן השימוש באפליקציה".
   טיפ: לא לבחור "רק הפעם". האישור הזה נמחק כשסוגרים את האפליקציה, וזה כנראה מה שגרם לבאג.

4. פקודות מוקלטות
   מלמדים את העוזר פעולה פעם אחת, והוא חוזר עליה לבד כשאומרים את השם שלה.
   איך מקליטים:

• נכנסים ל"שלי" ← "פקודות מוקלטות" ← "הקלט פקודה חדשה".
• נותנים שם, למשל "וויז הביתה".
• הטלפון עובר למסך הבית. עושים את הפעולה כרגיל: פותחים וויז, לוחצים על חיפוש, לוחצים על "בית".
• בסוף לוחצים על ההתראה "מקליט... לחץ לסיום".
• מופיעה רשימה של הצעדים שנשמרו.
  מעכשיו אומרים "וויז הביתה", והעוזר עושה את כל הצעדים לבד. הוא מחכה שכל מסך ייפתח לפני הצעד הבא.
  כדאי לדעת:
• צריך שירות נגישות מופעל (הגדרות ← הרשאות).
• כל לחיצה נשמרת לפי השם של הכפתור ולא לפי המיקום שלו במסך, ככה שזה עובד גם אם המסך קצת זז.
• אם אפליקציה מתעדכנת ומשנה את הכפתורים, הפקודה עלולה להיתקע. העוזר יגיד באיזה צעד הוא נתקע, ואז פשוט מקליטים אותה מחדש.
• הקלדה בשדה סיסמה אף פעם לא נשמרת.
• זה לא מכביד על הטלפון. העוזר "מסתכל" על הלחיצות רק בזמן הקלטה, ובשאר הזמן שום דבר לא רץ ברקע.
• יש אפליקציות (בעיקר של בנקים) שחוסמות שליטה כזאת.

5. תיקוני שמיעה
   מודל הדיבור המובנה טועה בכמה מילים באופן קבוע. למשל, במקום "וואטסאפ" הוא שומע "ות סף", במקום "טיימר" הוא שומע "כימאר", ובמקום "דקות" הוא שומע "דיקות".
   הוספתי מילון שמתקן את הטעויות האלה לבד, לפני שהעוזר מנסה להבין את הפקודה. המילון מבוסס על בדיקה של כמה מאות פקודות.
   אפשר להוסיף גם תיקונים משלכם: "שלי" ← "תיקוני שמיעה" ← "תיקון חדש". כותבים מה הוא שומע ומה אמרתם באמת, ומאז זה יתוקן בכל פעם.
   התיקונים שלכם עובדים גם במקלדת הקולית.
   התיקונים נשמרים בגיבוי יחד עם הפתקים והתזכורות.

6. ההגדרות סודרו מחדש
   הכרטיס "קול ודיבור" היה עמוס מדי, אז חילקתי אותו לפי נושא:

• מראה – ערכת צבעים וגודל טקסט
• הכפתור הצף – הפעלה, שקיפות, מה קורה במסך מלא ולחיצה ארוכה
• שמיעה – שפה, מודל זיהוי הדיבור (וטעינת מודל אחר) ועצירת מוזיקה
• הקראה – הקראת תשובות, מהירות, גובה קול ובדיקת קול
• הבנה – המודל החכם
• מקלדת קולית
• העוזר – מצב שבת, עיר לזמני היום ועוזר ברירת מחדל

7. מודלים מדויקים יותר לעברית (לא חובה)
   אלה המודלים של ivrit.ai, שאומנו במיוחד על עברית. כיווצתי אותם לשלושה גדלים כדי שיתאימו לטלפון.
   בדקתי אותם על 20 הקלטות אמיתיות בעברית, עם אותן הגדרות שהאפליקציה משתמשת בהן:

קובץ	גודל	שגיאות מילים
המובנה באפליקציה	180MB	50.7%
ggml-ivrit-turbo-q5_0.bin	574MB	16.8%
ggml-ivrit-turbo-q4_0.bin	474MB	17.9%
ggml-ivrit-turbo-q3_k.bin (מומלץ)	368MB	17.9%

(פחות שגיאות = יותר טוב. ה-q3 הכי קטן וכמעט מדויק כמו הגדול, לכן הוא המומלץ.)

איך טוענים:

• מורידים קובץ אחד מהקישור של המודלים.
• באפליקציה: הגדרות ← שמיעה ← "טען מודל אחר", ובוחרים את הקובץ.
• אם זה איטי מדי, "חזור למודל המובנה" מחזיר את הקודם.
  חשוב: המודלים האלה איטיים בערך פי 4 מהמובנה. בטלפון חזק (6GB זיכרון ומעלה) זה עובד טוב, ובטלפון חלש כל פקודה יכולה לקחת כמה שניות.

איזה קובץ אפליקציה להוריד?

• Helen-1.0.42.apk – הגרסה המלאה, עם מודל דיבור מובנה (בערך 216MB).
• Helen-1.0.42-lite.apk – גרסה קלה בלי מודל (בערך 26MB). טוענים מודל מהטלפון בהגדרות ← שמיעה.

[בסדבסד]

הוספתי גם מנגנון זיהוי שגיאות בעיקרון עכשיו הזיהוי קולי אמור לעבוד יותר טוב.

[auko76]

@בסדבסד וואו איזו השקעה, תודה רבה אלוף