להורדה | 🎙️ עוזר קולי חכם לאנדרואיד – זיהוי דיבור מקומי עם Whisper

[חייא שיאומי]

@מוקד-המערכות נחמד‌​‌‌​‌​​​​​‌
תנסה לעבוד קצת עם GPT תבין מה זה...

[מוקד המערכות]

@חייא-שיאומי פעם הבאה

[מוקד המערכות]

נו, מה אתם אומרים, עבד לכם טוב ?

נהנתם ?

[צצצצצ]

@מוקד-המערכות עובד מצוין!! קצת איטי.

[מוקד המערכות]

@צצצצצ מה איטי ?

התמלול ?!

[צצצצצ]

@מוקד-המערכות מרגע הדיבור עד ביצוע הפעולה. כנראה שלוקח זמן למנוע לזהות את המילים.
התמלול לא מוצג למשתמש. אולי באמת כדאי שזה יוצג לו בלייב מה האפליקציה זיהתה בדיבור שלו

[מוקד המערכות]

@צצצצצ אם אתה כותב הוא עושה את זה במיליונית השנייה (סתם, לא בדקתי), התמלול אורך זמן.

[צצצצצ]

@מוקד-המערכות כתב:

אם אתה כותב הוא עושה את זה במיליונית השנייה (סתם, לא בדקתי), התמלול אורך זמן.

אני בדקתי ואתה צודק. וזה מה שכתבתי..

אם תוכל לשפר את המהירות זה יהיה נחמד (אבל לא על חשבון איכות הזיהוי, כי גם ככה זה לא הכי חלק)
אבל חוץ מזה זזו אפליקציה נפלאה, ויש לך בסיס טוב לכל השידרוגים שמסתמא תוסיף

Spoiler

תעתיק לקלוד:
(מקור)
(למעט מה שדורש אינטרנט)
אז מה סמארטי יכול לעשות עבורך?
חיוג לאנשי קשר ("חייג לאבא!")
שליחת SMS לאנשי קשר ("שלח SMS ליהודה עם המילים בוקר טוב!")
מוזיקה ומדיה ביוטיוב ("פתח ביוטיוב את סיבת הסיבות של ישי ריבו!", "פתח ביוטיוב את הפלייליסט של שירי שבת קרליבך!")
ניווט ("נווט לכותל המערבי!")
תרגום ("איך אומרים בסינית בוקר טוב?")
שליטה בבלוטוס ("תפעיל את הבלוטוס!")
שליטה ב-WIFI ("תשבית את הוייפיי!")
הפעלת אפליקציות ("פתח את וואטסאפ!")
מדידת טמפרטורה ("מה הטמפרטורה כאן?")
סריקת ברקוד ("סרוק את הברקוד!")
מידע על המכשיר ("כמה GB נשאר לי באחסון הפנימי?", "מהי גרסת האנדרואיד שלי?")
מצלמה/וידיאו ("פתח את המצלמה!")
צילום מסך ("צלם מסך!")
יצירת תמונה ("צור תמונה של להקת אריות שוחים באגם!")
פתיחת אתרי אינטרנט ("פתח את הויקיפדיה על בנימין נתניהו!")
פתיחת חיפוש גוגל ("חפש בגוגל על דוב לבן!")
מזג אוויר ("מה התחזית להיום באלעד?")
שערי מט"ח ("כמה זה 55 דולר בשקלים נכון להיום?")
רשימת קניות ("הוסף לרשימת הקניות 2 חלב ושמנת!", "מה יש ברשימת הקניות שלי?")
הודעות Whatsapp ("שלח לישראל בוואטסאפ שאגיע מאוחר יותר הערב!")
קבצים ("פתח את הקובץ 'הכל משמים' מהאחסון!")
רדיו ("פתח את תחנת הרדיו קול-חי!")
שיחות וקבלת מידע בכל נושא ("מתי השקיעה היום בבני ברק?", "תסביר לי במונחים פשוטים איך עובד מחשוב קוונטי!", "ספר לי סיפור מתח על רוחות רפאים!")
שעון מעורר והתראות ("תעיר אותי עוד שעה וחצי!", "תזכיר לי להתקשר למשה בשמונה ורבע בערב!")
גישה להתראות ("מה ההתראות האחרונות שקיבלתי?")
מקומות וסביבה ("תציג לי מסעדות בקרבת מקום!", "תראה לי חניון קרוב!")
תחבורה ציבורית ("תראה לי איך להגיע מבני ברק לירושלים בתחבורה ציבורית!")
ניהול פרופילים ("העבר את המכשיר למצב נא לא להפריע!")
פנס ("הפעל את הפנס!")
דברים נוספים:
ידידותי למשתמש: העיצוב של סמארטי פשוט ונוח, עם ממשק בעברית מלאה!
יעילות: כל המידע נמצא במקום אחד - לא צריך לעבור בין אפליקציות שונות!
חיסכון בזמן: סמארטי ימצא עבורכם תשובות ומידע בצורה מהירה ומדויקת.
חינמי לחלוטין: אין צורך לשלם על שימוש בסמארטי. עליכם רק להזין מפתח API חינמי של Gemini, ולהשתמש בהתאם למגבלות השימוש הנדיבות של השכבה החינמית (בפועל לא נתקלתי בתקרת המגבלה...)
הבנה מלאה של שפה אנושית: סמארטי מבוסס על מודלי השפה המתקדמים ביותר של Gemini של Google.
נגישות: סמארטי יכול לקבל את בקשתכם באמצעות צ'אט, או באמצעות זיהוי דיבור מתקדם של Google.
הקראה קולית - הקראת התשובות ע"י סמארטי. נתין לבחור בין הקראה מיידית ופשוטה לבין קול אנושי טבעי שנוצר ע"י AI, אך נדרשת המתנה של כמה שניות עבור יצירת הקול ב-AI.
גישה מכל מקום - ניתן להפעיל את סמארטי באופן מיידי מכל מקום במכשיר באמצעות לחצן הצד של המכשיר לאחר הגדרת סמארטי כסייען ברירת המחדל של המכשיר.

[מוקד המערכות]

@צצצצצ אני עכשיו עובד על ספוט-דוס .

[סתם משתמש]

@מוקד-המערכות כולם אהובים. כולם ברורים. כולם עושים את העבודה מעולה!

[מוקד המערכות]

@צצצצצ כתב:

תעתיק לקלוד:
(מקור)
(למעט מה שדורש אינטרנט)
אז מה סמארטי יכול לעשות עבורך?
חיוג לאנשי קשר ("חייג לאבא!")
שליחת SMS לאנשי קשר ("שלח SMS ליהודה עם המילים בוקר טוב!")
מוזיקה ומדיה ביוטיוב ("פתח ביוטיוב את סיבת הסיבות של ישי ריבו!", "פתח ביוטיוב את הפלייליסט של שירי שבת קרליבך!")
ניווט ("נווט לכותל המערבי!")
תרגום ("איך אומרים בסינית בוקר טוב?")
שליטה בבלוטוס ("תפעיל את הבלוטוס!")
שליטה ב-WIFI ("תשבית את הוייפיי!")
הפעלת אפליקציות ("פתח את וואטסאפ!")
מדידת טמפרטורה ("מה הטמפרטורה כאן?")
סריקת ברקוד ("סרוק את הברקוד!")
מידע על המכשיר ("כמה GB נשאר לי באחסון הפנימי?", "מהי גרסת האנדרואיד שלי?")
מצלמה/וידיאו ("פתח את המצלמה!")
צילום מסך ("צלם מסך!")
יצירת תמונה ("צור תמונה של להקת אריות שוחים באגם!")
פתיחת אתרי אינטרנט ("פתח את הויקיפדיה על בנימין נתניהו!")
פתיחת חיפוש גוגל ("חפש בגוגל על דוב לבן!")
מזג אוויר ("מה התחזית להיום באלעד?")
שערי מט"ח ("כמה זה 55 דולר בשקלים נכון להיום?")
רשימת קניות ("הוסף לרשימת הקניות 2 חלב ושמנת!", "מה יש ברשימת הקניות שלי?")
הודעות Whatsapp ("שלח לישראל בוואטסאפ שאגיע מאוחר יותר הערב!")
קבצים ("פתח את הקובץ 'הכל משמים' מהאחסון!")
רדיו ("פתח את תחנת הרדיו קול-חי!")
שיחות וקבלת מידע בכל נושא ("מתי השקיעה היום בבני ברק?", "תסביר לי במונחים פשוטים איך עובד מחשוב קוונטי!", "ספר לי סיפור מתח על רוחות רפאים!")
שעון מעורר והתראות ("תעיר אותי עוד שעה וחצי!", "תזכיר לי להתקשר למשה בשמונה ורבע בערב!")
גישה להתראות ("מה ההתראות האחרונות שקיבלתי?")
מקומות וסביבה ("תציג לי מסעדות בקרבת מקום!", "תראה לי חניון קרוב!")
תחבורה ציבורית ("תראה לי איך להגיע מבני ברק לירושלים בתחבורה ציבורית!")
ניהול פרופילים ("העבר את המכשיר למצב נא לא להפריע!")
פנס ("הפעל את הפנס!")
דברים נוספים:
ידידותי למשתמש: העיצוב של סמארטי פשוט ונוח, עם ממשק בעברית מלאה!
יעילות: כל המידע נמצא במקום אחד - לא צריך לעבור בין אפליקציות שונות!
חיסכון בזמן: סמארטי ימצא עבורכם תשובות ומידע בצורה מהירה ומדויקת.
חינמי לחלוטין: אין צורך לשלם על שימוש בסמארטי. עליכם רק להזין מפתח API חינמי של Gemini, ולהשתמש בהתאם למגבלות השימוש הנדיבות של השכבה החינמית (בפועל לא נתקלתי בתקרת המגבלה...)
הבנה מלאה של שפה אנושית: סמארטי מבוסס על מודלי השפה המתקדמים ביותר של Gemini של Google.רעיון.
נגישות: סמארטי יכול לקבל את בקשתכם באמצעות צ'אט, או באמצעות זיהוי דיבור מתקדם של Google.
הקראה קולית - הקראת התשובות ע"י סמארטי. נתין לבחור בין הקראה מיידית ופשוטה לבין קול אנושי טבעי שנוצר ע"י AI, אך נדרשת המתנה של כמה שניות עבור יצירת הקול ב-AI.
גישה מכל מקום - ניתן להפעיל את סמארטי באופן מיידי מכל מקום במכשיר באמצעות לחצן הצד של המכשיר לאחר הגדרת סמארטי כסייען ברירת המחדל של המכשיר.

רעיון.

[מוקד המערכות]

יאללה חברה, לילה טוב לכולכם !

[סתם משתמש]

@מוקד-המערכות בוקר טוב

[שלמה רביב]

@מוקד-המערכות התקנתי, רמה אחרת.
זה עובד מצוין באופליין, הפקודות מהירות, רק הזיהוי דיבור לטקסט ממש איטי, אולי תבקש מקלוד לבדוק איך אפשר לעשות שזה יהיה יותר מהר (או לשנות מודל) זה לא שוקל הרבה, פחות מ 200 MB למודל אופליין זה ממש קצת.
עוד אופציה לשיפור - תעשה לשונית זיהוי טקסט בלבד, ללא פקודות,
כדאי להוסיף למקלדת הרגילה ככה שיהיה אפשר לכתוב עם זה דברים.

[מוקד המערכות]

@שלמה-רביב כתב:

זה לא שוקל הרבה, פחות מ 200 MB למודל אופליין זה ממש קצת.

בהתחלה זה היה כמה מגה, אבל הזיהוי היה על הפנים.

[יודע ומייבין]

@מוקד-המערכות למה‌​‌‌​‌​​​​​‌ הוא לא צריך API על מה הוא מבוסס ?

[מוקד המערכות]

@יודע-ומייבין למה צריך API ? זה מודל שרץ, ומה יעזור API באופליין, זה כבר לא אופליין, זה אונליין ..

[מוקד המערכות]

@שלמה-רביב יתוקן בהמשך, בל"נ.

[יודע ומייבין]

@מוקד-המערכות אהה‌​‌‌​‌​​​​​‌ זה מודל שרץ? איזה מודל זה? קווין?

[סתם משתמש]

Spoiler

@מוקד-המערכות מה זה הד' ל' בסמל של האפליקציה?