Stemmens år – Kapittel 1: Assist

I år er hjemmeassistentens år for stemmen. Det er vårt mål for 2023 å la brukere styre Home Assistant på sitt eget språk. I dag, én måned inn i 2023, starter vi vårt første kapittel.

Hos Home Assistant mener vi at teknologi er ment å lekes med, og prosjekter bør være brukbare så snart som mulig. Sammen med fellesskapet kan vi deretter iterere og foredle. Det er derfor vi i dag leverer en grunnleggende opplevelse for 22 språk for å samhandle med Home Assistant. Å, og vi slipper også noen morsomme ting som vi har laget underveis.

For å se videopresentasjonen av dette blogginnlegget, inkludert live-demoer, sjekk opptaket av livestrømmen vår.

Intensjoner

Kjernen i en stemmeassistent er å kunne forstå intensjonen med en talt setning. Hva er det brukeren ønsker å gjøre? For å trekke ut disse intensjonene har vi laget vårt eget malsetningsmatchende format og intensjonsgjenkjenner kalt Hassil.

Dette nye formatet brukes av vårt nye Home Assistant Intents-prosjekt. Målet med dette prosjektet er å samle hjemmeautomatiseringssetninger på alle mulige språk. Siden oppstarten for en måned siden har vi hatt 112 personer som har bidratt. Prosjektet støtter nå 22 språk og 14 flere er i gang.

Assistere

Vi har lagt til en ny funksjon til Home Assistant: Assistere. Den lar brukere bruke naturlig språk for å kontrollere Home Assistant. Den er drevet av Hassil og setningene fra Home Assistant Intent-prosjektet.

Vi ønsker at Assist skal være så tilgjengelig for flest mulig. For å gjøre dette fikk vi det til å fungere uten å kreve ekstra maskinvare – bare oppdater til Home Assistant 2023.2, så kan du begynne! Gjennom en kombinasjon av smarte algoritmer kombinert med ren brute force (vi samler inn mange setninger), har vi klart å lage et system som fungerer for de fleste vanlige setninger. Støtte for kraftigere, AI-drevne, intensjonsgjenkjennere kan komme i fremtiden som en opt-in-funksjon.

Assist er aktivert som standard i Home Assistant 2023.2-versjonen. Trykk på det nye Assist-ikonet øverst til høyre på dashbordet for å bruke det.

Assistere dokumentasjon.

Assist på Android Wear

Vi ønsker å gjøre det så enkelt som mulig å bruke Assist. For å aktivere dette for Android-brukere har vi lagt til en ny flis i Android Wear-appen. Et enkelt sveip fra urskiven viser hjelpeknappen og lar deg sende talekommandoer.

Assist på Android Wear-dokumentasjon.

Den nye flisen er for øyeblikket tilgjengelig i Android-betaen og vil være en del av den neste Android-utgivelsen.

Assistere via Siri og Apple-snarveier

For Apple-enheter har vi vært i stand til å skape en fullstendig håndfri opplevelse ved å integrere med Siri. Dette drives av en ny Apple Shortcut-handling kalt Assist, som er en del av Home Assistant-appen. Denne snarveihandlingen kan også utløses manuelt fra Mac-oppgavelinjen, iPhone-startskjermen eller Apple Watch-komplikasjonen. Vi har to ferdige snarveier som brukere kan importere fra dokumentasjonen med ett enkelt trykk for å låse opp disse funksjonene.

Assist via Siri- og Apple-snarveisdokumentasjon.

Assist-snarveien vil være tilgjengelig i Mac- og iOS-betakanalen i dag og vil være en del av den neste utgivelsen for iOS og Mac.

Egendefinerte setninger

Med Home Assistant tror vi at hvert hjem er unikt ditt og at teknologien skal tilpasse seg deg, ikke omvendt. Det er derfor vi har utviklet Home Assistant for å tillate brukere å tilpasse opplevelsen i stor grad. Assist-funksjonen vår er ikke annerledes.

• Er du interessert i Game of Thrones og vil at hvert svar skal være “fuktig”?
• Vil du slå på lys i rom ved å si “Hokus pokus stue”?
• Vil du utløse partymodusskriptet ditt ved å bruke en tilpasset setning?

Assist inkluderer støtte for tilpassede setninger, svar og hensikter, slik at du kan oppnå alt det ovennevnte og mer. Vi har designet det tilpassede setningsformatet på en måte som enkelt kan deles med fellesskapet.

Les dokumentasjonen om hvordan du kommer i gang.

I en fremtidig utgivelse planlegger vi å legge til et brukergrensesnitt for å tilpasse og importere setninger.

Custom Assist-motorer

Som standard drives Assist av vår egen intentgjenkjenner. Det er lokalt, men det er begrenset til å kontrollere enheter. Kanskje du vil være i stand til å stille mer omfattende spørsmål, eller du leter etter en samtale-AI som vil utgjøre svar og presentere det som sannheten. I slike tilfeller støtter Assist-funksjonen å bytte ut motoren som håndterer alle Assist-interaksjoner.

Home Assistant 2023.2-utgivelsen inkluderer to alternative Assist-motorer som du kan aktivere: Google Assistant og OpenAI GPT-3.

Google Assistant Assist-motoren kan kontrollere enhetene dine hvis du har koblet Home Assistant-forekomsten til Google Assistant.

Alle måter å samhandle med Assist på vil fungere, siden de ikke er bundet til Assist-motoren som brukes. Så hvis du noen gang har ønsket å bruke Google Assistant på HomePod, kan du nå 🤭

OpenAI GPT-3 Assist-motoren vil behandle alle dine interaksjoner ved å bruke GPT-3, et søsken til den beryktede ChatGPT. Den er ikke i stand til å kontrollere huset ditt eller hjelpe deg med å automatisere huset ditt. Alt du spør om kan være faktisk korrekt eller ikke. Men det kan være gøy!

I en fremtidig utgivelse planlegger vi å gjøre det mulig å konfigurere flere Assist-motorer for å håndtere interaksjoner.

Hva blir det neste

For Stemmens år – kapittel 1 fokuserte vi på å bygge intensjonsgjenkjenning inn i Home Assistant mens vi stolte på Google og Apple for å gjøre de vanskelige delene (talegjenkjenning). Dette tillot oss den raskeste veien for å få noe til samfunnet å leke med.

Vi vil fortsette å samle inn hjemmeautomatiseringssetninger for alle språk (alle kan hjelpe!). Oppdateringer vil bli inkludert i alle større utgivelser av Home Assistant.

Vårt neste trinn er å integrere tale-til-tekst og tekst-til-tale med Assist. Vi har foreløpig ingen tidslinje når det vil være klart. Følg med!

Studiepoeng

Mange mennesker har jobbet veldig hardt for å gjøre alt det ovennevnte mulig.

Teknologi:
Mike Hansen, Paulus Schoutsen, Daniel Shokouhi, Zac West, Rosemary Orchard, Tronikos

Språkledere:
@AalianKhan, @Ahmed-farag36, @alpdmrel, @arunshekher, @auanasgheps, @benjaminlecouteux, @bluefoxlee, @cibernox, @cvladan, @davefx, @dinhchinh82, @dsimop, @duhow, @easterdamSta,ug @flexy2dd, @gabimarchidan, @haim-b, @halecivo, @HepoH3, @hertzg, @hristo-atanasov, @huusissa, @joaorgoncalves, @larsdunemark, @leranp, @LubosKadasi, @makstech, @mojikosu, @MTrab, @ nagyrobi, @schizza, @Scorpoon, @skynetua, @spuljko, @tetele, @TheFes, @Uriziel01, @xraver, @zubir2k

Stemmefellesskap:
@Alexivia, @Atalonica, @AwesomeGuy000, @BossNeo, @CedricFinance, @Davidsoff, @EmilZackrisson, @FragMenthor, @InfiniteBed, @Kalma-House, @Licmeth, @Marlo461, @N3rdix, @Rois, @N3rdix, @Nis TaQuangTien, @ThomDietrich, @TomaszPilch, @Wojciechgc, @alessandroias, @bemble, @berendhaan, @dejan2101, @dependabot[@bot]@dobromir-hristov, @frenck, @hugovsky, @iddiek, @jfisbein, @jharrvis, @jorclaret, @kamildoleglo, @kblin, @khymmera, @kroimon, @lellky, @ludeeus, @lukahra, @lunmay, @mardito , @martindybal, @mib1185, @michaelmior, @orrc, @pckahrs, @piitaya, @pmentis, @poltalashka, @rPonuganti, @rechin304, @relust, @rickydg, @rpochot, @rrakso, @rumbu13, @sanyatuning, tasmin, @thecode, @waltlillyman, @witold-gren, @x15pa3ck15x, @yuvalabou