Telèfon
Veu d'entrada i sortida, i SMS. No trucades telefòniques.
Què fa
El reconeixement i la síntesi de veu s'executen de manera allotjada localment (self-hosted), amb encaminament per idioma entre proveïdors, i una capa de gestió de torns que gestiona les interrupcions i la transmissió a nivell de frase perquè una conversa parlada no sembli un walkie-talkie. S'ha implementat una via d'SMS independent darrere d'un indicador de funció per a la missatgeria de text.
Per què és important
La veu és on el concepte d'"assistent" es fa realitat o s'ensorra, i la latència ho és tot. Allotjar la veu localment significa que el viatge d'anada i tornada no depèn d'una cua de tercers.
Com funciona
La veu s'executa de manera allotjada localment per defecte
El reconeixement i la síntesi s'executen en els seus propis contenidors, amb encaminament per proveïdor segons l'idioma per a aquelles llengües que els models locals no gestionen bé.
La gestió de torns és explícita
Un control de torns i un fragmentador de frases gestionen la interrupció i la transmissió de dades, en lloc d'esperar una resposta completa abans de parlar.
La telefonia és només per SMS i està desactivada per defecte
La via d'SMS està implementada però restringida darrere d'un indicador i requereix un compte d'operador. Les trucades de veu estaven explícitament fora de l'abast i no les hem desenvolupat.
Preguntes
- El meu agent pot respondre el telèfon?
- No. No hi ha trucades entrants ni sortints. La veu funciona al navegador; la telefonia és només per SMS i actualment està desactivada.
- Quins idiomes admet la veu?
- Un conjunt ampli, amb encaminament a diferents proveïdors per idioma, inclòs un proveïdor dedicat per a les llengües índiques on els models generals tenen un rendiment inferior.
The rest of the bag
AccessControl
Permisos per document que filtren respostes, no només pàgines.
La resolució de polítiques es desa a la memòria cau per sessió per motius de velocitat; un canvi de permís es propaga en invalidar la memòria cau, en lloc de fer-ho instantàniament en cada sol·licitud en curs.
Docs
Un arbre de carpetes que l'agent llegeix i un fitxer de configuració que obeeix.
L'extracció inclou PDF, fulls de càlcul i transcripcions. Els formats binaris exòtics no es processen.
Esdeveniments
Un registre durador del que van fer els agents i per què.
El bus d'esdeveniments en procés és un emissor de node únic, no un broker distribuït. El registre durador entre agents és un registre de tasques de Postgres independent.
That was step 1 of 6: a request arrives. Next, the subdomain is the isolation boundary, so the request resolves to one workspace, one database, and one question of whether it is even in scope.