GE - Como Fazer - Cia - Ativando através do comando de voz
Como Fazer > Utilidades/Diversos
Voltar
Índice
- 1 CIA - Ativando através do comando de voz
- 2 Quais são as configurações necessárias para ativar o reconhecimento de voz?
- 3 Como fazer a Instalação da CIA?
- 4 Como verificar os recursos de fala da CIA?
- 5 Como fica a execução no CIGAM da CIA?
- 6 Quais são os comandos interpretados pela CIA?
- 7 Como fazer para abrir o ditado através do CIA?
- 8 Como exibir os resultados parciais ao ditar um campo para CIA?
- 9 Execução da CIA via Go-Global
CIA - Ativando através do comando de voz
A CIA - Ativando através do comando de voz está disponível para auxiliar na navegação e na edição de informações dentro do sistema, podendo ser habilitado através das parametrizações indicadas a seguir.
Quais são as configurações necessárias para ativar o reconhecimento de voz?
Para utilizar o reconhecimento de voz no CIGAM, será necessário que o motor do componente responsável por esta funcionalidade esteja instalado e configurado no Windows da máquina. Esse componente é fornecido pela Microsoft gratuitamente e não necessita de conexão com a internet para funcionar.
Por se tratar de um componente do Windows, sua instalação irá necessitar de privilégios administrativos na máquina e deverá ser feita manualmente.
A máquina também precisará possuir hardware de entrada e saída de áudio, algo muito simples como uma placa de som e um microfone.
No caso do microfone, quanto melhor o equipamento, melhor será a taxa de reconhecimento de voz bem como a distância física que pode ser utilizada em relação ao equipamento.
As API’s de reconhecimento de voz estão disponíveis somente para o idioma de exibição do Windows. Mesmo que seja instalado os conjuntos para outro idioma, o Windows não o detecta. Isso acontece porque os mesmos recursos de voz são utilizados para o aplicativo Narrador do Windows, e nesse caso, não seria possível ler uma tela ou informação num idioma diferente da voz.
Para isso, será necessário que o idioma de exibição do Windows seja em Português do Brasil (pt-BR).
Na pasta %CIGAM_INSTAL%xpa\Speech\ estão disponibilizados os arquivos necessários para a instalação do recurso Comando de Voz.
É necessário ter registrado na máquina o certificado que conta em: %CIGAM_INSTAL %XPA\Certificados
Executar via CMD conforme exemplo: 'certutil.exe -f -user -p certificatePassword -importpfx "Certificate Path" '
EX: certutil.exe -f -user -p cigam@cigam -importpfx "%CIGAM_INSTAL %XPA\Certificados\corp.cigam.com.br\corp.cigam.com.br.pfx"
Hardware
Nos dispositivos do Windows deverá existir controles de som, entradas e saída de áudio (os itens dentro de cada nível podem mudar de acordo com a versão do Windows e do hardware instalado):
Deverá aparecer o ícone na barra de tarefas do Windows bem como possibilitar o acesso aos dispositivos de reprodução:
Como fazer a Instalação da CIA?
O Runtime do Magic, seja em uniPaaS ou xpa, sempre é executado na plataforma 32 bits. Porém, as ferramentas utilitárias do CIGAM podem ser executas num processo separado do Runtime do Magic, e nesse caso poderão ser executas na plataforma 64 bits.
Dessa forma, os componentes 32 bits (x86) obrigatoriamente devem estar instalados para o CIGAM ativar o reconhecimento de voz. Para garantir que as demais ferramentas possam ativar esse recurso quando forem executadas num processo separado, também é necessário que se instale os componentes 64 bits (x64).
- Os instaladores dos componentes estão em:
Caso não seja localizada nenhuma voz em Português do Brasil, que geralmente acontece no Windows Server, existe a possibilidade de instalação de uma outra voz para tal sintetização. A voz padrão do Windows é a “Maria”, que é instalada junto com os pacotes de idiomas em português, sendo que a voz “Heloisa” poderá ser instalada quando a “Maria” ou outra voz em português não estiver disponível.
- O instalador da voz Heloisa está em:
- Após a instalação, os componentes deverão ser registrados para o uso conforme os script’s do Registro do Windows:
- O idioma de reconhecimento padrão do CIGAM é o português brasileiro (cultura “pt-BR”).
- Caso necessário, o instalador para o idioma inglês americano (cultura “en-US”) está em:
Os componentes que serão instalados irão necessitar do Microsoft .NET Framework 4.0. Atualmente o CIGAM tem como pré-requisito a versão 3.5 do .NET, sendo que a versão 4.0 também será necessária para executar o CIGAM com reconhecimento de voz (ou seja, a máquina precisará estar com as duas versões do .NET instalada).
Esse requisito de versão do .NET pode já ter sido atendido uma vez que o Magic xpa também precisa de uma versão do .NET maior ou igual a 4.0.
Em versões mais novas do Windows, a versão 4.0 do .NET já vem instalada, e a versão 3.5 do .NET vem pré-instalada necessitando ser ativada.
Maiores informações sobre a instalação do .NET pode ser obtida no “Como Fazer - Instalação do .Net nos clientes.pdf”
Importante: Caso já exista a fala em português (brasil) instalada não é necessário instalar a fala “Heloisa”.
Como verificar os recursos de fala da CIA?
⇒ Verificar se consta microfone instalado, e se o Windows está identificando o dispositivo de reprodução em som no painel de controle:
⇒ No Painel de Controle deverá estar acessível a configuração de texto e fala
- Um teste de demonstração de voz pode ser feito para verificar se o hardware está funcionando corretamente:
- Em Propriedades de Fala>Guia Texto para Fala>
- Botão <Demosntração da Voz>
- Deve se ouvir o texto redigido na opção ‘Usar o seguinte para demonstrar a voz’
- Botão <Demosntração da Voz>
- Em Propriedades de Fala>Guia Texto para Fala>
Independente da voz utilizada, essa opção pode possuir valores diferentes dependendo da plataforma. Para isso, poderá ser feita a verificação abrindo as propriedades de fala para ambas as plataformas, pois o Windows sempre abre para apenas a plataforma de instalação do Sistema Operacional quando executado pelo menu Iniciar ou Painel de Controle:
C:\Windows\System32\Speech\SpeechUX\SAPI.cpl
C:\Windows\SysWOW64\speech\SpeechUX\SAPI.cpl
Neste caso, se for instalada uma voz diferente do padrão, obrigatoriamente deverá ser configurada para ambas plataformas.
⇒ Componentes do Windows
Algumas versões de Windows, geralmente Server, mesmo após a instalação da linguagem de exibição (Display Language) para português, os recursos de fala não são instalados.
Geralmente quando isso acontece, a voz da Maria não aparece disponível para seleção.
Após a instalação da linguagem de exibição, acessar as configurações do Windows para o idioma Português (Brasil):
⇒ Execução via Terminal Server (área de trabalho remota)
No servidor de acesso remoto, acessar as configurações do Microfone no servidor:
Selecione as opções de privacidade
Acesse a opção Microfone ao lado esquerdo da tela
Garanta que as duas opções abaixo estejam ativas:
Ao conectar remotamente garanta que a opção abaixo esteja marcada:
Garanta que o idioma do servidor de acesso remota esteja com o idioma Português(Brasil) instalado:
A maneira mais simples de conferir o idioma é clicar em iniciar:
Inglês
Português
Para testar a captura por Windows basta utilizar o recurso de gravação do google pelo navegador de internet:
Lembrando: Para que funcione será necessário ter um microfone conectado na máquina e habilitar os recursos na conexão:
Esta configuração também funciona se for conectado em outro TS estando dentro de um TS, porém a latência da rede pode causar atraso na detecção de áudio, e nesse caso, pode não reconhecer frases maiores.
Após essas parametrizações já estamos aptos a utilizar os comandos de voz.
Como fica a execução no CIGAM da CIA?
O ícone de reconhecimento de voz estará visível no CIGAM na inicialização na barra de topo.
Ao tocar ou clicar no ícone os componentes de reconhecimento de voz serão ativados e o ícone irá apresentar uma barra lateral com algumas opções para utilização da assistente virtual.
Estando ativo, os recursos poderão interagir com entrada de comandos por voz bem como emitir mensagens e notificações também por voz.
No grupo do Chat, existe alguns facilitadores para consulta, visando atender a solicitação com mais exatidão por assunto utilizando as seguintes opções:
Geral: Fale de assuntos gerais;
Suporte: Fale sobre assuntos de suporte para a solução do problema;
Configurações: Fale sobre como configurar o CIGAM;
Como Fazer: Fale como utilizar algumas funcionalidades do CIGAM;
RH: Fale sobre recursos humanos.
O grupo Assistente oferece comandos descritos para serem utilizados, tendo seu retorno via áudio, para a utilização desses, pode se falar via comando de voz, ou selecionar para que a assistente responda.
Ao utilizar o link ‘mostrar mais opções’ é possível fazer uma pesquisa dos comandos indicados, visando facilitar a localização de um comando de voz específico.
Esse ícone corresponde a comandos de voz, executável através do click do mouse sobre ele com retornos de ação e fala da assistente.
Esse ícone corresponde a comando de voz, que podem ser ditados a assistente, sem ação de resposta ao clicar em cima do comando, serve para informar que o comando é existente e que pode ser utilizado através da execução de fala do usuário.
Ao clicar em um comando de voz executável através do click é reordenado automaticamente conforme utilização dos comandos.
Quais são os comandos interpretados pela CIA?
A implementação do reconhecimento de voz no CIGAM está implementado de maneira básica.
Para isso, estão disponíveis os seguintes comandos:
Tipo | Comando de voz | Resultado | A tela deve estar |
Métodos | CIA mostrar acesso rápido | Mostra o painel Acesso rápido | Ativa |
CIA mostrar alertas | Mostra o painel Alertas | Ativa | |
CIA fechar alertas | Fecha o painel Alertas pois é um painel lateral | Ativa | |
CIA mostrar início | Mostra o painel Início | Ativa | |
CIA mostrar favoritos | Mostra o painel Favoritos | Ativa | |
CIA mostrar histórico | Mostra o painel Histórico | Ativa | |
CIA mostrar mais acessados | Mostra o painel Mais acessados | Ativa | |
CIA mostrar marcadores | Mostra o painel Marcadores | Ativa | |
CIA mostrar utilidades | Mostra o painel Utilidades | Ativa | |
CIA mostrar pesquisar | Mostra painel Pesquisar | Ativa | |
CIA fechar pesquisar | Fecha o painel Pesquisar pois é um painel lateral | Ativa | |
CIA escolher área | Mostra o painel para selecionar qual área posicionar. Só irá responder a esse comando caso esteja no painel Início | Ativa | |
CIA ler este campo | Lê o campo que está posicionado na tela | Ativa | |
Teclas | CIA vá para cima | Pressiona a tecla seta para cima | Ativa |
CIA vá para baixo | Pressiona a tecla seta para baixo | Ativa | |
CIA vá para direita | Pressiona a tecla seta para a direita | Ativa | |
CIA vá para esquerda | Pressiona a tecla seta para a esquerda | Ativa | |
CIA modificar | Pressiona a tecla Ctrl+M | Ativa | |
CIA pesquisar | Pressiona a tecla Ctrl+Q | Ativa | |
CIA criar | Pressiona a tecla Ctrl+I | Ativa | |
CIA entrar | Pressiona a tecla Enter | Ativa | |
CIA voltar | Aciona o comando de voltar navegação do menu. Equivale ao pressionamento de Ctrl + Seta para esquerda | Ativa | |
CIA zoom | Pressiona a tecla F5 | Ativa | |
CIA focar | Quando um painel tem mais de um container de mosaicos, alterna o foco entre eles. Exemplo de uso: painéis que tem treeview de divisões (cadastros, movimentos, pesquisas, relatórios...) e também outro container com os mosaicos daquela divisão. Equivale ao pressionamento do Ctrl + Tab. Como o foco irá mudar de container, esse comando automaticamente sai do modo “procurar” se ele estiver ativo. |
Ativa | |
CIA fechar esta tela | Fecha a tela através do pressionamento da tecla Esc. | Ativa | |
CIA capturar esta tela | Faz um print da área de trabalho e coloca na área de transferência | Ativa | |
CIA capturar esta tela e salvar | Salva em arquivo o print da área de trabalho | Ativa | |
CIA próximo campo | Salta para o próximo campo da tela através do pressionamento da tecla Tab | Ativa | |
CIA campo anterior | Salta para o campo anterior da tela através do pressionamento das teclas Shift + Tab | Ativa | |
CIA selecionar tudo | Seleciona o conteúdo do campo focado. Equivale a um Ctrl + A. | Ativa | |
Interação | CIA aumentar volume | Aumenta o volume da saída de som da aplicação | Indiferente |
CIA diminuir volume | Diminui o volume da saída de som da aplicação | Indiferente | |
CIA bom dia | Cumprimento | Ativa | |
CIA boa tarde | Cumprimento | Ativa | |
CIA boa noite | Cumprimento | Ativa | |
CIA que dia é hoje? | Fala a data atual | Ativa | |
CIA que horas são? | Fala a hora atual | Ativa | |
CIA você me entendeu? | Refaz o reconhecimento da última frase para verificar se tem alguma frase de reconhecimento vinculada que não tenha sido reconhecida anteriormente. | Ativa | |
CIA a internet está conectada? | Verifica se o usuário logado tem acesso à internet. | Ativa | |
CIA qual sua idade? | Responde com a idade da assistente, que é a idade da empresa Cigam. | Ativa | |
CIA me fale sobre assistente virtual | Reponde falando a definição | Ativa | |
CIA me fale sobre você | Dá uma breve explicação sobre o assistente de voz | Ativa | |
CIA me fale sobre o CIGAM | Dá uma breve explicação sobre o produto | Ativa | |
software] de gestão? | Responde a pergunta | Ativa | |
CIA você está me escutando? | É um comando para teste de reconhecimento de entrada e sintetização de saída. | Indiferente | |
CIA muito obrigado | Encerra a fala e agradece | Ativa | |
CIA pare | Encerra a fala de forma abrupta | Indiferente | |
CIA cadê você? | Ativa/foca a tela principal do CIGAM | Indiferente | |
CIA repita | Repete a última fala. As falas de diálogos não possuem suporte a repetição pois elas estão vinculadas a um contexto sequencial. | Indiferente | |
Negócio | CIA qual valor consolidado a pagar hoje? | Consulta a base de dados para montar a resposta | Ativa |
CIA qual valor consolidado a receber hoje? | Consulta a base de dados para montar a resposta | Ativa | |
CIA qual total em atraso a receber hoje? | Consulta a base de dados para montar a resposta | Ativa | |
CIA qual total de pedidos para faturamento? | Consulta a base de dados para montar a resposta | Ativa | |
CIA qual total vendido hoje? | Consulta a base de dados para montar a resposta | Ativa | |
CIA qual total vendido ontem? | Consulta a base de dados para montar a resposta | Ativa | |
CIA qual total faturado hoje? | Consulta a base de dados para montar a resposta | Ativa | |
CIA qual total faturado ontem? | Consulta a base de dados para montar a resposta | Ativa | |
CIA qual o saldo de caixa atual? | Consulta a base de dados para montar a resposta | Ativa | |
CIA quais atendimentos tenho para hoje? | Consulta a base de dados para montar a resposta | Ativa | |
CIA quais alertas tenho para hoje? | Consulta a base de dados para montar a resposta | Ativa | |
CIA quais oportunidades tenho para hoje? | Consulta a base de dados para montar a resposta | Ativa | |
CIA quais oportunidades tenho para amanhã? | Consulta a base de dados para montar a resposta | Ativa | |
CIA qual total de ordens serviços? | Consulta a base de dados para montar a resposta | Ativa | |
CIA quais tipos das ordens serviços abertas? | Consulta a base de dados para montar a resposta | Ativa | |
CIA quantas horas tenho registrado hoje? | Consulta a base de dados para montar a resposta | Ativa | |
CIA quantas horas tenho registrado nesta semana? | Consulta a base de dados para montar a resposta | Ativa | |
CIA qual total de alçadas para aprovação? | Consulta a base de dados para montar a resposta | Ativa | |
CIA quais ordens de compra para recebimento hoje? | Consulta a base de dados para montar a resposta | Ativa | |
Comandos | CIA faça pra mim | Irá abrir o microfone em modo comando para que o usuário dê a instrução do que fazer. Essa opção exige internet pois irá utilizar o modo ditado. Importante: Os comandos para tarefas para essa opção são aqueles que podem ter um conteúdo variável ou algum dado que precise ser verificado no momento do comando. Por exemplo “abrir lançamentos 123”. Nesse caso o valor “123” é o valor variável. Após o sinal de abertura do microfone, pode-se falar uma das tarefas a seguir: |
Ativa |
Tarefas → pesquisar previsão do tempo para [localidade] | Previsão do tempo para a localidade de acordo com a fonte CPTEC/Inpe. Exemplo: “previsão do tempo para Novo Hamburgo” | Ativa | |
Tarefas → pesquisar cotação do ou da [moeda] | Cotação da moeda em reais de acordo com o Banco Central do Brasil. Moedas disponíveis: - Dólar - Dólar Australiano - Dólar Canadense - Euro - Iene - Libra Esterlina - Franco Suíço - Coroa Dinamarquesa - Coroa Norueguesa - Coroa Sueca Exemplos: “buscar cotação do dólar” e “buscar cotação da libra esterlina” |
Ativa | |
Tarefas → pesquisar no menu por [palavra chave] | Procura no menu por itens com a palavra chave e exibe os resultados no painel de pesquisa. Exemplo: “pesquisar por lançamentos” |
Ativa | |
Tarefas → pesquisar aqui por [palavra chave] | Procura no local atual um item de menu pela palavra chave. Se encontrar, foca no item. Exemplo: “procurar aqui por pedidos” |
Ativa | |
Tarefas → clicar no botão [nome do botão] ou clicar na página [nome da página] |
Clica num determinado controle da tela, que pode ser do tipo botão ou página (guias). O controle deve estar visível e na tela em primeiro plano. Exemplos: “clicar no botão confirmar” “clicar na página financeiro” |
Ativa | |
Tarefas → o que é [palavra chave] | Pesquisa no Wikipédia em português | Ativa | |
Tarefas → pesquisar sobre [palavra chave] | Pesquisa no Google em português | Ativa | |
Tarefas → pesquisar vídeos sobre [palavra chave] | Pesquisa vídeos no YouTube. | Ativa | |
Tarefas → abrir mapa [endereço] | Abre o mapa para o endereço no Google Maps. Exemplos: - abrir mapa rua vereador adão rodrigues de oliveira 524 em novo hamburgo - abrir mapa rua cruzeiro do sul gravataí - abrir mapa avenida frederico linck em novo hamburgo |
Ativa | |
Tarefas → abrir [categoria menu] [programa do menu] [parâmetro] | Abre um item no menu do CIGAM. Essa opção abrange todos os itens de menu, inclusive os personalizados pelo usuário. O reconhecimento poderá ser feito das seguintes formas: a) Utilizando a categoria do menu, com ou sem plural: “abrir movimento estoque” ou “abrir movimentos estoque” Neste caso, existe um item de menu chamado “Estoque” dentro da categoria “Movimentos”. b) Sem a categoria do menu: “abrir estoque” Indiferente da forma utilizada anteriormente, poderá ser informado um parâmetro para qual registro posicionar Importante: O parâmetro será a chave-única do registro, não contemplando chaves compostas. Exemplos: “abrir movimento estoque 123” ou “abrir estoque 123” |
Ativa | |
Tarefas → calcular [fórmula] | Executa um cálculo conforme os operadores e fatores passados. Exemplos: - calcular 10 mais 10 - calcular 10 menos 5 - calcular 10 mais 50 mais 20 porcento - calcular 10 mais 30 vezes 10 porcento - calcular 50 vezes 15 porcento - calcular 150 ponto 38 vezes 17 - calcular 100 dividido por 25 |
Ativa | |
CIA aprenda comigo | Executa o comando “CIA faça pra mim”, porem com suporte a aprendizado dos comandos que forem falados. Os novos comandos serão imediatamente disponibilizados. |
Ativa | |
Tarefas → apelidar [comando existente] para o apelido [apelido] | Ensina um apelido para um comando já existente. Exemplo: “apelidar mostrar favoritos para o apelido mostrar preferidos” |
Ativa | |
Tarefas → apelidar esse programa para o apelido [apelido para o programa aberto] | Ensina um apelido para o programa que está aberto. Se considerado o programa principal, ou seja, aquele que pode ser acessado através de um item de menu. Exemplo: “apelidar esse programa para o apelido indicadores da poupança” (nesse exemplo, o programa “Índices” está aberto) |
Ativa | |
Tarefas → quando eu falar [minha fala] me fale [fala] ou quando eu perguntar [minha pergunta] me responda [resposta] |
Ensina uma reposta/fala para quando uma fala especifica for falada
Exemplos: |
Ativa | |
Tarefas → faça [comando do faça pra mim] quando eu falar [fala] | Ensina a ir diretamente num comando do faça pra mim a partir de um apelido. Exemplo: “faça pesquisar cotação do dólar quando eu falar cotação do dólar hoje” |
Ativa | |
Músicas | CIA tocar minhas músicas | Iniciar o player de músicas. As músicas serão buscadas na pasta de músicas do usuário do Windows, em C:\Usuários\<usuáro>\Musicas e uma lista será montada a partir dos arquivos de música encontrados nesse local. Serão reconhecidos os formatos .mp2, .mp3 e .wma. |
Ativa |
CIA tocar próxima música | Salta para a próxima trilha da lista de músicas | Indiferente | |
CIA tocar música anterior | Volta para a trilha anterior da lista de músicas | Indiferente | |
CIA parar minhas músicas | Encerra o player de músicas | Indiferente | |
CIA volume baixo para as músicas | Ajusta a saída de áudio do player com um volume baixo | Indiferente | |
CIA volume médio para as músicas | Ajusta a saída de áudio do player com um volume médio | Indiferente | |
CIA volume alto para as músicas | Ajusta a saída de áudio do player com um volume alto | Indiferente |
Como fazer para abrir o ditado através do CIA?
Para abrir o ditado através do comando de voz, basta estar com um microfone conectado e falar “CIA, mostrar ditado”, ou clicar na opção no grupo Ditado.
Ao abrir o ditado existem as seguintes opções e Menu:
Sair – Atalho “Esc”
Abrir/Fechar Microfone
Colar conteúdo do ditado no campo focado – Atalho “Contr+Shift+V”
Copiar conteúdo de ditado para área de transferência –Atalho "Contr+Shift+C”
Ler o conteúdo do campo focado – Atalho “Contr + Shifit + L”
É possível dar alguns comandos como:
Ditado | CIA mostrar ditado | Abre ou foca na tela do ditado contínuo O ditado poderá ser feito alternando pausas sem tempo definido para término. Neste caso, para encerramento e utilização do conteúdo será necessário a interação do usuário através dos botões na área de topo. Estão disponíveis os comandos especiais dentro do ditado para tratamentos de caracteres: - nova linha - ponto final - ponto e vírgula - dois pontos - vírgula - interrogação - exclamação - aspas - aspa - hífen - abre parênteses - abre parêntese - fecha parênteses - fecha parêntese - asterisco>br/> - arroba - abre chave - fecha chave - abre colchete - fecha colchete |
Ativo |
CIA ditar este campo | Inicia o ditado não-contínuo ou de frase. Após o término da fala, o ditado será automaticamente encerrado e o conteúdo ditado será automaticamente colado no campo que estava focado quando o ditado foi iniciado. |
Ativa |
Como exibir os resultados parciais ao ditar um campo para CIA?
Ao abrir um programa e executar o comando CIA ditar este campo é possível visualizar os resultados parciais através de uma tela ou então ter somente a exibição ao finalizar o ditado, isso é possível através do acesso ao ‘Perfil de Usuários’ na opção: ‘Resultados Parciais em Ditado’ onde possibilita a exibição parcial da informação, por defaut a opção vem como ocultar.
Execução da CIA via Go-Global
A execução do CIGAM em um ambiente de nuvem privada por meio da solução Go-Global, que possibilita o acesso remoto a aplicativos Windows de qualquer lugar, plataforma e sistema operacional, apresenta certas particularidades que requerem atenção. No entanto, é importante observar que a execução da CIA via Go-Global possui restrições referente aos comandos de voz, fala e ditado.
Lista de particularidades:
- Não há suporte para tráfego de áudio, exceto bipes;
- Não há suporte para microfone ou caixas de som. Como não há suporte para tráfego de áudio, tais dispositivos podem ficar ativos no Windows, mas não funcionam;
- Não há suporte para reconhecimento de voz ou sintetização de voz em texto. Isso descarta a atualização das funcionalidades da CIA de comandos de voz, fala e ditado.