SAS^® Event Stream Processing

Lista de recursos do SAS Event Stream Processing

Processamento na memória, distribuído e otimizado que escala

Servidor SAS Event Stream Processing para processamento de milhões de eventos por segundo e tempos de resposta de baixa latência (milissegundo, submilissegundo).
Servidor de medição integrado para monitorar e registrar o consumo de eventos para cada projeto SAS Event Stream Processing, janela de entrada e servidor SAS Event Stream Processing de produção – acelerando a coleta de dados de consumo de eventos.
Dados retidos e agregados mantidos na memória para o máximo desempenho.
Capacidade de aproveitar as arquiteturas de grade distribuída, SAS Cloud Analytic Services (CAS), ou em fornecedores públicos e privados de nuvens (suporte Azure e AWS).
As velocidades de processamento podem ser personalizadas com dimensionamento flexível do pool de threads, armazenamento em cache e muito mais.
Inclui failover patenteado e instantâneo de 1+N vias, failover nativo, entrega garantida sem o uso de persistência e outras funções de tolerância a falhas para garantir uma atividade de processamento de fluxo de eventos bem-sucedida.
Acesso completo e aberto a todos os metadados do evento.

Nativo da nuvem

Os novos scripts de implantação leves do SAS Event Stream Processing permitem a implantação do SAS Event Stream Processing em contêineres para a nuvem de forma mais rápida, fácil e com menos recursos, mas com todo o poder do SAS Event Stream Processing.
Dimensione os recursos dinamicamente na nuvem com a nova estrutura interna do Kubernetes Operator do SAS Event Stream Processing para implantação simplificada, atualizações e escalabilidade na nuvem, pública ou privada.
Permite a integração do Microsoft Azure Event Hub para ingestão de eventos do Azure IoT Event Hub usando o suporte Kafka ou SDK nativo. A integração do Azure IoT Edge com o SAS Event Stream Processing é a integração do Azure IoT Edge Hub.
O SAS ESP Kubernetes Load Balancer suporta a distribuição automática de eventos usando técnicas de multicast, hash e round-robin com configuração simples de tempo de implantação para cada projeto.
Fornece conectores Amazon Web Services Kinesis e Redshift para conexões de fontes de dados de streaming.
Permite implantações multitenancy-ready que podem ser integradas com seus ambientes multitenant e multiusuário.

Janelas de modelo de aprendizagem in-stream

Permite combinar diferentes tipos de janelas para especificar fontes de entrada de fluxo de dados, padrões de interesse e ações de saída derivadas. Os modelos de janelas em fluxo contínuo incluem:
- Train - Desenvolva um modelo analítico avançado em fluxo e passe as atualizações do modelo resultante para uma janela de pontuação.
- Pontuação - Aplique o modelo SAS e código aberto treinado (formato Python e ONNX) aos eventos atuais em fluxo para produzir resultados de pontuação, bem como suporte para modelos de aprendizagem que utilizam tanto treinamento quanto pontuação em conjunto.
- Cálculo - Utilize com modelos ASTORE offline, código Python, normalização de dados e métodos de transformação, bem como modelos de aprendizagem que reúnem treinamento e pontuação.
- Supervisor do modelo - Controle qual modelo implantar, e quando e onde implantá-lo (por exemplo, para a janela de pontuação).
- Leitor de modelos - Integre modelos SAS e open source (formato Python e ONNX) e publique um modelo para outra janela de análise de streaming, tal como a janela de pontuação.

Capacidade de consumir & conectar dados de streaming

Extenso conjunto de conectores de dados para publicação e assinatura de fluxos de dados ao vivo de dados estruturados e não estruturados, incluindo vídeos, áudio e imagens.
Os conectores pré-construídos e out-of-the-box incluem leitura e escrita (ou seja, publicar e assinar):
- O conector adaptador facilita o gerenciamento de adaptadores a partir de um projeto de Processamento de Fluxo de Eventos SAS, simplificando a orquestração do adaptador (semelhante à orquestração do conector).
- Aerospike (usando tecnologia plug-in).
- Serviços Web da Amazon: Kinesis e Redshift.
- Apache Camel.
- Dados de áudio.
- Axeda.
- BACNET.
- Cassandra.
- Formato de Eventos Comuns (CEF).
- Base de dados ODBC: suporta uma variedade de bancos de dados como IBM DB2, Oracle, IBM Netezza, Sybase ASE e outros. Consulte o suporte do Data Driver para obter uma lista completa.
- Processador de Fluxo de Eventos.
- Arquivo/socket.
- Leitor HDAT.
- HDFS.
- IBM WebSphere MQ.
- JMS.
- Kafka.
- MapR.
- Modbus.
- MQTT.
- Nurego.
- OPC-UA.
- OPC-DA.
- OSIsoft PI Asset Framework.
- Projeto Publicar.
- QuasarDB.
- RabbitMQ.
- RADAR(suporte no formato Asterix CAT240).
- REST.
- SAS Cloud Analytic Services.
- Conjuntos de dados SAS.
- APIs personalizadas de publicação/assinatura também podem ser escritas em C ou Java.
- SAS LASR Analytic Server.
- Solace.
- Teradata.
- Tervela Data Fabric.
- TIBCO Rendezvous.
- Temporizador.
- URL.
- WebSocket.
- Adaptador de soquete de arquivo XML/JSON.
Publique somente para SAS Event Stream Processing a partir do seguinte:
- BoardReader.
- Interfaces HTTP RESTful.
- Log sniffers (Oracle, Greenplum).
- Farejador de rede.
- SYSLOG.
Assine somente do SAS Event Stream Processing até:
- SOAP.
- SMTP.
Conectores construídos para fontes de eventos IoT:
- Modbus.
- MQTT.
- OPC-UA.
- OPC-DA.
- Câmera UVC.
- PylonCamera.
- Modbus.
- OSI PI Historian.
- Dispositivos de gateway BACnet.
- Kafka.
- Cassandra (somente adaptador).
- Javali.
- dRea.
- der.
Suporte a fluxo de dados:
- Azure IoT Event Hub.
- Conector de Borda IoT Azure.
- Integração Hortonworks DataFlow (HDF) NiFi – SAS e HDF podem fornecer inteligência imediata, de streaming e profunda.
Junção de dados estáticos - Integre dados estáticos de bancos de dados ou arquivos para enriquecer o fluxo de dados usando o adaptador de banco de dados ODBC e suporte a conectores em conjunto com drivers de banco de dados.

Analytics in-stream adaptável e manipulação de dados

O suporte ao algoritmo de streaming de aprendizado de máquina permite criar janelas de pontuação e aprendizado para vários algoritmos de aprendizado contínuo. Uma combinação de janelas de train e score é usada para atualizar periodicamente o modelo. Estes incluem:
- Regressão linear em fluxo contínuo.
- Regressão logística em fluxo contínuo.
- Máquina vetorial de suporte.
- Agrupamento K-means.
- Recomendação.
- t-Distributed Stochastic Neighbor Embedding (t-SNE).
A análise in-stream com SAS Event Stream Processing inclui:
- Processamento de imagem embutido (crop, resize, rotate, flip)
- Codificação de vídeo.
- Filtro Butterworth.
- Transformação do Cepstrum.
- Detecção de mudanças.
- Filtro Chebyshev Tipo I ou Tipo II.
- Agrupamento baseado em densidade (DBSCAN).
- Dirichlet Modelo de Mistura Gaussiana.
- Distribuição de equipamentos.
- Estatísticas adequadas.
- Histograma.
- Filtro Kalman.
- Análise dos Principais Componentes do Kernel.
- Monitoramento de atrasos.
- Alcance relativo móvel (MRR).
- Densidade espectral de potência paramétrica.
- Localizador de Picos.
- Correlação segmentada.
- Correlação do Streaming Pearson.
- Característica operacional do receptor (ROC).
- Análise robusta dos componentes principais.
- Correlação segmentada.
- Valores Shapley.
- Transformada de Fourier a curto prazo.
- Operações em fatias.
- Localizador de Picos de Fatias.
- Alisamento.
- Pontuação do Monitoramento de Estabilidade.
- Computação do recurso de streaming de áudio (fala para texto).
- Resumo do streaming (estatísticas univariadas / multivariadas).
- Rastreamento subespacial.
- Teste T.
- Texto simbólico.
- Vetorização de texto.
- Transcrição de texto (discurso ao texto).
- Encaixe de distribuição Weibull.
- Algoritmo de Convolução.
- Processamento de sinais digitais de alta dimensão.
- Filtro Hampel.
- ICA Recursivo Online.
- Monitoramento de cartas KT em fluxo contínuo.
Algoritmos para treinamento offline embalados com o SAS Event Stream Processing incluem:
- Análise robusta dos componentes principais.
- Rede Bayesiana.
- Redes neurais profundas:
  - Redes neurais convolucionais.
  - Redes Neurais Recorrentes
- Máquina de Factorização.
- Modelo Linear Geral.
- Modelos de Aditivos Generalizados.
- Aprendizado Linear Multi-tarefa Generalizado.
- Modelo de Regressão Linear Generalizado.
- Árvore Gradiente de Impulso.
- Random Forest.
- Recomendação (feedback implícito e explícito).
- Fatorização Matricial Regularizada (RMF).
- Descrição dos dados vetoriais de suporte.
- Máquina Vetorial de Apoio.
- Termo Frequência-Frequência do Documento Inversa (TFIDF).
Arquitetura flexível, modular e orientada por janelas para definir consultas complexas contínuas:
- Com base em um amplo conjunto de tipos de janelas intercambiáveis e operadores para detectar um número ilimitado de padrões, correlações, cálculos e agregações.
- Rotinas de qualidade de dados pré-construídas e comuns são usadas para limpar, padronizar e filtrar os dados de livestream antes de serem armazenados, reduzindo o processamento downstream.
- Os padrões de interesse podem incluir cálculos analíticos avançados quase ilimitados, com clusters de k-means em fluxo, aprendizagem de máquinas e pontuação analítica livestream.
Janelas de fluxo de eventos para transformar o estado e os dados dos eventos e manipular as imagens de fluxo de entrada:
- Combine operações de redimensionamento, rotação, corte e inversão de imagem com poderosos algoritmos de visão computacional para detecção de objetos e casos de uso de classificação.
- O tipo de janela de cerca geográfica permite que você rastreie a localização de objetos em relação às bordas de uma cerca geográfica. Alerta quando um objeto se aproxima, entra ou sai dos limites definidos de uma cerca geográfica - e rastreia entidades dentro dos limites de uma cerca geográfica.
- Transpor: Permite trocar as linhas de um evento como colunas, ou colunas como filas.
- Remover estado: Facilita a transição de uma parte estadual de um modelo para uma parte sem estado de um modelo.
- Rastreador de objetos múltiplos (MOT): Permite realizar o rastreamento de objetos múltiplos (MOT) em tempo real.
- Train: O treinamento de modelos sobre dados históricos (para o desenvolvimento de modelos precisos) complementa a análise de alto desempenho para dados em repouso.
- Definir e personalizar as notificações por SMS, e-mail e outros alertas como parte do fluxo de trabalho do modelo de fluxo de eventos.
- Janela Lua: Permite a execução de funções Lua para permitir operações matemáticas de alta velocidade, transformação de dados e gerenciamento de cordas XML/JSON.
- Janelas StateDB: As janelas StateDB permitem a utilização de um banco de dados externo de alto desempenho para armazenar e manter o estado que é necessário para as adesões e agregações.
O suporte a modelos analíticos inclui:
- SAS ASTORE.
- DATAStep2.
- DATAStep.
- Formato ONNX de estruturas SAS ou de terceiros (por exemplo, TensorFlow, PyTorch).
- Código Python.
- Código C.
Incorporável em gateways, dispositivos de borda, bastões de computação e qualquer aplicação C++ existente (com processamento de pool de rosca dedicado).

Ambiente de tempo de design low-code

O ambiente de desenvolvimento gráfico low-code ou o ambiente de desenvolvimento Jupyter Lab Python amigável aos cientistas de dados estão disponíveis, fornecendo opções abertas e intuitivas para projetar, testar, fazer versões e publicar projetos de streaming ESP.
Os modelos analíticos são facilmente integrados usando o SAS Model Manager. O gerenciamento de modelos proporciona uma integração e um monitoramento mais rápido e automatizado dos modelos analíticos.
- Navegue pelo repositório de modelos do Model Manager para localizar e integrar facilmente análises avançadas para incorporar em projetos de Processamento de Fluxo de Eventos SAS.
- Filtrar e pesquisar rapidamente grandes conjuntos de modelos analíticos para um acesso rápido.
- Autenticação com SAS Logon para acesso simplificado e unificado do usuário.
- Utiliza Viya Postgres, nativa de Viya, como armazém de dados gerenciado e persistente para o armazenamento do projeto ESP.
Multitenancy-enabled usando a nova estrutura de operador Kubernetes e containers Docker entregues para o servidor ESP na nuvem.
Modo de teste melhorado, permitindo ao usuário concentrar-se nos dados que mais interessam.
- Criação e desmontagem automatizada de cápsulas do servidor ESP Server para otimizar a utilização dos recursos.
- UI atualizada para uma resposta mais rápida e seleção de janelas de saída personalizadas.
- Acesso ao log do servidor ESP para depuração simplificada.
Executar projetos fora do modo de teste para realizar testes de longa duração.
Melhorias na usabilidade e na experiência do usuário:
- Visualizar e atualizar as propriedades do Kubernetes ESP Server da ESP Studio UI.
- Layout de aplicação atualizado para simplificar os testes e o projeto.
- Validação de expressão integrada, em linha, tipo a frente dentro de Compute, Join, Filter e Aggregation window para validação imediata da expressão.
- Memória configurável, exemplo e configurações de CPU para o modo de teste do servidor de nuvem ESP.
- Diagrama e melhorias de layout para uma visualização mais intuitiva.
- Nova página de gerenciamento de servidor de teste para definição simplificada do servidor.
- Painel de esquema de saída melhorado com seleção de janelas para um layout de resultados de teste personalizado.
- Validação aprimorada da sintaxe e propriedades do projeto ESP.
Editor de Expressão Fácil de Usar
- Editor de fácil utilização para escrever e validar expressões.
- Preenchimento automático de funções e informações de esquema.
- Todas as funções e operadores disponíveis com suporte de ESP.
Integração com o SAS Event Stream Manager.
- Suporta o controle de versões de projetos, incluindo a seleção de versões maiores e menores.
- Pequenas atualizações de versão no SAS Event Stream Manager voltaram ao SAS Event Stream Processing Studio.
- O projeto publicado apareceu automaticamente no SAS Event Stream Manager.

Operações ESP & monitoramento

Construir e gerenciar planos de implantação repetíveis com uma interface fácil de usar, para projetos executados em servidores SAS Event Stream Processing na borda ou na nuvem.
- Criar rapidamente implantações para monitorar coleções de servidores e simplificar o gerenciamento.
- Identificar erros de implementação e tentar novamente operações somente em servidores que precisam de atenção.
- Criar listas filtradas de servidores SAS Event Stream Processing para aplicar operações de implantação.
- Criar scripts de implementação repetíveis para automatização rápida e prompts do usuário, simplificando a operacionalização do projeto SAS Event Stream Processing.
- Monitorar os eventos consumidos com as telas do servidor de medição para identificar os padrões de uso de eventos por licença e host.
- Adicione facilmente novos servidores SAS Event Stream Processing para um melhor monitoramento em implementações de borda.
- O monitoramento de servidores de cluster ESP suporta ambientes agregados e multitenant na nuvem.
Monitoramento do servidor ESP.
- Gerenciamento e configuração dinâmica do servidor de nuvens ESP para suportar os clusters de Kubernetes pods e containers.
- Gerencia automaticamente a criação e desmontagem de servidores ESP através da estrutura do operador ESP Kubernetes.
- O monitoramento inclui o monitoramento do batimento cardíaco do ESP, relatório de status do servidor ESP e estatísticas de desempenho do servidor ESP.
- Integração do Prometheus para monitoramento do SAS ESP Server.
- Veja o uso histórico de recursos dentro de um cluster ao longo do tempo.
- Identificar problemas de recursos antecipadamente, explorando as estatísticas da cápsula, todas fornecidas em uma IU clara e fácil de seguir.
- Veja as informações de registro tanto para os pods ESP em funcionamento ativo como para os anteriores.
Melhorias na usabilidade e na experiência do usuário.
- Busca e capacidade de filtragem para implantar rapidamente projetos de Processamento de Fluxo de Eventos SAS para a nuvem.
- Mais indicadores visuais de problemas ao executar projetos em produção.
- Interface de usuário mais ágil para atualizações mais rápidas.
- Gerenciamento de implantação aprimorado com alertas do SAS Model Manager para novos modelos campeões para aprimorar a colaboração com as equipes de cientistas de dados.
- Relatórios de configuração de servidor aprimorados para destacar a utilização de memória de cluster e CPU.
Controles de implantação para operações simplificadas e implantação rápida.
- Carregue e inicie projetos sem modelos com um único clique da UI.
- Pare e descarregue projetos sem modelos com um único clique da IU.
Integração com o SAS Event Stream Processing Studio.
- O projeto publicado surgiu no SAS Event Stream Manager automaticamente com locais de arquivos compartilhados.

Expansão das implantações & suporte de código aberto

Implantar o SAS Event Stream Processing no limite para aplicações IoT:
- O SAS Event Stream Processing for Edge Computing fornece uma área de disco menor e configurável para uma implantação simplificada em dispositivos de borda menor.
- Suporte para implantação de contêiner Docker para SAS Event Stream Processing para Edge Computing para implantação padronizada.
SAS Event Stream Processing Interface de desenvolvimento Python:
- Acelere o tempo de desenvolvimento com uma interface Python familiar, aberta e flexível para desenvolver, publicar, testar e transmitir eventos através dos projetos SAS Event Stream Processing.
- Python publish/subscribe API - Publicar eventos e assinar o SAS Event Stream Processing usando Python.

Use SAS & idiomas de código aberto

SAS Event Stream Processing for SAS Viya^®e CAS - Implementar modelos SAS Data Mining e Machine Learning para SAS Event Stream Processing para análise de streaming.
Apoio à execução Python em fluxo dentro dos projetos de Processamento de Fluxo de Eventos do SAS. Execução in-memory nativa de Python utilizando tecnologia patenteada de serviço microanalítico.
Suporte para a inferência do modelo nativo ONNX em plataformas GPU para borda (on-site) e para nuvem (Docker).
As linguagens de programação SAS suportadas incluem SAS DATAStep2 e SAS DATAStep.
Suporte aos fluxos MapR - O adaptador Kafka é certificado para trabalhar com a plataforma de dados convergentes MapR para publicação e assinatura.
Suporte para Python publish/subscribe API para publicar e assinar o servidor SAS Event Stream Processing para injetar eventos no SAS Event Stream Processing e ouvir as percepções do SAS Event Stream Processing.

Monitoramento visual dos fluxos de eventos

O suporte para a visualização de dados de streaming e insights do projeto SAS Event Stream Processing inclui:
- Acesso seguro com suporte log-on para acesso autorizado ao aplicativo SAS Event Stream Processing Streamviewer.
- Suporte Streamviewer para gráficos SAS em painéis de controle de streaming em tempo real.
- Os componentes do Streamviewer suportam a incorporação dentro das aplicações para oferecer ao Streamviewer insights em tempo real.
- Suporte WebSocket para conectividade confiável e rápida do servidor SAS Event Stream Processing.
- Painel de controle configurável pelo usuário para testes personalizados da atividade de streaming.
- Filtrar interativamente e consultar a atividade livestream para examinar o comportamento específico dos elementos.
- Resposta mais rápida com novo suporte de soquete web para monitorar eventos do servidor SAS Event Stream Processing.
- Comparar a atividade histórica com o processamento atual utilizando representações gráficas.
- Monitore os detalhes de processamento do fluxo ao subscrever eventos de interesse.