Lista de funciones de procesamiento de flujo de eventos de SAS
Procesamiento en memoria, distribuido y optimizado que escala
- Servidor SAS Event Stream Processing para procesar millones de eventos por segundo y tiempos de respuesta de baja latencia (milisegundos, submilisegundos).
- Servidor de medición incorporado para monitorear y registrar el consumo de eventos para cada proyecto de SAS Event Stream Processing, ventana de entrada y servidor SAS Event Stream Processing de producción, lo que acelera la recopilación de datos de consumo de eventos.
- Datos retenidos y agregados guardados en la memoria para un rendimiento máximo.
- Capacidad para aprovechar las arquitecturas de cuadrícula distribuida, SAS Cloud Analytic Services (CAS) o en proveedores de nube pública y privada (soporte de Azure y AWS).
- Las velocidades de procesamiento se pueden personalizar con tamaños flexibles de grupos de subprocesos, almacenamiento en caché y más.
- Incluye conmutación por error patentada e instantánea de 1+N vías, conmutación por error nativa, entrega garantizada sin el uso de persistencia y otras funciones de tolerancia a fallas para garantizar una actividad de procesamiento de flujo de eventos exitosa.
- Acceso completo y abierto a todos los metadatos del evento.
Nube nativa
- Los nuevos scripts de implementación livianos de SAS Event Stream Processing le permiten implementar SAS Event Stream Processing en contenedores para la nube de manera más rápida, fácil y con menos recursos, pero con todo el poder de SAS Event Stream Processing.
- Escale los recursos de forma dinámica en la nube con el nuevo marco de operador de Kubernetes integrado de SAS Event Stream Processing para simplificar la implementación, las actualizaciones y la escalabilidad en la nube, pública o privada.
- Habilita la integración de Microsoft Azure Event Hub para ingerir eventos de Azure IoT Event Hub mediante Kafka o compatibilidad nativa con SDK. Integración de Azure IoT Edge compatible con la integración de Azure IoT Edge Hub de SAS Event Stream Processing.
- SAS ESP Kubernetes Load Balancer admite la distribución automatizada de eventos mediante técnicas de multidifusión, hash y round-robin con una configuración simple del tiempo de implementación para cada proyecto.
- Proporciona conectores Kinesis y Redshift de Amazon Web Services para conexiones de fuente de datos de transmisión.
- Habilita implementaciones preparadas para multiusuario que se pueden integrar con sus entornos multiusuario y multiusuario.
Ventanas del modelo de aprendizaje in-stream
- Permite combinar diferentes tipos de ventanas para especificar fuentes de entrada de flujo de datos, patrones de interés y acciones de salida derivadas. Las ventanas del modelo de transmisión incluyen:
- Entrene: desarrolle un modelo analítico avanzado en flujo y pase las actualizaciones del modelo resultante a una ventana de puntuación.
- Puntuación: aplique el SAS capacitado y el modelo de código abierto (formato Python y ONNX) a los eventos actuales en flujo para producir una salida de puntuación, así como soporte para modelos de aprendizaje que usan entrenamiento y puntuación juntos.
- Calcular: utilícelo con modelos ASTORE fuera de línea, código Python, normalización de datos y métodos de transformación, así como modelos de aprendizaje que agrupan capacitación y calificación.
- Supervisor de modelo: controle qué modelo implementar y cuándo y dónde implementarlo (por ejemplo, en la ventana de puntuación).
- Lector de modelos: integre modelos SAS y de código abierto (formato Python y ONNX) y publique un modelo en otra ventana de analítica de transmisión, como la ventana de puntuación.
Capacidad para consumir y conectar datos de transmisión
- Amplio conjunto de conectores de datos para publicar y suscribirse a flujos de datos en vivo de datos estructurados y no estructurados, incluidos videos, audio e imágenes.
- Los conectores prediseñados y listos para usar incluyen lectura y escritura (es decir, publicación y suscripción):
- El conector de adaptador facilita la administración de adaptadores desde dentro de un proyecto de procesamiento de flujo de eventos de SAS, lo que simplifica la orquestación de adaptadores (similar a la orquestación de conectores).
- Aerospike (usando tecnología plug-in).
- Servicios web de Amazon: Kinesis y Redshift.
- Camello apache.
- Datos de audio.
- Axeda.
- BACNET.
- Casandra.
- Formato de evento común (CEF).
- Base de datos ODBC: admite una variedad de bases de datos como IBM DB2, Oracle, IBM Netezza, Sybase ASE y otras. Consulte Compatibilidad con controladores de datos para obtener una lista completa.
- Procesador de flujo de eventos.
- Archivo/zócalo.
- Lector HDAT.
- HDFS.
- IBM WebSphere MQ.
- JMS.
- Kafka.
- MapaR.
- Modbus.
- MQTT.
- Nurego.
- OPC-UA.
- OPC-DA.
- Marco de activos de OSIsoft PI.
- Publicación del proyecto.
- Quasar DB.
- ConejoMQ.
- RADAR (soporte de formato Asterix CAT240).
- DESCANSAR.
- Servicios analíticos en la nube de SAS.
- Conjuntos de datos SAS.
- Las API de publicación/suscripción personalizadas también se pueden escribir en C o Java.
- Servidor analítico SAS LASR.
- Solace.
- Teradata.
- Tejido de datos de Tervela.
- Encuentro TIBCO.
- Temporizador.
- URL
- WebSocket.
- Adaptador de socket de archivos XML/JSON.
- Publique solo en SAS Event Stream Processing de lo siguiente:
- BoardReader.
- Interfaces HTTP RESTful.
- Rastreadores de registros (Oracle, Greenplum).
- Rastreador de red.
- SYSLOG.
- Suscríbase solo desde SAS Event Stream Processing a:
- SOAP.
- SMTP.
- Conectores creados para orígenes de eventos de IoT:
- Modbus.
- MQTT.
- OPC-UA.
- OPC-DA.
- Cámara UVC.
- PylonCamera.
- Modbus.
- Historiador OSI PI.
- Dispositivos de puerta de enlace BACnet.
- Kafka.
- Cassandra (solo adaptador).
- Jabali.
- dRea.
- der.
- Soporte de flujo de datos:
- Centro de eventos de Azure IoT.
- Conector perimetral de Azure IoT.
- Integración NiFi de Hortonworks DataFlow (HDF): SAS y HDF pueden proporcionar inteligencia inmediata, de transmisión y profunda.
- Uniones de datos estáticos: integre datos estáticos de bases de datos o archivos para enriquecer la transmisión de datos utilizando el adaptador de base de datos ODBC y la compatibilidad con conectores junto con controladores de base de datos.
Manipulación de datos y analítica en-stream adaptables
- La compatibilidad con el algoritmo de transmisión de machine learning le permite crear ventanas de puntuación y aprendizaje para varios algoritmos de aprendizaje continuo. Se utiliza una combinación de ventanas de entrenamiento y puntuación para actualizar periódicamente el modelo. Éstas incluyen:
- Transmisión de regresión lineal.
- Streaming de regresión logística.
- Máquinas de vectores soporte.
- K-significa agrupamiento.
- Recomendador.
- t-Incrustación de vecinos estocásticos distribuidos (t-SNE).
- La analítica in-stream empaquetado con SAS Event Stream Processing incluye:
- Procesamiento de imágenes incorporado (recortar, cambiar el tamaño, rotar, voltear)
- Codificación de vídeo.
- Filtro Butterworth.
- Transformación del cepstrum.
- Cambio de detección.
- Filtro Chebyshev Tipo I o Tipo II.
- Agrupación basada en la densidad (DBSCAN).
- Modelo de mezcla gaussiana de Dirichlet.
- Montaje de distribución.
- Estadísticas de ajuste.
- Histograma.
- filtro Kalman.
- Análisis de Componentes Principales del Kernel.
- Seguimiento de retrasos.
- Rango relativo móvil (MRR).
- Densidad espectral de potencia paramétrica.
- Buscador de picos.
- Correlación segmentada.
- Transmisión de la correlación de Pearson.
- Característica operativa del receptor (ROC).
- Análisis robusto de componentes principales.
- Correlación segmentada.
- Valores Shapley.
- Transformada de Fourier de tiempo corto.
- Operaciones de corte.
- Buscador de picos de corte.
- Suavizado.
- Puntuación del seguimiento de la estabilidad.
- Cálculo de funciones de transmisión de audio (voz a texto).
- Resumen de transmisión (estadísticas univariadas / multivariadas).
- Seguimiento subespacial.
- Prueba T.
- Tokenización de texto.
- Vectorización de texto.
- Transcripción de texto (voz a texto).
- Racor de distribución Weibull.
- Algoritmo de convolución.
- Procesamiento de señales digitales de alta dimensión.
- Filtro Hampel.
- ICA recursivo en línea.
- Monitoreo de gráficos KT en streaming.
- Los algoritmos para capacitación fuera de línea empaquetados con SAS Event Stream Processing incluyen:
- Análisis robusto de componentes principales.
- red bayesiana.
- Redes neuronales profundas:
- Redes neuronales convolucionales.
- Redes neuronales recurrentes
- Máquina de factorización.
- Modelo linear general.
- Modelos aditivos generalizados.
- Aprendizaje multitarea lineal generalizado.
- Modelo de regresión lineal generalizada.
- Árbol de aumento de gradiente.
- Bosque aleatorio.
- Recomendador (retroalimentación implícita y explícita).
- Factorización matricial regularizada (RMF).
- Admite descripción de datos vectoriales.
- Máquinas de vectores soporte.
- Frecuencia de Término-Frecuencia de Documento Inverso (TFIDF).
- Arquitectura flexible, modular y basada en ventanas para definir consultas continuas complejas:
- Basado en un amplio conjunto de tipos de ventanas y operadores intercambiables para detectar un número ilimitado de patrones, correlaciones, cálculos y agregaciones.
- Se utilizan rutinas de calidad de datos comunes preconstruidas para limpiar, estandarizar y filtrar datos de transmisión en vivo antes de que se almacenen, lo que reduce el procesamiento posterior.
- Los patrones de interés pueden incluir cálculos analíticos avanzados casi ilimitados con clústeres k-means de machine learnin en flujo y puntuación analítica en vivo.
- Ventanas de transmisión de eventos para transformar el estado y los datos de los eventos, y manipular las imágenes de transmisión entrantes:
- Combine las operaciones de cambio de tamaño, rotación, recorte y volteo de imágenes con potentes algoritmos de visión por computadora para casos de uso de clasificación y detección de objetos.
- El tipo de ventana de geocerca le permite rastrear la ubicación de los objetos en relación con los bordes de una geocerca. Alerte cuando un objeto se acerque, ingrese o salga de los límites de la geocerca definidos, y realice un seguimiento de las entidades dentro de los límites de la geocerca.
- Transposición: le permite intercambiar las filas de un evento como columnas o las columnas como filas.
- Eliminar estado: facilita la transición de una parte con estado de un modelo a una parte sin estado de un modelo.
- Rastreador de objetos múltiples (MOT): le permite realizar un seguimiento de objetos múltiples (MOT) en tiempo real.
- Capacitación: la capacitación de modelos en datos históricos (para el desarrollo preciso de modelos) complementa el análisis de alto rendimiento para datos en reposo.
- Defina y personalice las notificaciones por SMS, correo electrónico y otras alertas como parte del flujo de trabajo del modelo de transmisión de eventos.
- Ventana Lua: permite la ejecución de funciones Lua para permitir operaciones matemáticas de alta velocidad, transformación de datos y gestión de cadenas XML/JSON.
- Ventanas de StateDB: las ventanas de StateDB le permiten usar una base de datos de alto rendimiento implementada externamente para almacenar y mantener el estado que se requiere para uniones y agregaciones.
- El soporte del modelo analítico incluye:
- SAS ASTOR.
- DATOSpaso2.
- DATOSpaso.
- Formato ONNX de SAS o marcos de terceros (p. ej., TensorFlow, PyTorch).
- Código Python.
- código C.
- Integrable en puertas de enlace, dispositivos perimetrales, módulos de cómputo y cualquier aplicación C++ existente (con procesamiento de grupo de subprocesos dedicado).
Entorno de tiempo de diseño de código bajo
- El entorno de desarrollo gráfico de código bajo o el entorno de desarrollo Python de Jupyter Lab, amigable para los científicos de datos, están disponibles y brindan opciones abiertas e intuitivas para diseñar, probar, crear versiones y publicar proyectos de transmisión de ESP.
- Los modelos analíticos se integran fácilmente con SAS Model Manager. La gestión de modelos proporciona una integración y un control más rápidos y automatizados de los modelos analíticos.
- Explore el repositorio de modelos de Model Manager para ubicar e integrar fácilmente análisis avanzados para integrarlos en proyectos de procesamiento de flujo de eventos de SAS.
- Filtre y busque grandes conjuntos de modelos analíticos rápidamente para un acceso rápido.
- Autenticación con SAS Logon para un acceso de usuario simplificado y unificado.
- Utiliza Viya Postgres nativo como almacén de datos persistente y administrado para el almacenamiento de proyectos ESP.
- Multiusuario habilitado con el nuevo marco de operador de Kubernetes y contenedores Docker entregados para el servidor ESP en la nube.
- Modo de prueba mejorado, que permite al usuario concentrarse en los datos más importantes.
- Creación y desmontaje automatizados de pods de servidores ESP para una utilización óptima de los recursos.
- Interfaz de usuario actualizada para una respuesta más rápida y una selección de ventana de salida personalizada.
- Acceso al registro del servidor ESP para una depuración simplificada.
- Ejecute proyectos fuera del modo de prueba para realizar pruebas de larga duración.
- Mejoras en la usabilidad y la experiencia del usuario:
- Vea y actualice las propiedades del servidor ESP de Kubernetes desde la interfaz de usuario de ESP Studio.
- Diseño de la aplicación actualizado para simplificar las pruebas y el diseño.
- Validación de expresiones integrada, en línea y de escritura anticipada dentro de la ventana Compute, Join, Filter and Aggregation para la validación inmediata de expresiones.
- Ajustes configurables de memoria, instancia y CPU para el modo de prueba del servidor en la nube ESP.
- Mejoras en el diagrama y el diseño para vistas más intuitivas.
- Nueva página de administración del servidor de prueba para una definición simplificada del servidor.
- Panel de esquema de salida mejorado con selección de ventana para un diseño de resultados de prueba personalizado.
- Validación mejorada de la sintaxis y las propiedades del proyecto ESP.
- Editor de expresiones fácil de usar
- Editor fácil de usar para escribir y validar expresiones.
- Autocompletado de escritura anticipada para funciones e información de esquema.
- Todas las funciones y operadores compatibles con ESP están disponibles.
- Integración con SAS Event Stream Manager.
- Admite el control de versiones del proyecto, incluida la selección de versiones principales y secundarias.
- Las actualizaciones de versiones secundarias en SAS Event Stream Manager se devolvieron a SAS Event Stream Processing Studio.
- El proyecto publicado apareció en SAS Event Stream Manager automáticamente.
ESP operaciones y monitoreo
- Cree y administre planes de implementación repetibles con una interfaz fácil de usar, para proyectos que se ejecutan en servidores SAS Event Stream Processing en el perímetro o en la nube.
- Cree implementaciones rápidamente para monitorear colecciones de servidores y simplificar la administración.
- Identifique los errores de implementación y vuelva a intentar las operaciones solo en los servidores que necesitan atención.
- Cree listas filtradas de servidores SAS Event Stream Processing para aplicar operaciones de implementación.
- Cree secuencias de comandos de implementación repetibles para una automatización rápida y avisos de usuario, lo que simplifica la puesta en marcha del proyecto SAS Event Stream Processing.
- Supervise los eventos consumidos con las pantallas del servidor de medición para identificar los patrones de uso de eventos por licencia y host.
- Agregue fácilmente nuevos servidores SAS Event Stream Processing para mejorar la supervisión en las implementaciones perimetrales.
- La supervisión de los servidores de clúster de ESP admite entornos de múltiples arrendatarios en clúster en la nube.
- Supervisión del servidor ESP.
- Administración y configuración dinámicas del servidor en la nube ESP para admitir pods y contenedores de Kubernetes en clúster.
- Administra automáticamente la creación y el desmantelamiento de servidores ESP a través del marco del operador ESP Kubernetes.
- El monitoreo incluye monitoreo de latidos ESP, informes de estado del servidor ESP y estadísticas de rendimiento del servidor ESP.
- Integración de Prometheus para el monitoreo del servidor SAS ESP.
- Ver el uso histórico de recursos dentro de un clúster a lo largo del tiempo.
- Identifique los problemas de los recursos de forma temprana mediante la exploración de las estadísticas de los pods, todo proporcionado en una interfaz de usuario clara y fácil de seguir.
- Vea la información de registro de los pods de ESP en ejecución activa y en ejecución anterior.
- Mejoras de usabilidad y experiencia de usuario.
- Capacidades de búsqueda y filtrado para implementar rápidamente proyectos de SAS Event Stream Processing en la nube.
- Más indicadores visuales de problemas al ejecutar proyectos en producción.
- Interfaz de usuario más receptiva para actualizaciones más rápidas.
- Gestión de implementación mejorada con alertas de SAS Model Manager para nuevos modelos campeones para mejorar la colaboración con los equipos de científicos de datos.
- Informes de configuración del servidor mejorados para resaltar la memoria del clúster y la utilización de la CPU.
- Controles de implementación para operaciones optimizadas y una implementación rápida.
- Cargue e inicie proyectos sin plantillas con un solo clic desde la interfaz de usuario.
- Detenga y descargue proyectos sin plantillas con un solo clic desde la interfaz de usuario.
- Integración con SAS Event Stream Processing Studio.
- El proyecto publicado apareció en SAS Event Stream Manager automáticamente con ubicaciones de archivos compartidos.
Desarrollos ampliados y soporte de código abierto
- Implemente SAS Event Stream Processing en el perímetro para aplicaciones IoT:
- SAS Event Stream Processing for Edge Computing proporciona un espacio de disco configurable más pequeño para una implementación simplificada en dispositivos de borde más pequeños.
- Compatibilidad con la implementación de contenedores Docker para SAS Event Stream Processing for Edge Computing para una implementación estandarizada.
- Interfaz de desarrollo Python de procesamiento de flujo de eventos de SAS:
- Acelere el tiempo de desarrollo con una interfaz Python familiar, abierta y flexible para desarrollar, publicar, probar y transmitir eventos a través de proyectos de SAS Event Stream Processing.
- API de publicación/suscripción de Python: publique eventos y suscríbase a SAS Event Stream Processing mediante Python.
Utilice SAS y lenguajes de código abierto
- SAS Event Stream Processing para SASViya® y CAS: implemente modelos de machine learning y minería de datos de SAS en SAS Event Stream Processing para análisis de transmisión.
- Compatibilidad con la ejecución de Python en flujo dentro de los proyectos de procesamiento de flujo de eventos de SAS. Ejecución nativa en memoria de Python utilizando tecnología de servicio de microanálisis patentada.
- Compatibilidad con la inferencia de modelos ONNX nativos en plataformas de GPU para el perímetro (en el sitio) y para la nube (Docker).
- Los lenguajes de programación SAS admitidos incluyen SAS DATAStep2 y SAS DATAStep.
- Compatibilidad con secuencias MapR: el adaptador Kafka está certificado para funcionar con la plataforma de datos convergentes MapR para publicación y suscripción.
- Compatibilidad con la API de publicación/suscripción de Python para publicar y suscribirse al servidor SAS Event Stream Processing para inyectar eventos en SAS Event Stream Processing y escuchar información de SAS Event Stream Processing.
Supervisión visual de flujos de eventos
- El soporte para visualizar datos de transmisión e información del proyecto SAS Event Stream Processing incluye:
- Acceso seguro con soporte de inicio de sesión para acceso autorizado a la aplicación Streamviewer de SAS Event Stream Processing.
- Compatibilidad con Streamviewer para gráficos SAS en paneles de transmisión en tiempo real.
- Los componentes de Streamviewer admiten la integración dentro de las aplicaciones para brindar información en tiempo real de Streamviewer.
- Compatibilidad con WebSocket para una conectividad de servidor de procesamiento de flujo de eventos SAS confiable y rápida.
- Tablero configurable por el usuario para pruebas personalizadas de la actividad de transmisión.
- Filtre y consulte de forma interactiva la actividad de transmisión en vivo para examinar el comportamiento específico de los elementos.
- Respuesta más rápida con el nuevo soporte web socket para monitorear eventos desde el servidor de procesamiento de flujo de eventos SAS.
- Compare la actividad histórica con el procesamiento actual utilizando representaciones gráficas.
- Supervise los detalles del procesamiento de transmisiones suscribiéndose a eventos de interés.