Obtención de datos

¿Qué es data ingestion (ingesta de datos)?

Data ingestion es el proceso de recopilar datos desde su fuente y trasladarlos a un entorno objetivo en el que se pueda acceder a ellos, usarlos o analizarlos. Las fuentes de datos pueden ser desde lagos de datos, dispositivos de IoT, bases de datos locales o en la nube, y aplicaciones de SaaS, entre otros. Los objetivos suelen incluir almacenes de datos en la nube, lagos de datos en la nube o data marts.

Tipos de data ingestion (ingesta de datos)

El pilar de toda arquitectura de analítica es la capa de data ingestion. Hay varios tipos de procesos de data ingestion, y el diseño de una capa de data ingestion en particular puede basarse en distintos modelos o arquitecturas.

Data ingestion por lotes

Data ingestion por lotes, el tipo de data ingestion más común, es el proceso de recopilar y transferir los datos a un sistema de destino por lotes, generalmente, de acuerdo con programaciones, eventos o condiciones activadores, o cualquier otro tipo de orden lógico. Las organizaciones usan data ingestion por lotes cuando necesitan recopilar puntos de datos específicos periódicamente o hacer consultas ad-hoc, pero no necesitan datos en tiempo real para tomar decisiones.

Data ingestion en tiempo real

Data ingestion en tiempo real es cuando los datos se recopilan, manipulan y cargan en cuanto son creados o reconocidos por la capa de data ingestion. Las organizaciones usan data ingestion en tiempo real para casos prácticos con límite de tiempo cuando es fundamental tener datos que se actualicen continuamente, como en el caso de las operaciones bursátiles o la supervisión de la red eléctrica.

Data ingestion con arquitectura Lambda

Data ingestion con arquitectura Lambda combina data ingestion por lotes y en tiempo real. Está compuesta por las capas de proceso por lotes, servicio y velocidad. Las primeras dos capas indexan los datos por lotes, mientras que la capa de velocidad indexa de manera instantánea los datos que aún no hayan sido seleccionados por capas de proceso por lotes y servicio más lentas. Este traspaso continuo entre las distintas capas garantiza que los datos estén disponibles para las consultas con baja latencia.

¿Por qué es importante data ingestion (ingesta de datos)?

Data ingestion es importante porque ayuda a las organizaciones a entender el aumento en el volumen, la variedad y la complejidad de los datos. Los datos deben incorporarse antes de que puedan ser usados por los analistas, los gerentes de línea de negocio, los encargados de la toma de decisiones, las aplicaciones o los modelos de aprendizaje automático. Para tomar decisiones mejores y más fundamentadas, las organizaciones deben acceder a todas sus fuentes de datos para la analítica y la inteligencia empresarial (BI). Los sistemas de analítica y generación de informes descendentes dependen de datos consistentes y accesibles, y data ingestion lo hace posible.

El proceso automatizado de data ingestion puede ayudar a las organizaciones a operar de manera más eficiente. Al automatizar este proceso, las organizaciones pueden eliminar las tediosas tareas manuales y ahorrar tiempo y dinero al permitir que recursos técnicos limitados se dediquen a otras tareas de más valor. Los ingenieros pueden usar la tecnología automatizada de data ingestion para garantizar que sus aplicaciones y herramientas de software muevan datos rápidamente y ofrezcan a los usuarios una experiencia superior.

¿De qué manera Alteryx permite hacer data ingestion (ingesta de datos)?

Alteryx optimiza el proceso de data ingestion mediante la creación de un entorno flexible que opera sin problemas dentro de los flujos de trabajo analíticos de extremo a extremo y se integra por completo con cadenas de herramientas modernas. Las organizaciones usan Alteryx para automatizar el proceso de obtener, transformar y entregar datos de la fuente al objetivo, lo que elimina los tediosos flujos de trabajo manuales de data ingestion que llevan mucho tiempo.

Esta plataforma de ingeniería de datos en la nube inteligente, colaborativa y de autoservicio facilita el proceso de data ingestion, ya que permite hacer lo siguiente:

• Conectarse con los datos de cualquier fuente. Designer Cloud ofrece conectividad de datos universal con una amplia gama de fuentes de datos, lo que hace que sea más fácil y rápido conectarse y obtener cualquier dato. Con una arquitectura de autoservicio, Alteryx proporciona un acceso flexible y sin inconvenientes a los datos y admite conectividad con almacenamiento en la nube, almacenes de datos en la nube y archivos.
• Transformar los datos sin procesas en datos listos para usar en toda la organización. Designer Cloud hace que los datos sean útiles y comprensibles para los usuarios de cualquier nivel de habilidad, independientemente de la fuente, el objetivo o el uso. Con la interfaz visual de Designer Cloud, las organizaciones pueden aprovechar las técnicas de transformación predictiva de datos para detectar y resolver patrones de datos complejos y transformarlos en datos consumibles para la analítica y las aplicaciones.
• Implementar y automatizar los pipelines de datos en minutos. Designer Cloud facilita la implementación y automatización de los pipelines de datos desde la fuente hasta el destino, lo que permite a los usuarios programar y automatizar sus flujos de trabajo a medida.