desarrolladores etl big data oportunidades de empleo

Big Data Engineer

Big Data Engineer

Data Engineer Resumen Estamos buscando un Big Data Engineer con mucho talento para sumarse al equipo de desarrollo de uno de nuestros clientes ubicado en Barcelona. Como parte del equipo de Data y Analytics trabajarás para hacer crecer y expandir la plataforma BD para solventar sus actuales y futuros retos. Se trata de transformar los datos en conocimiento para negocio, y lo sabes! Tus principales responsabilidades serán: - Configurar y mantener la plataforma de datos en el nivel de infraestructura de software, así como en el nivel de datos. - Diseñar, construir y mantener procesos y componentes de un pipeline de ETL / streaming de datos para soportar análisis analíticos en tiempo real. - Administrar la implementación de la solución de datos en los entornos de desarrollo, integración y producción. - Colaborar con data science para diseñar y desarrollar procesos e iniciativas de data science en una plataforma de datos común. - Analizar los datos y definir las fuentes de datos, los formatos y la frecuencia de extracción. - Desarrollar componentes de extracción de diferentes fuentes de datos (bases de datos, api, archivos, etc) con lenguajes de programación como Java o Python. - Diseñar consultas complejas en MySQL o PostgreSQL, con el fin de optimizar el rendimiento de extracción y análisis de grandes conjuntos de datos. - Diseñar e implementar un modelo multidimensional en una base de datos distribuida como Redshift AWS - Desarrollar trabajos de transformación con una herramienta ETL como Talend. - Automatización: uso de herramientas como AWS Data Pipeline, AWS Kinesis o AWS Lambda y scripts BASH para la gestión automatizada de la canalización de datos. - Visualizar y mostrar los resultados del análisis de una manera clara y concisa con las herramientas de BI. Requisitos Eres un gran candidato si ... - Tienes un MBA en Ingeniería informática
Barcelona
Big Data Engineer

Big Data Engineer

Part of Big data delivery team to help implement the new data lake platform; define & implement a data integration and workflow framework that provides for the loading of data, data integration, quality management, aggregation, joins etc. and distribution to various systems using advanced Big data technologies.Ensure, in collaboration with Solution Designer and platform manager, scalable and high performance solutions.Provide application support for IT related problems in the area of data processing workflows.Develop and maintain scalable data management and analytic solutions using Hive, Hbase , Informatica etc.Hands on technical role; contribute to all phases of the software development lifecycle, including the analysis, architecture, design, implementation, and QA.Ensures peer reviews and unit tests are prepared and conducted across the entire team.Responsible for provision of effort estimates required to develop software.Transition SQL and file system application data stores to a Big Data scalable framework where appropriate. - Leading insurance group working in more than 170 countries.- Big Data Engineer A very strong SQL/data analysis or data mining background, experience with Business Intelligence, Data Warehousing, common/reusable components, Audit Controls, ETL Framework.Solid understanding of large scale data management environments (relational and/or NoSQL).+3 Years of experience in building massively scalable distributed data processing solutions with Hadoop, HBase & Hive.Demonstrable knowledge of Continuous Integration/Test Driven Development and Code Analysis including its application within the software development lifecycle.+2 years of experience in the development of ETL routines preferably Informatica Big Data edition.Experience in the development and configuration of RESTAPIs.Experience in agile IT development methodologies (e.g:. SCRUM).Prior experience working in a financial services environment desirable, preferably insurance.Ability to work effectively in a global organization, under time pressure and to manage ambiguity.Bachelor Degree (IT), Master degree or Technical Diploma or equivalent.Good English skills (Written & Oral).Strong knowledge of Informatica PowerCenter toolset.
Barcelona
Desarrolladores y  Arquitectos BIG DATA, Madrid

Desarrolladores y Arquitectos BIG DATA, Madrid

Desarrolladores y Arquitectos BIG DATAen Madrid Buscamos profesionales para un equipo especializado en BIG DATA en uno de nuestros clientes finales de especial importancia dentro del sector Informática y computación. El equipo necesitaría de profesionales: -Administradores Hadoop -Arquitectos Bigdata -Fullstack Java con conocimientos en Big Data SIAG Consulting es una empresa de consultoría y servicios avanzados asociados a las Tecnologías de la Información. Desde su fundación en 1998, su ámbito de actuación han sido los sectores de Banca, Seguros y Telco al más alto nivel, para más tarde poner su core tecnológico también al servicio de las necesidades actuales del mercado. Además, dicha evolución le permitió iniciar su apertura internacional a través de las sedes de Londres y México DF que, unidas a la de Madrid, han multiplicado todavía más su capacidad de ofrecer soluciones IT rápidas, eficaces y a medida. Las soluciones IT de SIAG Consulting abarcan desde avanzadas ingenierías a medida de software informático, seguridad virtual y Cloud Computing, pasando por servicios profesionales y equipos de soporte y mantenimiento técnico. La clave de nuestro éxito es la apuesta por el talento de nuestro equipo y nuestro reto diario construir futuro junto a él. Solo así clientes como el BBVA, Santander, ING o Fujitsu depositan a diario su confianza en nosotros. Buscamos profesionales para un equipo especializado en BIG DATA en uno de nuestros clientes finales de especial importancia dentro del sector Informática y computación. El equipo necesitaría de profesionales: -Administradores Hadoop -Arquitectos Bigdata -Fullstack Java con conocimientos en Big Data hadoop, BIG DATA, JAVA,
Madrid
Gerente de Arquitectura de Big Data

Gerente de Arquitectura de Big Data

El Gerente de Arquitectura de Big Data situado en Madrid será responsable del diseño técnico de la arquitectura de procesamiento y almacenamiento, diseño de pruebas y puesta en producción. Será responsable del análisis y definición de los componentes de la arquitectura en proyectos de implantación de plataformas de Big Data y de casos de uso sobre dicha plataforma. Experiencia necesaria: - Conocimientos de soluciones de software y hardware para plataformas de Big Data - Experiencia en diseño de soluciones de arquitectura de Big Data - Experiencia en desarrollo en Spark, Java, etc. - Experiencia en desarrollo de soluciones con varias de estas soluciones: - Hadoop, Hive - Cloudera - Hortonworks - Pivotal - MapR - Bases de datos in-Memory - Bases de datos no-sql - Streaming (Kafka, Rabit MQ …) - Experiencia en Data Modeling y Data Analysis - Conocimientos de Business Intelligence y Analytics - Conocimiento y experiencia en herramientas de Explotación de la información y data Discovery (Qlik, Tableau) - Experiencia en la gestión de grandes volúmenes de datos - Experiencia en Metodología Agile -Empresa lider en promoción y Gestión de Infraestructuras - Empresa lider en promoción y Gestión de Infraestructuras Ingeniero en Informática o Telecomunicaciones. Experiencia como Arquitecto de al menos 5 años. Se requiere disponer de experiencia de mínimo 2 años en Big Data.Experiencia diseñando soluciones técnicas sobre el ecosistema Hadoop Se requiere experiencia en el diseño y desarrollo de soluciones Big Data, desde el diseño de módulos de ingesta, modelado de bases de datos en Hive o Impala, diseño de elementos de procesado en Spark, Storm u otros elementos del ecosistema, así como elementos de visualización. Se valorará disponer de experiencia con la plataforma Cloudera. Se valorará disponer de experiencia sobre otras herramientas como Kibana, ElasticSearch o SolR. Se valorará experiencia en bases de datos NoSQL como HBase. Se valorará disponer de experiencia en la codificación de proyectos con alta carga analítica Alto nivel de inglés
Madrid
Gerente de Arquitectura de Big Data

Gerente de Arquitectura de Big Data

El Gerente de Arquitectura de Big Data situado en Madrid será responsable del diseño técnico de la arquitectura de procesamiento y almacenamiento, diseño de pruebas y puesta en producción. Será responsable del análisis y definición de los componentes de la arquitectura en proyectos de implantación de plataformas de Big Data y de casos de uso sobre dicha plataforma. Experiencia necesaria: - Conocimientos de soluciones de software y hardware para plataformas de Big Data - Experiencia en diseño de soluciones de arquitectura de Big Data - Experiencia en desarrollo en Spark, Java, etc. - Experiencia en desarrollo de soluciones con varias de estas soluciones: - Hadoop, Hive - Cloudera - Hortonworks - Pivotal - MapR - Bases de datos in -Memory - Bases de datos no -sql - Streaming (Kafka, Rabit MQ …) - Experiencia en Data Modeling y Data Analysis - Conocimientos de Business Intelligence y Analytics - Conocimiento y experiencia en herramientas de Explotación de la información y data Discovery (Qlik, Tableau) - Experiencia en la gestión de grandes volúmenes de datos - Experiencia en Metodología Agile -Empresa lider en promoción y Gestión de Infraestructuras - Gerente de Arquitectura BIG DATA Ingeniero en Informática o Telecomunicaciones. Experiencia como Arquitecto de al menos 5 años. Se requiere disponer de experiencia de mínimo 2 años en Big Data.Experiencia diseñando soluciones técnicas sobre el ecosistema Hadoop Se requiere experiencia en el diseño y desarrollo de soluciones Big Data, desde el diseño de módulos de ingesta, modelado de bases de datos en Hive o Impala, diseño de elementos de procesado en Spark, Storm u otros elementos del ecosistema, así como elementos de visualización. Se valorará disponer de experiencia con la plataforma Cloudera. Se valorará disponer de experiencia sobre otras herramientas como Kibana, ElasticSearch o SolR. Se valorará experiencia en bases de datos NoSQL como HBase. Se valorará disponer de experiencia en la codificación de proyectos con alta carga analítica Alto nivel de inglés
Madrid
Data Analyst (formación en Big Data)

Data Analyst (formación en Big Data)

The Data Analyst ensures the coordination of activities between Project Managers and Subsidiaries: -He/she helps defining data requirements (data fields, level of data quality) with Project Managers / IT Analysts -He/she takes part in the review of solutions with the help of the corporate architect, IT analysts and Project Managers -He/she manages subsidiaries helping them to understand and identify data which need to be extracted and sent to central -He/she tests the data flows and data quality before delivery to applications -He/she takes part in or coordinates the tests -He/she takes part in or coordinates the move to production of data flows -He/she maintains the data dictionary -He/she ensure a fixing within the SLA of data quality issues that could occur in production Autonomy and reporting -The Data Analyst reports to the IT Supervisor. -Any decision which has an impact on projects, planning, budget or organisation, must be submitted to the IT Supervisor, the Project Manager, or in some contexts to the steering committee for formal validation. -He/she takes day to day decision in the frame of the application and project. Internal and/or external contacts -IT Supervisor and Project Managers -Internal and external consultant -Executive and senior management -IT Analysts -Users -Multinational specialized in Financial Sector - Data Analyst (knowledge in Big Data will be valuable) - University Degree (Engineer, Mathematics, or similar) Fluent in English Good communication skills Good knowledge of Long Term Leasing activity First experience on Data Management
Madrid