KPN - Data Engineer LogFile Management & Keten Monitoring (Freelance/ZZP)

Data Engineer LogFile Management & Keten Monitoring

Het team

Team DSH Accelerate helpt klanten met het realiseren van Event-Driven usecases op de Data Services Hub. De Data Services Hub is een platform voor het uitwisselen van events tussen verschillende partijen. Dat kunnen organisaties  zijn, maar ook afdelingen of teams. Kenmerkend aan de Data Services Hub (DSH) zijn daarnaast de lage latency (miliseconden) en de grote schaal die het platform aan kan.

DSH Accelerate bestaat uit ca 10 mensen met verschillende profielen. Naast Data Engineers zijn er Solution Designers, Data Scientists en Consultants/Projectmanagers. De teamleden werken in wisselende samenstellingen aan Usecases van klanten. De Usecases worden aangedragen door een ander team (Business Development). Beide teams werken nauw samen om klanten enthousiast te maken voor het ontwikkelen van usecases op de Data Services Hub.

Accelerate levert daarnaast twee diensten aan klanten van KPN. De eerste dienst is Log forwarding, waarbij logs van verschillende systemen van KPN en overige bedrijven ter beschikking worden gesteld aan klanten van KPN, ten behoeve van SOC/SIEM dienstverlening. De andere dienst is Keten Monitorning waarbij de logbestanden worden gebruikt om de status van een keten inzichtelijk te maken (in plaats van slechts de status van een applicatie).

De Data Engineer die we zoeken is lid van DSH Accelerate en vervult een rol in beide genoemde diensten.

Doel van de functie/opdracht

De Data Engineer heeft als primaire opdracht om de bestaande diensten (LFM en E2E) te leveren aan onze klant. Daarnaast speelt de Data Engineer een belangrijke rol on het verbeteren van deze diensten door klantwensen te koppelen aan technische concepten waarin de Data Services Hub excelleert. 

Werkzaamheden Data Engineer

Voert activiteiten uit zoals het connecten van data sources, ETL, complexe data processing, pipelines & automatisering

• Creëren data connectoren, dmv Python of andere coding talen;
• Definiëren data validatie tests om te runnen in de data pipeline;
• Definiëren van monitoring en alerting om zichtbaarheid te garanderen wanneer de data flow onderbroken is;
• In het geval van incidenten, snel de root cause analyse kunnen doen zodat het incident opgelost kan worden met zo min mogelijk impact voor de eindgebruiker;
• Verantwoordelijk voor bouwen, deployen, onderhouden en optimaliseren van data ingestion and data connectors om een data flow naar het data lake te maken.
• Houdt zich bezig met backend, hierbij denken aan de ontwikkeling van datakoppelingen, -connectoren en -modellen.
• Bijwonen van intakes, richt zich daarbij met name op het verzamelen van data uit verschillende interne en externe bronnen. Dit doet hij/zij door het bouwen van dataconnectoren naar bronsystemen en het transporteren van deze data naar verschillende doelsystemen voor processing of opslag. Hij zet samen met de analist de data om naar bruikbare informatie en bouwt en onderhoudt infrastructurele oplossingen.
• De data engineer ontsluit nieuwe logging naar DSH of andere platformen, filtert de logging en stelt de logs beschikbaar in het juiste format (CEF) aan een SOCSIEM dienstverlener.

 Functie-eisen (Must haves):

• Kennis en ervaring van werken met CICD pipelines
• Docker
• Python
• Kennis over dataprocessing & ontsluiting
• Streaming Data & Event Driven Architectures

Functie wensen (Nice to haves):

• Splunk
• DataBricks
• Azure DevOps en/of CICD Pipelines
• Reg
• ArcSight
• Yaml
• Bekendheid met het concept ‘Data Mesh’
• Scala & andere

Competenties kandidaat:

• Communicatief sterk
• Bereid en in staat tot leren van nieuwe talen, platforms en werkwijzen