SISTRIX GmbH
Bonn
Software Craftsman & DevOp - SEO
Software Craftsman | DevOp
September 2016 - Januar 2018
1 Jahr 5 Monate
full-time
Projekt
Bonn
🎯
Überblick
Als Software Craftsman & DevOp bei SISTRIX baute ich Big Data-Pipelines für SEO-Analysen mit "You Build It, You Run It"-Methodik. CI/CD-Pipeline mit Jenkins/Docker, Datenextraktion mit Spark/Hadoop für 450M+ Keywords weltweit, und PaaS-Architektur mit Apache Mesos/Marathon.
HTML-Parser mit XPath für effektive Strukturierung von Millionen Keywords pro Land (Deutschland: ~100M, USA: ~52M), HTML-Crawler für 200M Seeds, und automatisierte Akzeptanztests für SaaS-Tools. Status-Dashboard mit Play Framework für Projekt-Transparenz und operativen Überblick.
⚡
Aktivitäten
- Big Data Pipeline Development: HTML-Parser mit XPath für Millionen Keywords pro Land, API-Integration
- Data Extraction: HTML-Crawler mit Spark/Hadoop für 200M Seeds, strukturierte Datenextraktion
- DevOps & CI/CD: "You Build It, You Run It" Pipeline mit Jenkins/Docker, automatisierte Deployments
- PaaS Architecture: Apache Mesos/Marathon, AWS Route 53, skalierbare Infrastruktur
- Quality Assurance: Automatisierte Akzeptanztests für SaaS-Tools, Cucumber-Testing
- Monitoring & Operations: Status-Dashboard mit Play Framework, operative Transparenz
🔄
Methodik
- "You Build It, You Run It": DevOps Culture, End-to-End Ownership
- Big Data Processing: Spark/Hadoop, Scalable Data Pipelines
- CI/CD: Automated Testing, Continuous Deployment
- PaaS Architecture: Container Orchestration, Service Mesh
Technologie-Stack
Technologien und Tools, die in diesem Projekt verwendet wurden
⚙️
Backend
5
Java
Scala
Play Framework
RxJava
ArangoDB
📦
Sonstige
12
Groovy
Nutch
Tika
JOOQ
Data Storage
XPath
SAXON-HE
Data Extraction
Cucumber
Mockito
Automated Testing
PaaS Architecture
📊
Daten & KI
4
Spark
Hadoop
Big Data Processing
MySQL
🚀
DevOps
6
Docker
Jenkins
CI/CD Pipeline
Git
Apache Mesos
Marathon
🎨
Frontend
1
HTML Parsing