Technologie & Architektur

Pacemaker ist ein vollständig in PHP implementiertes Magento-Modul und hat somit Zugriff auf alle Prozesse, die in Magento laufen und alle zur Verfügung stehenden Ressourcen. Die Anbindung an Drittsysteme erfolgt im Normalfall über Standardschnittstellen wie Webservices, CSV und XML Dateien. So lassen sich schnell und einfach zusätzliche Konnektoren zu anderen System umsetzen, wenn diese nicht bereits vorhanden sind.

Pacemaker selbst verfügt über eine modulare Struktur, um Wartbarkeit und die Weiterentwicklung so einfach wie möglich zu gestalten. Die strikte Trennung von Zuständigkeiten stellt zusätzlich sicher, dass Änderungen nicht zu unerwünschten Nebenläufigkeiten führen und Schwierigkeiten bei Updates verursachen. Die zahlreichen Module lassen sich in die folgenden, übergeordneten Komponenten zusammenfassen:

• Process Pipeline Framework
• Import Framework
• Pipeline-Based Imports
• Order Workflow

Alle Komponenten von Pacemaker sind so implementiert, dass sie schnell und einfach an die eigenen Gegebenheiten angepasst und bei Bedarf erweitert werden können. Das Zusammenspiel zwischen Process Pipeline und Import Framework erfolgt dabei über sogenannte Exekutoren, die z. B. aus dem Step einer Pipeline durch den Aufruf eines CLI Befehls den Import Prozess starten. Abhängigkeiten im Quellcode zwischen den beiden Frameworks wurden bewußt vermieden. 

Hierbei wurde das Process Pipelines Framework als reine Magento Extension implementiert und kann somit über die Möglichkeiten die das Magento Framework bietet z. B. um neue Pipelines und Steps erweitert werden. Viele Anpassungen lassen sich jedoch bereits durch Anpassungen der den Pipelines zugrundeliegenden XML Dateien erledigen, was die Anforderungen hinsichtlich Programmierkenntnisse erheblich reduziert. Die bereits mit ausgelieferten Pipelines sind dabei eine sehr gute Ausgangsbasis für erste Schritte. 

Im Falle des Import Frameworks wurde hingegen ein anderer Weg eingeschlagen. Da das Import Framework einen generischen und systemunabhängigen Ansatz verfolgt und somit auch für andere Systeme eingesetzt werden kann wurde hier das Symfony Framework als Basistechnologie verwendet. Das Import Framework verfolgt einen komplett deklarativen Ansatz und ermöglicht mittlerweile eine Vielzahl von Anpassungen über die Konfiguration.

Bei der Umsetzung orientiert sich Pacemaker an Vorbildern wie Jenkins, Gitlab-CI oder Travis-CI. Wie bei diesen Systemen werden Prozesse über eine Konfigurationsdatei modelliert (im XML-Format, um konform mit Magento zu bleiben). Dabei kann über sog. Conditions festgelegt werden, wann eine Pipeline gestartet werden soll. Beispielsweise soll eine Import Pipeline nur gestartet werden, wenn auch passende Dateien vorhanden sind und wenn nicht gerade die Indizierung läuft.

Zum Ausführen eines Steps (Tasks) wird eine Nachricht an die Message-Queue übergeben. Diese bleibt solange in der Queue, bis sie durch einen Runner erfolgreich verarbeitet wurde. Damit kann sichergestellt werden, dass auch beim Ausfall eines Systems Nachrichten nicht verloren gehen und die Nachrichten asynchron und dezentral verarbeitet werden können.

Das Pacemaker Import Framework verfolgt - neben der Implementierung von schnellen und speicheroptimierten Importprozessen - das Ziel, Anpassungen und Erweiterungen möglichst ohne Programmieraufwand, rein deklarativ durchführen zu können. Dieser deklarative Ansatz in Kombination mit generisch wiederverwendbaren Komponenten bietet ein hohes Potenzial zur Einsparung von Zeit und Kosten. 

Bei den Komponenten des Import Frameworks handelt es sich im Großen und Ganzen um Komponenten, die die Funktionalität für den Import der jeweiligen Entitäten kapseln. Die Komponenten können nahezu beliebig miteinander kombiniert werden, so nutzt der Produktimport beispielsweise auch die Komponenten für den Import der Attribute und der Kategorien, um diese dynamisch anzulegen, falls sie noch nicht vorhanden sind.  

Einen signifkanten Mehrwert stellt das im Laufe vieler Projekten erworbene Prozess Know-How dar. Verpackt in ready-to-use Pipelines können Pacemaker-Kunden sofort starten und haben vom ersten Moment an die Sicherheit, dass ihre Prozesse zuverlässig und stabil laufen. Bei Bedarf lassen sich neue Funktionalitäten als zusätzlicher Schritt problemlos per XML Datei in eine bestehende Pipeline integrieren. 

Eine der häufigsten Einsatzgebiete für Pacemaker ist die Integration von Drittsystemen. Hauptsächlich handelt es sich dabei um PIM oder ERP Systeme, bei denen Daten entweder in Magento importiert oder aus Magento an das angebundene System übertragen werden. Speziell für den Import des Produktkatalogs, zu dem neben den Produkten die Attribute-Sets, Attribute und natürlich die Kategorien gehören, bringt Pacemaker eine Pipeline mit, die dafür sorgt, dass der Katalog - sofern entsprechende Daten in einem konfigurierbaren Verzeichnis abgelegt werden - aktualisiert wird. 
Dabei wird sichergestellt, dass 

• die zu verarbeitenden Dateien in ein temporäres Verzeichnis verschoben werden
• die Indizierung des Katalogs gestoppt wird
• die Dateien in der richtigen Reihenfolge importiert werden
• die Datei für den Refresh des Bilder-Cache exportiert wird (für die tatsächliche Aktualisierung ist ein Zusatzmodul notwendig)
• und abschließend die Indizierung des Katalogs wieder gestartet wird

Anschließend ist der Katalog wieder aktuell. Während des gesamten Prozesses stellt die Pipeline sicher, dass zu jeder Zeit der Shop online bleibt und Kunden weiter einkaufen können.

Analog zu den Preise beinhaltet Pacemaker eine Standardpipeline für den Import von Preisen. Wie auch bei den Lagerbeständen gehören Preise zu den Bestandsdaten und unterliegen - zumindest zum Großteil - einer höheren Aktualiserungsfrequenz. Um kontinuierlich sicherzustellen, dass die im Shop angezeigten Preise aktuell sind, enthält auch der Preisimport nur die notwendigsten Daten und sorgt somit dafür, dass die Laufzeit auf ein Minimum reduziert werden kann. 

Bei dieser Komponente handelt es sich um die zentrale Logik zur Übertragung der Bestellung in das zuständige ERP bzw. Warenwirtschaftssystem (im folgenden "Zielsystem" genannt), sowie die Synchronisation des Bestellstatus zwischen den Systemen.

Line Items ist eine Erweiterung, die bereits bei der Erzeugung der Bestellung in Magento aktiv wird. Dabei werden über zusätzliche Attribute die einzelnen Positionen der Bestellung nach vorab konfigurierten Regeln durchnummeriert. Diese Anforderung ergibt sich aus der Funktionsweise vieler ERP- und Warenwirtschaftssysteme. 

Durch dieses Modul wird die Nummerierung explizit bei der Erzeugung der Bestellung vorgenommen. Dadurch wird eine höhere Stabilität des Gesamtsystems (damit ist die gesamte E-Commerce Infrastruktur gemeint, nicht nur die Magento-Instanz) gewährleistet, als bei der impliziten Nummerierung während des Export-Vorgangs bzw. der Verarbeitung der Antwort.

Durch dieses Modul lassen sich rein konfigurativ über das Backend z.B. Nummerierungen wie 0010, 0020, 0030, etc. oder ähnliches realisieren. Die Konfigurationen können je Mandant (Website) und somit auch je Zielsystem individuell gestaltet werden.