Mainframe-Daten sind oft ein Hemmschuh für die Nutzung neuer Technologien
Gründe für eine Migration von Mainframe-Daten oder Anwendungen gibt es viele. Dies wurde bereits in einem früheren Blog-Beitrag thematisiert. Mainframe Daten sind anders – sie sind historisch gewachsen und nicht kompatibel mit den Datenhaltungssystemen unter Linux, Unix, MS-Windows und Cloud-Plattformen.
Die tcVISION Lösung der BOS ist eine allumfassende Lösung, um Mainframe-Daten in Echtzeit mit Datenbanken unter Linux, Unix oder Windows zu synchronisieren.
Hierbei werden automatisch Transformationen der Daten vorgenommen. Die Verarbeitungs- und Transformationsregeln werden in einem Repository abgelegt.
Eine bidirektionale Replikation und Synchronisation der Daten ist ebenfalls mit tcVISION vollwertig unterstützt. Intelligente Loopback Verfahren sorgen dafür, dass im Falle einer bidirektionalen Replikation bereits verarbeitete und commitete Daten herausgefiltert werden.
Was ist jedoch zu tun, wenn Mainframe-Daten auf Backup- bzw. Recovery-Medien vorhanden sind und diese noch mit Daten der offenen Systeme verarbeitet werden müssen?
Zu diesen Daten gehören z.B.:
- DB2 z/OS Imagecopy
- DB2 z/OS Archive Log files
- IMS Unload files (z/OS)
- IMS Log files (z/OS)
- Sequential oder VSAM files (z/OS and z/VSE)
- ADABAS Unload files (z/OS, z/VSE)
- ADABAS PLOG files (z/OS, z/VSE)
- CA DATACOM Unload-Extract/Backup files (z/OS, z/VSE)
- CA DATACOM SPILL files (z/OS und z/VSE)
Für alle diese Eingabequellen bietet die BOS eine Lösung an, ohne das auf dem Mainframe eine Software-Komponente installiert werden muss.
Die Lösung heisst: zSTREAM - Transformation von IBM Mainframe Daten zur Nutzung für Big Data, Analytics, BI, Data Hubs auf non-Mainframe Plattformen on premise und auf Cloud-Plattformen.
zSTREAM unterstützt die durch tcVISION bekannten Methoden und Verfahren, BULK Transfer und Verarbeitung von Änderungsdaten, arbeitet jedoch ausschliesslich unter Linux, Unix oder Windows als JAVA Applikation.
Analog zu tcVISION basiert auch zSTREAM auf einem Repository, in dem alle für die Verarbeitung notwendigen Informationen (Metadaten, Transformationsregeln, Verarbeitungsregeln etc.) hinterlegt sind.
Zu den Verfahren gehören im Einzelnen:
BULK Transfer
Bulk Transfer ist ein effizienter Transfer ganzer Datenbestände und ist geeignet für
- Db2 zOS-Image-Kopierdateien
- IMS-Unload-Dateien
- Sequentielle Dateien (und auch VSAM-Entladungen)
- ADABAS-Unload-Dateien
- CA-DATACOM-Unload- und Extraktionsdateien
Diese Dateien sind auf dem Mainframe erstellt und mittels eines File-Transfers in binärer Form auf ein System unter Windows, Unix oder Linux übertragen worden.
Der Bulk Transfer ist ideal für einen „Initial Load“ einer Datenbank oder einem periodischen Massendatentransfer. Alle Teile eines Datenaustausch, Extrahieren, Transformieren und das Einpflegen der Daten in das Zielsystem, werden in einem einzigen Schritt durchgeführt.
Verarbeitung von Änderungsdaten
Änderungsdaten werden von den folgenden Datenbeständen verarbeitet:
- DB2 z/OS Archive Log files
- IMS Log files (z/OS)
- ADABAS PLOG files (z/OS, z/VSE)
- CA DATACOM SPILL files (z/OS und z/VSE)
Wie bei dem vorher beschriebenen Verfahren BULK Transfer werden diese Dateien auf dem Mainframe erstellt und binär und komprimiert vom Mainframe auf eine Linux, Unix Windows Plattform on premise oder einem Cloud-System übertragen. Dort findet die Verarbeitung mit zSTREAM statt.
Die produktive Datenquelle auf dem Mainframe bleibt somit unberührt.
Die transformierten Daten können in beliebige Datenziele direkt (z.B. SQL-Server, Oracle, Db2 LUW, u.a.) eingepflegt oder an eine Streaming-Plattform wie Kafka übertragen werden.
Somit ist zSTREAM das geeignete Mittel Transformationen von IBM Mainframe Daten zur Nutzung für Big Data, Analytics, BI, Data Hubs auf non-Mainframe Plattformen vor Ort sowie auf Cloud-Plattformen durchzuführen.
