Datenreplikation in Echtzeit

tcVISION ist eine systemübergreifende Lösung für die zeitnahe, bidirektionale Datensynchronisation und Replikation auf Basis von Änderungsdaten. Datenaustausch wird zur Single-Step-Operation. Der Einsatz von Middleware oder Message Queueing ist nicht notwendig. Der Datenaustausch erfolgt im Raw-Format in komprimierter Form und reduziert sich auf das Delta von Änderungsdaten. Daten können in Echtzeit, zeitgesteuert oder ereignisgesteuert sowohl uni- als auch bidirektional bewegt werden.

Einsatzgebiete

Architektur

Die tcVISION Replikationslösung ist modular aufgebaut. Sie unterstützt sowohl das Laden von Massendaten aus einer Datenquelle in ein oder mehrere Datenziele, als auch den kontinuierlichen Datenaustauschprozess in Echtzeit auf Basis der Change Data Capture Technologie.

Features

FLEXIBILITÄT UND AKTUALITÄT

Hohe Integrationsfähigkeit der tcVISION Lösung: Verschiedene Change Data Capture Technologien je nach Änderungsfrequenzen und Latenzzeiten
Intuitives Mapping bietet umfassende Funktionen zu Typkonvertierungen und Datentransformation bis hin zur kompletten Änderung des Datenmodells
Umfassende Konvertierung von historisch gewachsenen Mainframe-Datenstrukturen
Höchste Aktualität der Daten durch kontinuierliches Realtime Processing
Automatische oder benutzergesteuerte Aufbereitung/Transformierung (ASCII - EBCDIC) der Daten für das Ziel (Konvertierung, Umformatierung, Interpretierung, etc.)
Unterstützung relationaler und nicht relationaler Datenbestände

BENUTZERFREUNDLICHKEIT

Intuitives Dashboard zur Administration und Kontrolle
Transparenz über alle Datenaustauschvorgänge durch umfassendes Monitoring und Logging aller Datenbewegungen
Integrierte, datenbankspezifische „Apply“ Funktion für ein schnelles und effizientes Einpflegen von Daten in die Zielsysteme, z.B. direkter Insert, Update, Delete, JSON/AVRO über Kafka oder auch die Nutzung der DBMS Loader Funktionalität
Integriertes Data Repository mit Historienführung zur Verwaltung aller Datenstrukturen und Regeln für den Datenaustausch
Key-Management für nicht indizierte Daten
Wegfall von Programmieraufwand für Datenaustausch
Integrierte Pooling/Streaming Verfahren vermeiden Programmieraufwand
Nutzung von Message Queueing zur Absicherung von Datenverlust bei Nichtaufnahmefähigkeit des Zielsystems oder Verzögerungen

DATENINTEGRITÄT

Praxisbewährte Verfahren zum Wiederaufsetzen von Replikationen bei Störungen im System (Datenbankfehler, Übertragungsstörungen)
Master Data Management zur Wahrung der Datenkonsistenz
Sicherung der referentiellen Integrität durch transaktionsgebundene Übertragung von Daten

tcVISION Komponenten

1. TRANSFORMATIONSPLATTFORM MIT REPOSITORY

Sie beinhaltet alle Utilities für das automatische Daten Mapping zur Generierung der Metadaten für Datenquellen und Datenziele sowie das gesamte Regelwerk für das Extrahieren der Daten an der Datenquelle, der Transformation/Aufbereitung der Daten für die Zielsysteme, sowie das direkte Einpflegen der Daten in die Datenziele. Für den Betrieb der tcVISION Transformationsplattform empfiehlt sich die Wahl einer kostengünstigen Systemplattform wie UNIX oder Linux.

2. DASHBOARD / ADMINISTRATIONS GUI – COMMAND LINE EDITOR

Für Administration, Betrieb, Überwachung, Kontrolle und Monitoring aller Datenaustauschprozesse wird das tcVISION Dashboard zur Verfügung gestellt. Zur Automatisierung der Datenaustauschprozesse sowie dem „unattended“ Betrieb der Datensynchronisationsprozesse können die tcVISION Command Line Utilities genutzt werden.

3. DATENQUELLEN

tcVISION Bulk Reader für das Einpflegen von Massendaten (Initial Load oder periode Massendatentransfers)

Log basierende Change Data Capture Agenten zum Erfassen der Datenänderungen auf Record Ebene

4. DATENZIELE

tcVISION Bulk Loader für das effiziente Beladen von Massendaten in die Datenziele

tcVISION APPLY zur Nutzung DBMS spezifischer APIs bzw. Mainframe Zugriffsmethoden zum effizienten Einpflegen von Datenänderungen in Echtzeit in Kombination mit der CDC Technologie an der Quelle

5. EFFIZIENTER DATENAUSTAUSCH

Die Daten werden zwischen Datenquelle und Datenziel über TCP/IP im „raw format“ und compressed ausgetauscht. Der Datenaustausch beschränkt sich auf ein Minimum.

Change Data Capture Mechanismen

DBMS-Extension

Echtzeit

Zeitnahe Erfassung von Änderungsinformationen
Informationsgewinnung direkt aus dem Datenbanksystem
Sichere Datenbewahrung, auch über Neustart des DBMS hinweg
Minimale Latenz

Log-Auswertung

Ereignis- oder zeitgesteuert

Verwendung der DBMS Logging Möglichkeiten
Transfer genau der geänderten Daten im festgelegten Zeitraum
Ideal als Nachtverarbeitung
Zur Verarbeitung unmittelbar nach Log-Abschluss

Bulk-Transfer

Massendaten-Austausch

Effizienter Transfer ganzer Datenbestände
Zyklischer Transfer von Massendaten mit niedriger Änderungsfrequenz
Ideal als „Initial Load“ im Vorfeld der Realtime Synchronisation
Für periodische Massendatentransfers

Batch-Compare

Snapshot Verarbeitung

Vergleich mit Datensnapshots
Effizienter Transfer der Änderungsdaten seit dem letzten Lauf
Automatische Bildung des Deltas durch tcVISION
Sicheres Wiederaufsetzen bei Fehlersituationen

Unterstützte Quellen und Ziele

Quellen

Mainframe Datenbanken

IBM Db2
IBM IMS/DB
IBM DL1
VSAM (Batch & CICS)
Software AG ADABAS
CA IDMS/DB
CA DATACOM/DB

Mainframe Datenbanken (Massload)

IBM Db2 Imagecopy/Flashcopy
IBM IMS/DB Unload
Software AG ADABAS Unload and ADASAV
CA IDMS/DB Backup
CA DATACOM/DB Backup
VSAM
Flat File

Non-Mainframe Datenbanken

IBM Db2 (LUW)
Software AG ADABAS LUW
Microsoft SQL Server
MySQL / MariaDB
Apache Kafka
Oracle
PostgreSQL

Ziele