Intelligente, sichere Testdaten für DevOps, MLOps und DataOps! Daten, die durch Anwendungsentwicklung, maschinelles Lernen und Analysepipelines fließen, müssen mehrere Anforderungen erfüllen, die allen drei Bereichen gemeinsam sind, darunter:

  1. Realitätsnähe, um die Eigenschaften der Produktionsdaten und die Anforderungen der Anwendungstests widerzuspiegeln
  2. Konformität mit Geschäfts- und Datenschutzregeln sowie DB- und Analysemodellen
  3. Verfügbarkeit oder Sicherheit der Daten (je nach Sichtweise)
  4. Nachvollziehbarkeit für die Abstammung und Verantwortlichkeit

Die an diesen Pipelines beteiligten Akteure verstehen diese Anforderungen aus ihrer eigenen Perspektive. IRI, auch bekannt als "The CoSort Company", bietet ein vielschichtiges Testdatenmanagement-Framework, um diese Anforderungen zu erfüllen. Die Rolle von IRI in diesem weiten Bereich begann mit der Notwendigkeit, umfangreiche, realistische Daten zu erstellen, um das Volumen und die Vielfalt der Datenumwandlungs- und Formatierungsaktivitäten zu testen, die im IRI CoSort-Produkt zur Datenmanipulation unterstützt werden.

Unter Verwendung der zentralen "SortCL"-Datendefinitionssprache und des Verarbeitungsprogramms von CoSort änderte IRI die Eingabephase seines ETL-Prozesses vom Lesen von Dateien zum Erstellen von Dateien, entweder durch die Generierung von Zufallswerten für bestimmte Datentypen und -bereiche und/oder die zufällige Auswahl von Daten aus externen Beständen.

Sichere und schnelle Lösung für TDM: 2004 brachte IRI das RowGen-Spin-Off-Produkt von SortCL auf den Markt und erweiterte es später, um vorsortierte, strukturell und referenziell korrekte RDB-Schemata nur aus DDL-Details zu analysieren, zu synthetisieren und zu laden. RowGen kann jetzt auch: neue Datenformate und rechnerisch gültige CCNs und NIDs generieren sowie Sätze für die Behandlung von All-Pairs; Nullen und realistische Wertverteilungen erstellen; in ETL- und CI/CD-Pipelines arbeiten; und Testdaten in halb- und unstrukturierten Quellen wie EDI- und Excel-Dateien, PDF- und Word-Dokumenten und Bildern mit eingebetteten Testdaten auffüllen, wenn sie mit der IRI DarkShield-Such-/Masken-API verwendet werden.

Testdaten für DevOps (TestOps): DevOps rationalisiert die Abläufe im Softwareentwicklungszyklus (SDLC), um die Softwarebereitstellung zu beschleunigen. Viele Entwickler nutzen CI/CD-Pipelines, um Software-Releases agiler und kontinuierlicher zu gestalten. Testdaten, die mit den Datenmaskierungs-, Subsetting- oder Synthesetools von IRI Voracity erstellt wurden, können von Jenkins, Amazon CodePipeline, Azure DevOps, GitLab usw. ausgeführt und genutzt werden, um die Funktionalität und Kapazität der Software bei jedem Build zu bewerten.

Die aufkommende TestOps-Disziplin verwaltet die operativen Aspekte des Testens im SDLC, wozu das Sammeln, Vorbereiten und Sichern von Expositionsdaten, Produktionssystemen und Testfallquellen gehört … um die Testabdeckung, Mitarbeiter und Aktivitäten zu skalieren (aber auch um die Softwarequalität zu gewährleisten). Intelligente Datenintegration und Anonymisierung dieser Quellen in Voracity spielt daher eine Schlüsselrolle für TestOps und verbessert gleichzeitig die DevOps-QA und mildert Datenschutzrisiken.

Testdaten für MLOps: Reichhaltige, anonyme Daten helfen auch beim Testen von maschinellen Lernvorgängen (MLOps), zu denen das Speichern, Laden und Transformieren von Daten sowie das Testen von Modellen und die Datenvalidierung gehören. Für jede dieser Phasen kann zum Beispiel das IRI RowGen Produkt in Voracity schnell riesige, realistische Dateien in Bulk-Load (z.B. CSV) und ML-Modellformaten wie PMML/XML und PFA/JSON synthetisieren.

Alternativ können die FieldShield oder DarkShield Datenerkennungs- und Maskierungswerkzeuge in Voracity Datenbanksammlungen, Dateien oder Datenströme, die beim maschinellen Lernen verwendet werden, für die sichere Verwendung beim Testen durchsuchen und säubern.

Testdaten für DataOps: Die Implementierung eines DataOps-Testansatzes für ETL-Projekte bedeutet die Automatisierung von Tests für Quell- und Zieldatensätze und die Sicherstellung, dass diese Sätze die Eigenschaften von Daten widerspiegeln, die in echten Analysemodellen verwendet werden, ohne Personen zu identifizieren. IRI-Software erleichtert die Datenintegration und die Automatisierung von Analysetests auf verschiedene Weise.

Eine Möglichkeit besteht in der Kombination von Datentransformation und -verarbeitung mit Datenmaskierung oder -synthese. Einzigartig an Voracity ist die Back-End-Metadaten- und Engine-Unterstützung für eine solche Aufgabenkonsolidierung. In einem einzigen E/A-Durchlauf durch das oben erwähnte SortCL-Datenverarbeitungsprogramm können Voracity-Benutzer gleichzeitig Testdaten synthetisieren, transformieren und in mehrere künstliche, aber realistische Analyseziele formatieren. Umgekehrt kann das Programm eine oder mehrere Produktionsquellen lesen, sie integrieren und transformieren sowie Daten bereinigen, maskieren und in die gewünschten Ziele umformatieren.

Eine weitere Möglichkeit ist die Datenintegrations-Vorschau-Funktion für Voracity ETL-Architekten, die einen Mapping-Job mit automatisch generierten Testdaten durchführt. Diese Option erstellt Ziel-Subsets mit realistischen Testdaten, so dass Architekten ihre Transformationslogik und ihr Output-Layout validieren können.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über die JET-Software GmbH

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: 06073-711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel