Einführung in das ASN.1-Format und direkte Unterstützung! Abstract Syntax Notation One (ASN.1) ist eine Sprache zur Beschreibung des Inhalts und der Kodierung von Nachrichtendaten, die zwischen Computern ausgetauscht werden (insbesondere in der Telekommunikationsindustrie). Dies ist der erste in einer Reihe von fünf Artikeln über das Dateiformat und das umfassende neue Data Engineering, das Sie mit […]
Read More
Datenbank-Subsetting: Test mit kleineren, maskierten Schemas! Die Unterteilung und Maskierung einer Datenbank in der IRI Voracity-Plattform ist ein guter Weg, um Testdaten für die Verwendung in einem beliebigen Schema oder einer Reihe von Flat-Files zu erzeugen, die später für Berichte oder zum Laden verwendet werden können. Herausforderungen: Entwickler von Datenbankanwendungen verlassen sich zum Testen oft auf […]
Read More
MySQL und MariaDB: schnellere und sichere Datenbank! Sie können mit einem oder mehreren dieser zeitaufwendigen Probleme bei der Arbeit mit MySQL konfrontiert werden: Datenermittlung: Profilerstellung, Klassifizierung, ERDs Be- und Entladen großer Tabellen Routinemäßige Versorgungsoperationen (Reorgs) Komplexe Abfragen Migration oder Replikation Maskierung sensibler Daten Generierung intelligenter und sicherer Testdaten Auch spezifische Leistungsdiagnosen und -abstimmungen brauchen […]
Read More
Parquet-Dateiformat: Sensible Informationen suchen und schützen! Apache Parquet ist ein spaltenförmiges, komprimiertes Dateiformat, das auf Leistung optimiert ist. Parquet-Dateien sind häufig bei Cloud-Speicheranbietern zu finden, da die Optimierungen des Dateiformats die Kosten in Cloud-Umgebungen im Vergleich zu CSV-Dateien senken. Parquet ist ein komplexes Binärformat, das zwar für schnelle analytische Abfragen und geringen Speicherplatzbedarf ausgelegt ist, […]
Read More
Datenintegration und Datamanagement für moderne Unternehmen: Erkenntnisse und Ratschläge! In der DBTA-Ausgabe 2018 zum Thema Datenintegration und -governance haben wir einen MDM-bezogenen Anwendungsfall in Malaysia (das MyGDX-Portal) vorgestellt, bei dem die Datentransformations- und Datenqualitätsfunktionen des CoSort "SortCL"-Programms genutzt werden, das die Datenmanagement-Plattform von IRI Voracity betreibt. Was wir heute häufiger sehen, ist die Kombination dieser […]
Read More
Verarbeitung von Tabellenkalkulationsdaten: Zusätzlich zu allen anderen strukturierten Datenquellen, die die IRI-Software bereits unterstützt, ist es jetzt möglich, Daten aus XLS- und XLSX-Dateien im SortCL-Programm zu lesen und zu verarbeiten! IRI CoSort, für schnelles Sortieren, Umwandeln und Berichten IRI NextForm, für Mapping, Migration und Replikation IRI RowGen, für die zufällige Auswahl oder Generierung von realistischen […]
Read More
Sicheres Database-Cloning mit umfangreicher Datenmaskierung! Das Sicherheitsprodukt IRI FieldShield maskiert sensible Daten in der geklonten Datenbank, bevor dann die Daten für die Entwicklung und Qualitätssicherung zur Verfügung stehen! Nachdem Sie eine Oracle-Datenbank geklont haben, können Sie die Commvault-Software mit unserer Datenmaskierung via Plug-In ausführen lassen. Die Commvault-Software ist bei unserem IRI FieldShield integriert. Die Anleitung […]
Read More
Was ist Data Franchising? Data Franchising ist ein 2003 von Richard Sherman von Athena Solutions geprägter Begriff, der sich auf die Aufbereitung oder Verpackung großer Datensätze in saubere, nutzbare Teile für die Entscheidungsfindung bezieht, insbesondere durch Business Intelligence (BI) und Analysesoftware. Zu den neueren Begriffen für die Aufbereitung von Daten für diese Zwecke gehören Data […]
Read More
Erstellung von Testdaten in einer CI/CD-Pipeline: Die Grundlage der DevOps-Automatisierung besteht darin, zu automatisieren, wo und wann man kann. Die Möglichkeit, IRI-Jobskriptausführungen, die Testdaten maskieren oder synthetisieren, in der CI/CD-Pipeline zu verarbeiten, unterstützt dieses Bestreben. Dieser Artikel veranschaulicht ein End-to-End-Beispiel für eine erfolgreiche Integration! In diesem Artikel wurde gezeigt, wie die Ausführung von IRI-Aufträgen zur […]
Read More
Herausforderungen: Auch nach der Beratung und dem Tuning können große Datenmengen (d.h. mehr als eine Million Zeilen) nur langsam transformiert werden, insbesondere ohne ein teures Hardware- oder Versions-Upgrade von DataStage. Große Datenengpässe sind große Sortierungen, Joins, Aggregationen, Ladungen und manchmal auch Entladungen. Die Parallelisierung oder Optimierung in anderen Ebenen oder Tools kann unhandlich, wenn nicht […]
Read More