Neue Horizonte für MapR MapR höchstbezahlten Bitcoin Wasserhahn 2018

Das 6.1-Release für die map-Datenplattform ist jetzt verfügbar. Da es sich bei dieser Veröffentlichung um eine Point-Release-Version handelt, könnten Sie denken, dass diese Version geringfügig ist, aber die Auswirkungen für die Benutzer von mapr sind immens. In der Tat wird ein Teil der Technologie, die mit der Version 6.0 in das Produkt gelangt ist, erst jetzt für den Einsatz freigegeben. In dieser Version gibt es neue Funktionen, und die bisherigen Funktionen wurden erheblich erweitert. Aber die wahre Geschichte ist nicht, was unsere Plattform kann, sondern was Sie damit machen können. Wir arbeiten intensiv daran, die bestmögliche Plattform für das Speichern, Verschieben und Analysieren von Daten bereitzustellen. Wir arbeiten mit unseren Kunden und Partnern zusammen, um die Zukunft der Daten aufzubauen.

Mit der Version 6.1 wird mapr die erste Plattform für alle Aufgaben, die für maschinelles Lernen / künstliche Intelligenz erforderlich sind, sowie für die beste Datenplattform zur Erweiterung des Kubernetes.


Wenn Sie eines dieser heißen Systeme verwenden, müssen Sie sich ansehen mapr oder riskieren, von Ihrer Konkurrenz übersprungen zu werden. Unsere 6.1-Version erleichtert den Zugriff auf in mapr gespeicherte Daten, indem nfsv4-Unterstützung bereitgestellt wird und der Zugriff über eine S3-kompatible API (zusätzlich zur vorhandenen Unterstützung für POSIX, nfsv3 und HDFS) ermöglicht wird. Dies bedeutet, dass noch mehr existierende Programme auf Daten zugreifen können, die in mapr gespeichert sind. Um die Speicherkosten, insbesondere im Maßstab, zu senken, können diese Daten nun transparent ausgemustert und gespeichert werden Löschcodierung oder in externen Objektspeichern, um die Speicherkosten zu senken, ohne irgendwelche Pfadnamen zu ändern. Kaufen Sie Bitcoin in Malaysia, so müssen sich Ihre Programme nicht ändern.

Die neue 6.1-Version führt auch einige wichtige Schritte aus, die den Aufbau sicherer Datensysteme, die jetzt Verschlüsselung im Ruhezustand ermöglichen, sowohl für Daten, die in mapr gespeichert sind, als auch für Daten, die im Tiered Storage gespeichert sind, erleichtern. Es ist jetzt möglich, ein System zu installieren, das ist "Sicher standardmäßig" von Anfang an mit einer Datenplattform und einem breiten Ökosystem von Open-Source-Software, die so vorkonfiguriert sind, dass Daten bei jedem Schritt geschützt werden können.

Es ist ein großer Weckruf für jeden, der gerade in maschinelles Lernen einsteigt, um herauszufinden, dass viel von dem Aufwand, den man in diese Systeme investiert, nichts mit maschinellem Lernen und allem, was mit dem Extrahieren von Features zu tun hat, zu tun hat wann, Daten verschieben hier, und Daten dorthin zu bewegen. Selbst wenn Sie ein Modell haben, ist es eine große Herausforderung, es zuverlässig in Produktion zu bringen. Die Nachricht hier ist, dass die Mapr Datenplattform, mehr denn je, durchschneidet diese Unordnung und macht alles so viel einfacher. Mit einer einzigen Plattform, die als Aufzeichnungssystem dienen kann, alle Arten von Werkzeugen zur Merkmalsextraktion unterstützt und das Training und die Bereitstellung von Modellen unterstützt, ist eine große Sache – und unterstützt sogar Modelle in der Produktion. Es ist einfach nicht gut genug, verschiedene Systeme für verschiedene Teile einer großen Modellentwicklungs-Datenpipeline zu haben. Kopieren von Daten von System zu System ist fehleranfällig und einfach eine Verschwendung von kostbarer Zeit, die auf Ihrem kritischen Weg ist.

Unter all diesen Schritten benötigen Sie eine solide Plattform und Sie benötigen eine Plattform, die über die gesamte Wertschöpfungskette hinweg funktioniert, von der Archivierung über die Analyse bis hin zum Live-Betrieb. Nehmen wir nur ein Beispiel, wie map beim maschinellen Lernen hilft, erfordert das Lernen im großen Maßstab oft, dass Trainingsdaten aus sehr großen historischen Aufzeichnungen extrahiert werden. Die Werkzeuge, die dabei am besten sind, sind Systeme wie Spark, die Daten aus S3 oder HDFS lesen. Bitcoin Nutzer eines Landes, die ein Modell ausbilden, müssen jedoch einen bestimmten Zweck erfüllen Maschinelles lernen Software, die am liebsten Daten mit Standard-Dateizugriffsmethoden liest und oft auf spezialisierten GPU-Maschinen laufen muss. Mit mapr, spark und GPU laufen Programme im selben Cluster und können auf dieselben Daten zugreifen. Sie können mit dem Umfang der Rohdaten und der Rohgeschwindigkeit der GPUs im selben System umgehen.

Viele maschinelle Lernsysteme laufen am besten in Containern, die von kubernetes verwaltet werden. In der Tat, Kubernetes ist ein Kandidat für die Software mit der schnellsten weit verbreiteten Annahme von Unternehmen in ziemlich langer Zeit. Kubernetes verwaltet jedoch nur die Berechnungsseite des Problems. Diese Berechnung wird von Programmen ausgeführt, die in Containern ausgeführt werden, und Container funktionieren am besten, wenn sie nicht durch Tonnen von Daten blockiert werden. Was Sie haben, ist etwas wie in der folgenden Abbildung, wo Anwendungen, die von kubernetes verwaltet werden, persistente Daten für die Kommunikation benötigen.

Nun, die Antwort ist eigentlich unglaublich einfach. Bitcoin to US Dollar Exchange Wir bauen eine Datenplattform, die alle Arten von Daten verwalten kann. Sie erhalten die ausgefeilte Mandantenfähigkeit und Leistung, die Sie benötigen, und mit einer konsistenten Datenplattform können Sie eine Datenstruktur erstellen, die von Kante zu Wolke über andere Cloud- bis hin zu lokalen Clustern reicht. Was Sie brauchen, ist ein System, das so aussieht:

Einer der Hauptgründe, warum Menschen sich für mapr entscheiden, ist, dass sie unglaublich hohe Leistung bietet. Kürzlich konnten wir den Datenzugriff auf einem kleinen GPU-Cluster mit 18 GB / s demonstrieren. Aber was passiert, wenn Daten älter werden und Sie nicht unbedingt maximale Leistung benötigen? Mit der Version 6.1 können Daten in einem MAPR-Cluster, die keine maximale Leistung benötigen, mit Löschcodierung gespeichert werden. Dies ermöglicht, dass die Datensicherheit, die durch die normale Verdreifachung von Daten bereitgestellt wird, mit ungefähr der Hälfte des Speichers erreicht wird. Die Speicherkosten können noch weiter reduziert werden, indem kalte Daten vollständig aus dem Cluster in ein Objektspeichersystem verschoben werden. Solche Systeme sind für niedrige Kosten optimiert, so dass Daten dorthin verlagert werden. Dieser Prozess des Verschiebens von Daten in kostengünstigere alternative Speicher mit geringerer Leistung wird als Objekt-Tiering bezeichnet. Die Leistung dieser kostengünstigeren Schichten kann viel niedriger sein als die eines MAPR-Systems. Wenn Daten jedoch in eine kostengünstige Stufe verschoben wurden, führt das Lesen der Daten dazu, dass die Daten abgerufen werden, was wiederum einen Zugriff mit hoher Leistung ermöglicht.

Beachten Sie, dass hier von einem vollständig transparenten Tiering gesprochen wird. Benutzer und Anwendungen, die auf Dateien zugreifen, müssen keine besonderen Maßnahmen ergreifen, um das Tiering zu nutzen. Dateien, Tabellen und Streams können sogar ganz oder teilweise mehrstufig sein, und sie sind auch nach dem Tiering vollständig les- und schreibbar. Erstaunlicherweise können Dateien, Tabellen und Streams auch nach dem Tiering auf schreibgeschützte Objektspeicher noch aktualisiert werden. Wie man eine anonyme Bitcoin-Brieftasche herstellt, ist ein gewaltiger Unterschied zum Beispiel beim Lösch-Kodieren in HDFS, wo die einzige Möglichkeit zum Umwandeln in eine Datei mit aktivierter Lösch-Kodierung ist und sogar die eingeschränkten Mutations-Operationen unterstützt durch HDFS gehen verloren, wenn Löschcodierung verwendet wird. Die Art und Weise, wie die map-Plattform die Entscheidungen über die detaillierte Speicherung von Daten von der Nutzung der Daten durch Anwendungen trennt, ist ein Beispiel für die Trennung von Belangen, die für die Effizienz der Teams so wichtig ist.

Das Objekt-Tiering ist nicht annähernd so einfach wie es auf einem Hochleistungssystem wie einem MAPP-Cluster erscheint. Insbesondere können Sie mehr Dateien auf einer einzelnen mapr-Installation speichern, als alle Amazon S3-Speicher bereits gespeichert haben (ab etwa 64 Billionen Objekte) 2018). Einige mapr-Benutzer speichern bereits Billionen von Objekten in einem einzigen Cluster. Darüber hinaus können einzelne Objekte in einem mpr-System viel größer sein als das maximale S3-Objekt, und es können (wörtlich) Milliarden oder Billionen kleinerer Objekte vorhanden sein, die auf S3 nur schwer zugänglich wären, wenn sie als einzelne Objekte gespeichert wären. Außerdem müssen alle Daten, die in S3 eingefügt werden, verschlüsselt werden. Das neue Objekt-Tiering in der 6.1-Version behandelt alle diese Probleme, und ausgewählte Kunden nutzen diese neue Funktion bereits, um eine bisher unmögliche Mischung aus Skalierbarkeit, Leistung und Kosten zu erzielen.

In Version 6.1 erhalten Sie mehr Optionen zum Verschlüsseln von Daten in Ruhe. Insbesondere hat jedes Mapr-Volume die Möglichkeit, in verschlüsselter Form auf der Festplatte gespeichert zu werden. Wie man Bitcoin für Bargeld in Indien verkauft, wichtig, der Schlüssel, der für das Verschlüsseln der Daten benutzt wird, wird häufig geändert, damit selbst wenn einige Schlüssel abgefangen werden, der Schaden sehr begrenzt sein wird. Wenn das System sehr aktiv ist, können Schlüssel tausende Male pro Sekunde geändert werden.

Ein großer Unterschied zwischen der Verschlüsselung auf Draht-Ebene und der Verschlüsselung in Ruhe besteht darin, dass Schlüssel für Daten in Bewegung nur beibehalten werden müssen, solange die Daten noch in Bewegung sind. Tasten für ruhende Daten müssen dagegen so lange verwaltet werden, wie die Daten noch gelesen werden können. Im Idealfall müssen Benutzer keine zusätzlichen Dienste einrichten, damit dies funktioniert.

Obwohl diese Anforderungen ziemlich einschüchternd klingen, erfüllt die map-Datenplattform diese und die Benutzererfahrung ist tatsächlich sehr einfach. Die Verschlüsselung auf Wire-Level wird automatisch aktiviert, wenn der "Sicher standardmäßig" Die Installation wird ausgewählt und die Verschlüsselung des Objekt-Tierings wird automatisch durchgeführt. Die Verschlüsselung von aktiven Ruhedaten kann bei der Erstellung von Volumes pro Volume aktiviert werden. In jedem Fall fällt es den Benutzern schwer zu sagen, dass die Verschlüsselung aktiviert ist. Aber warte, da ist mehr!

Diese kurze Zusammenfassung, wie die neue Version das maschinelle Lernen, AI und kubernetes besser als je zuvor unterstützt und wie Operationen und Sicherheit durch Object Tiering und Verschlüsselung verbessert werden, kratzt nur die Oberfläche dessen, was in der Version 6.1 neu ist. Es gibt auch Fortschritte bei Metriken (Perzentillatenzen pro Tabelle, Audits und Metriken als Streams und mehr), einfache Entwicklung (einfache Clients für DB mit einfacher pip- und npm-Installation, End-to-End-Beispielanwendungen, Change-Data-Capture als leicht analysierbarer JSON-Stream, sekundäre Indizes für komplexe Objekte), leichterer Zugriff für Dateien (nfsv4, S3 usw.), aktualisiertes Ökosystem (KSQL-Unterstützung, Kafka-API-Aktualisierungen) und mehr.