Databricks führt Databricks Model Serving ein, um ein vereinfachtes Maschine Learning (ML) in der Produktion zu ermöglichen und nativ in die Databricks Lakehouse-Plattform zu integrieren. Mit Model Serving entfällt die Komplexität des Aufbaus und der Wartung einer maßgeschneiderten Infrastruktur für intelligente Anwendungen.
Dieser einheitliche, datenzentrierte Ansatz für ML bietet hohe Verfügbarkeit und niedrige Latenzzeiten sowie eine automatische Konfiguration und Wartung der Infrastruktur. Eine tiefgreifende Integration in die Lakehouse-Plattform sorgt für automatische Datenabgleiche, Governance und Überwachung während des gesamten Lebenszyklus von Daten und Modellen, vom Experimentieren über das Training bis zur Produktion.
Angesichts der Möglichkeiten, die sich im Zusammenhang mit generativer künstlicher Intelligenz bieten, sehen sich Unternehmen veranlasst, KI-Investitionen auf breiter Front zu priorisieren. Die Nutzung von KI/ML ermöglicht es Unternehmen, Erkenntnisse aus ihren Daten zu gewinnen, genaue und sofortige Vorhersagen zu treffen, die einen geschäftlichen Nutzen bringen, und neue KI-gestützte Erfahrungen für Kunden zu schaffen.
So kann eine Bank mithilfe von KI beispielsweise betrügerische Abbuchungen vom Konto eines Kunden schnell erkennen und bekämpfen, oder ein Einzelhändler kann auf der Grundlage der von einem Kunden gekauften Kleidungsstücke sofort perfekt ergänzende Accessoires vorschlagen. Die meisten dieser Erfahrungen sind in Echtzeitanwendungen integriert. Die Implementierung dieser Echtzeit-ML-Systeme stellt jedoch für viele Unternehmen eine Herausforderung dar, da ML-Experten eine Infrastruktur entwickeln und warten müssen, die dynamisch an die Nachfrage angepasst werden kann.
„Databricks Model Serving beschleunigt den Weg von Data-Science-Teams in die Produktion, indem er Implementierungen vereinfacht, den Overhead reduziert und eine vollständig integrierte Erfahrung direkt im Databricks Lakehouse bietet“, sagt Patrick Wendell, Mitbegründer und VP of Engineering bei Databricks. „Die Erweiterung unseres Serverless-Angebots um Echtzeit-ML wird es unseren Kunden ermöglichen, mit ihren Lakehouse-Daten noch mehr Werte zu schaffen und die Betriebskosten zu senken.“
Databricks Model Serving beseitigt die Komplexität des Aufbaus und Betriebs dieser Systeme und bietet native Integrationen im gesamten Lakehouse, einschließlich Databricks' Unity Catalog, Feature Store und MLflow. Die Lösung bietet einen hochverfügbaren Service mit geringer Latenz für Model Serving und gibt Unternehmen die Möglichkeit, ML-Vorhersagen einfach in ihre Produktionsabläufe zu integrieren. Vollständig von Databricks verwaltet, skaliert Model Serving schnell von Null auf und wieder zurück, wenn sich die Nachfrage ändert, was die Betriebskosten senkt und sicherstellt, dass Kunden nur für die genutzte Rechenleistung zahlen.
„Als weltweit führendes Haushaltsgeräteunternehmen ist Electrolux bestrebt, seinen Kunden die besten Erfahrungen zu bieten - wir verkaufen jedes Jahr etwa 60 Millionen Haushaltsprodukte in rund 120 Märkten. Der Wechsel zu Databricks Model Serving hat unsere Ambitionen unterstützt und es uns ermöglicht, schnell zu agieren: Wir haben unsere Inferenzlatenz um das 10-fache reduziert, was uns hilft, relevante und genaue Vorhersagen noch schneller zu liefern“, sagt Daniel Edsgard, Head of Data Science bei Electrolux.
„Indem wir Model Serving auf derselben Plattform betreiben, auf der auch unsere Daten liegen und auf der wir unsere Modelle trainieren, konnten wir die Bereitstellung beschleunigen und den Wartungsaufwand reduzieren, was uns letztendlich dabei hilft, unseren Kunden zu helfen und ein angenehmeres und nachhaltigeres Leben auf der ganzen Welt zu fördern.“
Databricks beschleunigt die Bereitstellung von ML-Modellen, indem es einen datenzentrierten Ansatz für maschinelles Lernen mit nativen Integrationen im Lakehouse bietet. Kunden können nun den gesamten ML-Prozess, von der Datenvorbereitung und dem Feature-Engineering bis hin zu Training, Bereitstellung und Überwachung, auf einer einzigen Plattform verwalten.
Databricks' Lakehouse schafft eine konsistente Sicht über den gesamten Daten- und ML-Lebenszyklus, die Fehler minimiert und die Fehlersuche beschleunigt, ohne dass unterschiedliche Dienste zusammengefügt werden müssen. Databricks Model Serving lässt sich in verschiedene Lakehouse-Services integrieren, darunter:
- Feature Store: Bietet automatische Online-Lookups zur Vermeidung von Online/Offline-Verzerrungen. Definieren Sie Features einmal während des Modelltrainings, und Databricks wird die relevanten Features in Zukunft automatisch abrufen und verbinden.
- MLflow Integration: Nativer Anschluss an MLflow Model Registry, was eine schnelle und einfache Bereitstellung von Modellen ermöglicht - Sie stellen uns einfach das Modell zur Verfügung, und wir bereiten automatisch einen produktionsbereiten Container vor und stellen ihn auf Serverless Compute bereit.
- Unified Governance: Verwalten und steuern Sie mit Unity Catalog alle Daten und ML-Assets, einschließlich derer, die vom Model Serving verbraucht und erzeugt werden.
Databricks ist bestrebt, die Innovation mit seiner Lakehouse-Plattform voranzutreiben und weitere Funktionen bereitzustellen, die leistungsstarkes maschinelles Lernen in Echtzeit für jedes Unternehmen zugänglich machen. Dazu gehören neue Qualitäts- und Diagnosefunktionen, die in Kürze für Databricks Model Serving verfügbar sein werden.
Diese werden automatisch Anfragen und Antworten in einer Delta-Tabelle erfassen, um Modelle zu überwachen und zu debuggen und Trainingsdatensätze zu generieren. Databricks ermöglicht auch die Unterstützung von GPU-basierter Inferenz, die in der Vorschau verfügbar ist.