Was kostet Unsplash 2019?

Vor 3 Jahren schrieben wir "Was kostet Unsplash?", Um einen völlig transparenten Überblick über die Rechnungen zu geben, die mit dem Hosting einer der größten Fotostandorte der Welt verbunden sind.

Seitdem ist Unsplash enorm gewachsen und ermöglicht nun mehr Bildnutzung als die großen etablierten Bildmedienunternehmen Shutterstock, Getty und Adobe zusammen.

Mit der öffentlichen API von Unsplash können wir über 1000 Mainstream-Anwendungen unterstützen, darunter Medium, Trello, Squarespace, Tencent, Naver, Square, Adobe und Dropbox.

All dieses Wachstum bedeutet zwei Dinge: mehr Verkehr und höhere Rechnungen.

Im Interesse der Transparenz hielten Chris und ich ein Update für überfällig.

Es ist 2019. Was kostet es, Unsplash zu hosten?

Dann

Im Jahr 2016 hatte Unsplash nur 1 Milliarde Bilder angesehen und 5,5 Millionen Fotos pro Monat heruntergeladen.

Unser Team war kleiner und unser Produkt viel weniger entwickelt, was zu weniger Service und weniger interner Verarbeitung führte. Wir hatten eine Hauptanwendung, einen traditionellen Rails-Monolithen, der eine Handvoll Services verbrauchte, um das grundlegende Unsplash-Erlebnis zu schaffen.

Schwerwiegende Funktionen wie Such- und Echtzeit-Fotostatistiken steckten noch in den Kinderschuhen. Dies führte zu wesentlich einfacheren Datenverarbeitungsanforderungen und der Nutzung von Diensten von Drittanbietern wie Keen und einer Handvoll CRON-Jobs.

Die letzte monatliche Aufteilung für April 2016 war:

  • Webserver: 2.731,23 USD
  • Überwachung: 630,00 $
  • Datenverarbeitung: 1.000,00 USD
  • Bild-Bewirtung: $ 11,170.00
  • Sonstiges: 2.127,39 USD

Gesamt (USD): 17.658,62 USD

Jetzt

Es hat sich vieles verändert.

Zum einen ist Unsplash um einiges größer. 10+ mal größer. Mittlerweile erhalten wir von unseren API-Partnern mehr Zugriffe als von unserer eigenen Website und unseren offiziellen Apps, obwohl diese deutlich zunehmen.

Die Partnerschaft mit einigen der weltweit größten Anwendungen für Endverbraucher hat unser Entwicklungsteam dazu veranlasst, ihre Verfahren in Bezug auf Redundanz, Überwachung und Verfügbarkeit aufeinander abzustimmen, was mehr unterstützende Ressourcen und Dienste erfordert.

Unser Produktteam hat den Rahmen für Kernfunktionen wie Such- und Beitragsstatistiken immer weiter erweitert, sodass immer mehr Daten in immer größerem Umfang verarbeitet werden müssen.

All diese Faktoren haben dazu geführt, dass unsere Architektur komplexer geworden ist und gleichzeitig die Basiskosten gestiegen sind.

Webserver

Monatliche Gesamtkosten: 29.763 USD

Wir verwenden Heroku weiterhin als unsere Hauptwebplattform. Trotz der höheren Kosten für AWS, Azure und Google Cloud ermöglichen die integrierten Bereitstellungs- und Konfigurationstools von Heroku unserem Team, schneller, sicherer und zuverlässiger voranzukommen.

Wie wir bereits ausführlich beschrieben haben, wären die Alternativen auf dem Papier zweifellos billiger. In Wirklichkeit ist die größere Einfachheit und Freiheit, die Heroku für ein kleines, produktorientiertes Team bietet, ein großer Kosteneinsparungsvorteil.

Zusätzlich zu unseren wichtigsten Webservern und Datenbanken, die Heroku verwenden, verwenden wir Fastly für das verteilte CDN-Caching, Elastic Cloud für unsere Elasticsearch-Cluster und Stream für unsere Feed- und Benachrichtigungsarchitektur.

Aufschlüsselung der Webserver-Kosten für Februar 2019

Überwachung

Monatliche Gesamtkosten: 7.679 USD

Unser Team ist für Unsplashs Größe klein. Unser gesamtes Produktteam besteht aus nur 11 Mitarbeitern.

Da niemand speziell für Entwickler zuständig ist, erfordert die Sicherstellung, dass Unsplash reibungslos funktioniert und niemals ausfällt, eine Menge Instrumentierung und Berichterstellung.

Trotz der Menge an Metriken, die wir überwachen und über die wir berichten, bleiben New Relic, Sentry und Datadog relativ kostengünstige Lösungen. Unsere Protokollierung ist sicherlich unser größter Überwachungsaufwand, aber die detaillierten Informationen sind entscheidend für das Debuggen von Problemen oder die Einführung neuer Funktionen.

Datenverarbeitung

Monatliche Gesamtkosten: 15.223 USD

Die Datenverarbeitung war der Bereich mit dem größten relativen Anstieg seit 2016. Damals waren Analysen und Daten ein nachträglicher Bestandteil unseres Entwicklungsprozesses. Wir haben uns auf Tools wie Google Analytics für Benutzeranalysen und Keen für Produktmetriken wie Fotoansichten und Downloads verlassen.

Seitdem mussten wir unsere Datenerfassung, -aggregation und -berichterstattung sowohl aus Produkt- als auch aus Unternehmenssicht erheblich erweitern. Mit dem Wachstum von Unsplash hat sich auch das Volumen beträchtlich erhöht. Täglich werden Hunderte Millionen Ereignisse aufgezeichnet.

Wir haben Google Analytics und Keen durch die Open-Source-Datenpipeline Snowplow Analytics ersetzt. Snowplow kümmert sich um die Datenerfassung und -formatierung, sodass sich Tim, unser Dateningenieur, auf die Datenaggregation, -modellierung und -visualisierung konzentrieren kann.

Wir haben auch die Rolle der Datenarchitektur in dem Produkt erweitert, um all unser maschinelles Lernen und die Suchverarbeitung abzuwickeln. Wir gehen davon aus, dass dies auch in Zukunft der größte Expansionsbereich sein wird.

Aufschlüsselung der Datenverarbeitungskosten für Februar 2019

Image-Hosting

Monatliche Gesamtkosten: 42.408 USD

Imgix ist unsere größte Ausgabe, aber wir lieben es. Ja, es gibt billigere Optionen, aber vertrauen Sie uns, wenn wir sagen, dass sie nicht so gut für das sind, was wir tun.

Wir senden Petabytes an Daten über das CDN von Imgix und rendern jeden Monat mehr als 250 Millionen Variationen unserer Quellbilder. Ihre Zuverlässigkeit, Leistung und Flexibilität sind unübertroffen, und die Aushandlung unseres Vertrags über sie ermöglicht es uns, unsere CDN-Kosten aufgrund ihrer Massenverhandlungen mit CDN-Anbietern zu reduzieren.

Aufschlüsselung der Image-Hosting-Kosten für Februar 2019 (sehr nützlich, ich weiß)

Die endgültige monatliche Aufschlüsselung für Februar 2019 war:

  • Webserver: 29.763 US-Dollar
  • Überwachung: 7.679 $
  • Datenverarbeitung: 15.223 USD
  • Bild-Bewirtung: $ 42,408
  • Sonstiges: 3.580 USD

Gesamt (USD): 98.653 USD

Gesamtkosten für das Hosting nach Kategorie in den letzten 18 Monaten

Im Laufe der Jahre zeigen sich einige Trends.

Trotz des über 12-fachen Wachstums der Top-Line-Metriken und der deutlichen Erweiterung der Systeme um mehr Funktionen, Zuverlässigkeit und Redundanzen haben sich die Hosting-Kosten insgesamt nur verfünffacht.

Downloads vs Hosting-Kosten seit April 2016

Dafür gibt es einige Gründe:

  1. Wenn sich Systeme einer bestimmten Kostenschwelle nähern, wird es optimaler, das Ingenieurgehalt für technische Optimierungen zu handeln. Wir versuchen, dies zu vermeiden, da technische Ressourcen aus der Entwicklung benutzerbezogener Features entfernt werden. Im Laufe der Jahre haben wir jedoch signifikante Verbesserungen an Caches auf niedriger Ebene, Massendatenaggregationen und HTTP-Caching vorgenommen.
  2. Bei immer größeren Mengen wird es einfacher, Mengenrabatte für Dienstleistungen auszuhandeln.
  3. Ressourcen können bei hoher Kapazität besser genutzt werden. Dies gilt insbesondere für unsere Cluster Redis und Redshift.

Gleichzeitig nimmt das Verhältnis zwischen unseren Hosting-Kosten und der von uns verwendeten Nicht-Hosting-Software wie Github, Looker und Slack weiter zu, da dies von der Größe des Engineering-Teams abhängt. Um das in die richtige Perspektive zu rücken, unterstützt Unsplash pro Techniker zum entsprechenden Zeitpunkt mehr Benutzer als Facebook.

Hosting vs Software-Kosten für die letzten 18 Monate

Wir hoffen, dass ein Blick hinter die Kulissen zeigt, wie viel es kostet, eine Website wie Unsplash zu betreiben, um Sie bei Ihrem eigenen Geschäft zu unterstützen oder Ihnen zumindest ein besseres Verständnis dafür zu vermitteln, worum es geht.

Wenn Sie in der Lage sind, die Kosten Ihres Unternehmens zu teilen, würden wir gerne sehen.

Wenn Sie Fragen haben oder näher auf dieses Thema eingehen möchten, rufen Sie uns auf Twitter unter @lukechesser & @chrisliverani an. Wenn Sie dies gern gelesen haben, möchten Sie vielleicht erfahren, wie wir Unsplash mit einem kleinen Team skaliert haben.