Language: English | Duration: 19 Lectures ( 5h 35m ) | Size: 2.64 GB Last updated: 9/2025

Želite li da savladate Databricks na Google Cloud platformi kroz praktičan projekat iz stvarnog sveta? Ovaj kurs je dizajniran da vam pruži praktično iskustvo sa jednom od najtraženijih veština u inženjeringu podataka: izgradnjom skalabilnih data pipeline-ova koristeći Databricks, PySpark i Medallion arhitekturu.

Databricks on Google Cloud
Databricks on Google Cloud

U ovom projektu preuzimate ulogu državne saobraćajne agencije koja analizira podatke o drumskom saobraćaju. Naučićete kako da upravljate skupovima podataka o infrastrukturi, procesirate podatke sa senzora i generišete uvide kao što su najprometniji regioni, trendovi usvajanja električnih vozila (EV) i godišnji obrasci saobraćaja.

Počećemo od postavljanja Databricks-a na GCP-u, kreiranja skladišnih kontejnera (buckets), eksternih lokacija i Unity Catalog-a, a zatim ćemo se korak po korak kretati kroz Bronze, Silver i Gold slojeve koristeći Auto Loader i Structured Streaming.

Šta ćete naučiti:

  • Set up Databricks on Google Cloud (GCP), uključujući workspace, Unity Catalog, klastere i GCS integraciju.
  • Implementirati Medallion arhitekturu (Bronze, Silver, Gold slojeve) koristeći PySpark i Databricks Auto Loader za strukturirani striming.
  • Izgraditi end-to-end ETL pipeline-ove koji učitavaju sirove podatke, vrše transformacije i generišu poslovno spremne "Gold" tabele za analitiku.
  • Automatizovati radne tokove i orkestrirati pipeline-ove u Databricks-u pomoću parametrizovanih poslova i okidača na dolazak datoteka.
  • Integrisati GitHub sa Databricks-om i upravljati promocijom koda kroz Dev, UAT i PRD okruženja koristeći Pull Requests.
  • Analizirati realne podatke o drumskom saobraćaju radi donošenja odluka (najprometniji regioni, EV trendovi, godišnji obim saobraćaja).

Zahtevi:

  • Osnovno poznavanje SQL-a, PySpark-a i koncepata baze podataka.
  • Entuzijazam za učenje kroz rad na realnom projektu - nije potrebno prethodno iskustvo sa Databricks-om.

Kome je ovaj kurs namenjen:

  • Aspiring Data Engineers koji žele da steknu praktično, hands-on iskustvo za prolazak na intervjuima.
  • Cloud profesionalcima (GCP/Azure/AWS) koji žele da prošire svoje veštine na Databricks i Medallion arhitekturu.
  • Studentima i početnicima u Data Engineering-u koji žele kompletan, praktičan projekat za svoj portfolio.

MEGA

MEDIAFIRE