Migrace databáze pomocí Apache Spark

hlasů
0

Musím provést migraci z jednoho abstraktního databáze do druhé (umožňuje například říci, ze Oracle Cassandra) a chceme použít Apache Spark Streaming za to. Není to jednoduchá mapování typů jednoho db do druhého, ale také zahrnuje komplexní transformace a validace. Typickým případem je zkontrolovat před platností / transformaci nějaký stav našich dat v DDD prostřednictvím hledal nějaké vztahy této hodnoty s hodnotami v celku (možná i jinou) datovém souboru (například případy, kdy náš hodnotový z DDD je používán v nějaké jiné stůl a chceme zkontrolovat a provést některé akce, při každém výskytu výskytu).

Takže máme možnost použít Apache vznítí se, kde byl sdílen RDD k vyřešení tohoto problému. A když budeme přijímat taková data, která budou potřebovat externí kontrola je korelace s ostatními daty z celého rozsahu migračního pak budeme prostě jít ke vznícení (který bude použit jako temprorary úložiště pro takové případy), zkontrolujte, zda korelace a provádět všechny je nutný akce s naší hodnotou.

Takže nemá koho má takové zkušenosti a co typické problémy, budeme možná setkat. Je dobrým zvykem používat takovou architekturu, nebo může být to lze provést účinnější a lepší design v Spark?

Položena 18/12/2017 v 09:42
uživatelem
V jiných jazycích...                            

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more