1.内存优化
* ]3 L& U* _9 Q8 E* Z9 _/ d, o e2小文件过多问题8 X+ E& [* v1 M6 U& D! d/ s8 p3 ^
3.spark sql合理利用cpu资源
( H- K* F6 ~2 Y4.spark sql广播join- Q4 k& T& d3 a2 a# q* v& c
5.提高并行度解决数据倾斜错误演示
; K9 C' B5 |. {. J& V$ O6.解决数据倾斜打散大表扩容小表
' n, ~$ G ]! w) F' G$ }- h' y5 l7.大表join大表优化SMBJoin# L% @" i) F+ K! J9 ~ Z D. q
8.使用堆外内存
3 d9 F2 \9 x/ J9.spark 3.0AQE动态缩小分区1 A, _( b% _( d- {: ^! D- z
10.spark 3.0AQE动态选择join策略0 a" I# \" Z: Y$ I/ Y( q; b
11 spark3.0AQE动态优化倾斜join4 y& B" z/ f: B0 j8 d
12 sparak3.0 dpp动态分区修剪% R1 g+ a3 S; f E$ E0 r* i6 f
/ J; e' E' q9 _! }3 H# I
本站精挑细选，只分享优质精品资源，已泛滥、已过时、质量差的资源不录入！
3 e& G6 }! k% w: e
1 r. A3 p _8 e3 `" |
9 E$ A, M& [: e( q' o% J: u
2 I% t# Y$ _6 W& n/ G
5 u$ y; R/ [# S2 K' t! T
|
/1 
