
我觉得不要把自己局限到某一个大数据组件上,这些组件在一些分布式处理的理念上,都是相通的,要把自己定位在了解各个组件的优缺点,灵活选用的程度。
作为ETL工程师,要提升自己的抽象能力,把一些人工处理的工作,尽量自动化和框架化。不要停留在ETL本身,往前溯,解决数据源的问题,往后溯,建设更好的数据模型,满足数据分析和挖掘的需求。不要把自己局限到写脚本跑数据。
对于职业规划,我觉得一个角度是做好数据流的管理,就是从数据内容建设上,这其实价值很大。另一个角度就是从研发的角度,让自己有能力胜任模块组件的研发。都是很好的路。
切忌原地转圈圈,围绕数据处理上当前所面临的问题去思考,问题驱动。成为一名大数据专家,是持续积累的结果,不要急于求成。
