客户提问:
Spark中Work的主要工作是什么?
凯铧互联客服回复:
Worker是一个基于AKKA Actor 的Actor模型,和Master,Driver进行通信的时候都是通过在receiver方法中进行样例类的时间匹配,支持Worker同时实现了ActorLogReceive的trait,ActorLogReceive里面复写receive方法,对子类暴露出receiveWithLogging方法,worker只需要复写这个方法就可以了。
Work的主要工作是管理当前节点内存,CPU的使用状况,接收master分配过来的资源指令,通过ExecutorRunner启动程序分配任务,worker就类似于包工头,管理分配新进程,做计算的服务,相当于process服务。需要注意的是:
1)worker会不会汇报当前信息给master,worker心跳给master主要只有workid,它不会发送资源信息以心跳的方式给mater,master分配的时候就知道work,只有出现故障的时候才会发送资源。
2)worker不会运行代码,具体运行的是Executor是可以运行具体appliaction写的业务逻辑代码,操作代码的节点,它不会运行程序的代码的。
本文适用于
Spark中Work的主要工作是什么?
不了解Spark?让凯铧互联专业的工程师帮您。我们提供免费的技术咨询,方案建议,让您的企业上云变得更容易,更有效,更安全!
看完上述说明如果您还有疑问,或者是需要咨询阿里云产品相关折扣、优惠或者是技术问题,请加下面的微信!我们是阿里云/腾讯云/华为云代理商联系我更有折上折优惠,新老用户均有!微信(电话):158-0160-3153。
为什么选择凯铧互联:北京凯铧互联科技有限公司(简称凯铧互联)由多名前阿里云资深技术专家创立,核心员工来自阿里巴巴、腾讯服务器运维团队,公司90%成员均是超过10年具备专业运维经验的精英。作为阿里云,腾讯云,百度云,金山云,华为云重要的合作伙伴,专业从事互联网应用服务、云计算、大数据、人工智能、企业信息化建设,为企业用户提供基于大数据的企业上云解决方案。公司总部设在北京,并在内蒙设有办事处,服务全国各地企业,与互联网专业公司及主流服务商建立了良好合作关系。公司官网:www.bjkaihua.com; 腾讯云网站www.bjkaihua.net.cn; 阿里云业务网站:www.alibjyun.com。
目前像阿里云、腾讯云、华为云之类的云计算厂家后期续费,复购,升级是很贵的。而且推出的很多活动都是要求新用户购买的。推荐大家从节省成本考虑,尽量买的配置高一点的云服务器,时长尽量选3年。你现在选择高配,选择3年的差价比不过到时候续费、升级、复购时一半的费用。
为什么现在很多老用户都在想尽办法想买新用户活动下的云服务器,因为当他们业务起来了,环境熟悉了,想升级配置,想扩容业务,想续费云服务器结果发现再也买不到这么便宜的云服务器了。免费的才是最贵的就是这个道理。