中国IC设计十大排名的都有哪些企业？海思第一当之无愧
2017年中国IC设计业产值预估为达人民币2006亿元，年增率为22%，预估2018年产值有望突破人民币2400亿元，维持约20%的年增速。
观察2017年中国IC设计产业发展，集邦咨询半导体分析师张琛琛指出，厂商技术发展仅限于低端产品的状况已逐步改善，的高端手机应用处理芯片已率先采用10nm先进制程，、中兴微的NB-、、地平线的布局也已在国际崭露头角，展锐、大唐、海思的部署也顺利进行中。从营收表现上来看，不少厂商营收成长皆超过两位数。
根据集邦咨询预估的2017年IC设计产业产值与厂商营收排名，今年前十大IC设计厂商排名相较于2016年的状况略有调整，大唐半导体设计将无缘前十，和韦尔半导体凭借优异的营收表现进入营收排行前十名。
从个别IC设计公司2017年营收表现来看，海思受惠于母公司手机出货的强势增长，以及麒麟芯片搭载率的提升，2017年营收维持25%以上的年增率；排名第二的展锐受制于中低端手机市场的激烈竞争，今年业绩出现回调状况；以通讯IC设计为基础的中兴微电子，受到产品覆盖领域广泛的带动，今年表现不俗，预估营收成长逾30%。
此外，华大半导体在集团资源支持下，业务涉及智能卡及安全芯片、模拟电路、新型显示等多领域，2017年营收也将首次突破人民币50亿元大关；汇顶科技则在智能手机指纹识别芯片搭载率的持续提升，以及本身产品性能的优异表现带动下，在指纹市场业绩直逼市场龙头FPC，预估今年营收成长也将超过25%。首次进入营收排行前十名的兆易创新凭借其在NOR Flash和32bit MCU上的出色市场表现，2017年营收成长率有望突破40%，超越人民币20亿元大关。
展望2018年，中国IC设计产业在提升自给率、政策支持、规格升级与创新应用三大要素的驱动下，将保持高速成长态势，其中，中低端产品在中国本土市场占有率持续提升，国产化的趋势将越加明显。另一方面，国家及地方政府将持续扩大资金与政策支持力道，第二期大基金正在募集中，且会加大对IC设计产业的投资占比，同时选择一些创新的应用终端企业进行投资。此外，科技的发展也引领终端产品规格升级，物联网、AI、汽车电子等创新应用对IC产品的需求不断扩大，也将为2018年IC设计产业带来成长新动力。
关注电子发烧友微信
有趣有料的资讯及技术干货
下载发烧友APP
打造属于您的人脉电子圈
关注发烧友课堂
锁定最新课程活动及技术直播
Linux服务器的性价比有多高？举例来说，某集成电路设计中心机房的IC设计服务器是2004年采购，采...
逆向设计非常适合模拟芯片设计，如ADC、DAC、锁相环等模拟电路，因为模拟电路的设计往往靠经验。此外...
ICinsights周五公布，2017年无厂半导体公司占全球IC销售金额比重来到27%，较十年前增加...
1.解禁集成电路出口！中美贸易谈判中方要求曝光； 2.图正科技如何推动指纹技术“二次变革”？ 3.中...
Altium研发团队很高兴地向您宣布Texas Instruments电源管理器和音频的最新更新。现...
IC 设计业与晶圆代工业受投资门槛和市场需求等多方面影响，产业结构调整步伐加速，IC设计业与晶圆代工...
晶圆制造环节之后是晶圆加工，晶圆加工指在晶圆上制作逻辑电路的过程，主要包括在硅片上进行镀膜、光刻、刻...
如果以2000年国务院印发《鼓励软件产业和 集成电路 产业发展的若干政策》为标志，中国集成电路产业进...
EDA（电子设计自动化）工具对于IC设计领域而言，由于可以利用计算机软件工具将复杂的电子产品设计过程...
一周前，4月16 日，美国商务部下令禁止美国公司向中兴出售元器件等产品，为期7年。消息一出，舆论哗然...
创维在北京发布了其新一代“GLED 8200系列”4K超高清智能电视。该产品除采用4色4K＋技术具有...
IC设计，Integrated Circuit Design，或称为集成电路设计，是电子工程学和计算...
本文首先介绍了ic设计行业发展现状及工程师工作的内容，其次介绍了IC设计工程师就业前景及发展方向的探...
IC设计工程师是一个从事IC开发，集成电路开发设计的职业。随着中国IC设计产业渐入佳境，越来越多的工...
合并后的紫光展锐与英特尔合作干了不少大事，成为展会中最吸睛的中国企业之一。紫光展锐不仅是中国芯片设计...
2017年中国IC设计企业数量为1380家，全球占比为14.5%，但在张琛琛看来，这个数量略多了一点...
瑞芯微电子有限公司（Fuzhou Rockchips Electronics CO.， Ltd）是国...
本文首先介绍了ic设计的方法，其次介绍了IC设计前段设计的主要流程及工具，最后介绍了IC设计后端设计...
海思半导体有限公司成立于2004年10月，前身是创建于1991年的华为集成电路设计中心。公司总部位于...
中芯国际首个与地方引导基金及区域政府合作的产业基金——中芯海河赛达产业投资基金已在天津市正式设立。该...
周末，我们一群同学聚会，虽然大家都是XX大学电子工程专业毕业的学生，可屈指一数，毕业几年了，现在仍然...
芯片正向设计与反向设计。目前国际上的几个大的设计公司都是以正向设计为主，反向设计只是用于检查别家公司...
士兰微电子凭借持续的技术创新及积累荣获此次典礼的压轴奖项——2018年度中国IC设计成就奖之“十大中...
AndeStar V5为晶心第五代指令集架构，支持64位处理器以及广为业界关注的RISC-V指令集架...
在30多年的半导体制造历史上，最大的一个挑战就是跟上1965年摩尔做出的预测，即集成电路中的晶体管数...
IC就是半导体元件产品的统称，IC按功能可分为：数字IC、模拟IC、微波IC及其他IC。数字IC就是...
澜起科技全称澜起科技集团有限公司，旗下拥有四家子公司和一家分公司，包括澜起科技（上海）有限公司、上海...
DM816X系列自2010年推出后，整体架构仅略做优化，3年后其芯片处理能力仍领先于其它厂家的芯片处...
来自可靠的渠道称，华为海思已和一家知名手机ODM，签了两款麒麟芯片授权，为华为及其他厂商设计制造手机...
中国集成电路的进口额是石油进口额的两倍，这一关系国家信息安全的命脉产业形势严峻。显然，这不是世界第二...
CSIA发布国内集成电路产业最新榜单。据统计，去年中国集成电路产业总营收达4335.5亿元，同比增长...
上海市经信委日前公布2017年全市集成电路产业整体销售规模接近1200亿元，同比增长超过12%。同时...
全球手机芯片产业被高通等几家企业牢牢掌控。在中国手机厂商中，能够自研芯片并且基本满足自身需求的只有少...
2017年全球前十大Fabless排名：海思第七、紫光第十知名调研机构IC Insights近日发布...
天线效应或电浆导致闸氧损害是指在MOS晶片制程中，可能发生潜在影响产品良率与可靠性的效应。目前，微影...
华为海思目前正在研发SSD控制芯片，同时利用中芯的0.18微米工艺生产电源管理芯片。据报道，中芯国际...
华为于6月24日晚正式发布荣耀6新机，该机采用最新海思麒麟920八核处理器，支持LTE Cat 6，...
中国半导体产业保持高速增长的状态，据悉2017年IC设计业营收达到2006亿元人民币。今年将继续增长...
对于许多现有的和未来的集成芯片器件来说，一项主要挑战就是如何为庞大数量的设计创建测试图案。对于有百万...
在人工分解流程，设计工程师手动绘制两张光罩层。分解的精确性是通过传统的设计规则检查（DRC）工具进行...
据报道，台积电7 纳米工艺已经获得50 多家客户的订单，比特大陆也也是台积电重大大陆客户。此外，海思...
日，由IC咖啡主办的ICTechSummit2018在上海长荣桂冠酒店盛大开幕，I...
AIoT将会是未来IT产业的重要商机，台湾业者过去在终端设备的优势，将会延伸到此一领域，不过在资源有...
在过去的2017年Q3全球智能机SoC市场报告中，高通营收增至42%稳占龙头，苹果市占率则来到20%...
2017年即将结束，最近全球手机处理器市场也得出了最后的总结，报告显示高通占比再创新高，中国手机芯片...
海思HI3515开发板的按键中断程序分享，hi3515的核心芯片与网上例子较多的s3c之类的有一些区...
随着人工智能算法的日益发展，人工智能ASIC芯片的重要性将越发凸显。比特大陆在IC设计领域就是突然出...
　现阶段芯片设计日趋复杂，在一颗复杂的芯片上，往往有数百个IP存在，然而一颗IP的形成需经过多次修改...
尽管多数IC设计业内人士看衰第4季传统淡季的芯片出货及营收表现，但是目前上游晶圆代工厂、硅晶圆厂产能...
集成电路产业的重要性已被越来越多人们所认知。为了推进集成电路产业的发展，国务院发布《国家集成电路产业...
区域分布方面，长三角、珠三角、京津环渤海依然是国内前三大IC设计产业聚集区。预计2017年珠三角地区...
今天，在北京举办的中国集成电路设计业2017年会暨北京集成电路产业创新发展高峰论坛上，魏少军教授发表...
在IC版图设计中除了要体现电路的逻辑或功能确保LVS验证正确外，还要增加一些与LVS（电路匹配）无关...
IC工程师为何无休止加班?▼我们先来看看一副很形象的漫画：▼（改编自：数盟）以上图片也太长了，小编有...
卢超群表示，但不可否认的，大陆在半导体产业的努力确实产生质变，台湾年轻人现在拿不到太多资源，同时银行...
点评：携手海思,长虹推动物联网芯片应用与技术升级 1．物联网是集传感、通信、网络、计算、控制技术为一...
8月23日电，长虹与华为全资控股子公司深圳市海思半导体有限公司（以下简称海思）在中国科技城绵阳签署了...
据媒体最新消息，华为旗下海思公司的麒麟970处理器，已经由台积电公司正式投产，而且华为也成为台积电排...
中国上海，日 – 楷登电子（美国Cadence公司，NASDAQ： CDNS）宣布...
EDA工具层出不穷，目前进入我国并具有广泛影响的EDA软件有：EWB、PSPICE、OrCAD、PC...
不过在物联网边缘装置方面，许多情况下却是由效能较差的传感器来搜集数据，再传送这些资料至云端供进行分析...
中国移动于日发布了《中国移动终端产品白皮书及终端质量报告》，这份报告中，对VoLT...
受多因素拖累Q2、Q3业绩低于预期，Q4强劲反弹。公司Q2营收落在Q1公司预估范围的2130亿元~2...
全球集成电路芯片的器件中有约90%都源于硅基CMOS技术，而随着晶体管尺寸的缩小，其后续发展亦越来越...
自2017年以来，全球无人机行业就袭来了一股寒意。全球排名前三的无人机制造商Parrot宣布大裁员，...
未来的世界是一个无线连接一切的世界。根据 Gartner 预测，到 2020 年，联网设备将达到 2...
周子学认为，中国大陆在半导体领域仍需积极与发达国家地区的企业多合作、多学习，我们还有很长的路要走，而...
这样的设计基本没有考虑到要复用和修理的问题，用坏了就再买新的——是这种设计的基本思想。你想真的拿成品...
本篇先为大家做个小概览，让读者能够完全理解 IC 产业会用到的专业名词和产业链关系。
由于半导体行业已经面临物理极限，近年来半导体行业遵循的“摩尔定律”脚步也已经趋缓，中国发展半导体行业...
一直以来，ARM在指令集授权上非常谨慎，能获得ARM 32位指令集授权的IC设计公司屈指可数。但在A...
由于中国半导体业尚很弱小，它的发展主要是由国内需求来推动，因此它不可能是“麻烦滋生者“，也没有实力，...
中国上海，日 – 楷登电子（美国Cadence公司，NASDAQ： CDNS）今日...
6月7日，在2017CES Asia（亚洲消费电子展）上，中国移动推出了目前全球尺寸最小eSIM N...
年近20岁正值成年期，联发科蔡明介表示，恰逢半导体产业正在走向人工智能、物联网结合手机、家庭娱乐、车...
作为一个真正合格的数字IC设计工程师，你永远都需要去不断学习更加先进的知识和技术。因此，这里列出来的...
特别是对于初学IC设计的人员，通过学习和研究比较成熟的电路版图，可以迅速增加相关电路设计经验，更快熟...
魏少军认为，设计业超过封测业成为集成电路产业最大的部分，与制造业和封测业不同的是，设计业的统计当中只...
半导体是指常温下导电性能介于导体与绝缘体之间的材料。由于其在收音机、电视机以及测温方面的广泛应用，半...
根据TrendForce旗下拓墣产业研究院最新统计指出，全球前十大IC设计业者2017年第一季的营收...
由于引进技术中，往往有这样一个过程，先贴牌，后仿制，再修改原始设计，最后在将引进的技术融会贯通后自主...
近日，有消息传出，高通联芯建广将成立合资公司。联芯将有500员工并入此合资公司。后续新合资公司将有两...
台积电第1 季业外表现稳健，业外收益24.7 亿元，归属母公司税后纯益为876.3 亿元，季减12....
根据KnowMade的专利诉讼风险分析显示，WiLAN将继续采取积极的策略，掌握像Apple、Hew...
倪光南还援引“中兴被罚”事件强调我国应自主研发核心技术的必要性。近日，中兴通讯因“违反美国的出口禁令...
一位曾向紫光求职的台湾工程师透露，紫光和合肥长鑫不但握有华亚科工程师名单，而且早已透过电话和微信建立...
台湾IC设计产业产值在2016年被大陆一口气超前，面对全球半导体新兴技术将全面朝向5G、物联网（Io...
台湾IC设计产业产值在2016年被大陆一口气超前，面对全球半导体新兴技术将全面朝向5G、物联网(Io...
随着如超微(AMD)、富士通(Fujitsu)、IDT与Avago等半导体业者纷纷将旗下晶圆厂出脱，...
立园是根，兴业为本。华大半导体、展讯通信、中星微电子集团、华大九天等集成电路行业领头羊先后签约入驻南...
供应链服务
版权所有 (C) 深圳华强聚丰电子科技有限公司
电信与信息服务业务经营许可证：粤B2-数字联盟如何通过技术手段实现游戏防沉迷？数字联盟如何通过技术手段实现游戏防沉迷？数字联盟百家号近期，某游戏大厂推出游戏防沉迷系统，对未成年的游戏玩家采取严格的保护措施，引发广泛社会关注。向上回溯，这个早在上世纪90年代出现的社会问题，已经困扰了几代青少年。在游戏防沉迷的技术实现上，小编从技术党的角度，总结了不同时期的游戏厂商都采取过哪些技术手段防沉迷。在传统的网页游戏盛行的年代，游戏服务商大多采用定期屏蔽IP地址的方式实现游戏防沉迷，一旦游戏玩家在电脑上玩游戏的时间超过特定时长，就会收到超时提醒，在提醒无效的情况下就有可能直接强制下线。可是，道高一尺魔高一丈，“机智”的游戏玩家使用代理上网的方法，轻松绕过IP屏蔽。到了手游时代，传统屏蔽IP技术对移动设备不再有效。各厂商也结合自身技术实力和用户行为做出了自己的游戏防沉迷系统，从技术实现上，分为三大类：账号屏蔽、设指纹屏蔽、设备ID屏蔽，这些防沉迷系统效果怎样呢？小编为您一一分析：第一种方法是账号屏蔽，顾名思义，游戏厂商通过对玩家的账号屏蔽来防沉迷，对于真实用户，可能会在短时间内起到一定的作用，但是对于很多专业玩家以及一些专门靠出售游戏账号获益的团队来说，是治标不治本的。屏蔽了一个账号，低龄的游戏玩家还能从很多渠道买到账号，账号屏蔽，形同虚设。也许有读者会问，这些账号现在都开始实名制了，能随便买得到吗？小编可以很负责任的回答：是的。随手在网络搜索“手游账号、身份证信息，就能搜索到很多提供账号买卖服务的商家出现；第二种方法是设备指纹屏蔽。设备指纹，一般指设备上的Imei、Mac地址，很多手游厂商，在发现屏蔽账号无效后，于是转向设备，什么能代表设备呢？于是就找到了代表设备的Imei、Mac地址等设备指纹，通过屏蔽这些设备指纹的方式，限制游戏玩家的游戏时间。但是，随便从网上下载一个改码软件，设备的相关信息，包括Imei、Mac地址、安卓ID、甚至机型、ssid等信息都可以一键被修改。第三类，设备（可信）ID屏蔽，数盟可信ID技术，是目前最有效的设备屏蔽技术。已被包括游戏，金融，安全，电商等大量的移动互联网企业采用。通过数字联盟的可信ID，可以判断青少年玩家设备的唯一性，来锁定设备背后的用户的状态，并建立起设备和账户一一对应的关系，再结合游戏平台自身的风控系统，避免未成年人通过多账号、多设备登陆，绕开家长监护，从而实现家长对指定设备的实时监控，并实施进一步的操作。针对未成年人的保护是一个长期的工作，需要家庭、学校与游戏平台的共同努力。技术实现永远是手段，而家庭和学校对孩子的教育与监管更加重要，游戏厂商所能做的更多是“防止”，而家庭与学校则能做到“引导”，真正从源头上帮助青少年健康成长。本文由百家号作者上传并发布，百家号仅提供信息发布平台。文章仅代表作者个人观点，不代表百度立场。未经作者许可，不得转载。数字联盟百家号最近更新：简介:领先移动安全技术服务商，专注移动终端识别作者最新文章相关文章有人用过APP推广反作弊的系统吗？有用吗？ - 知乎有问题，上知乎。知乎作为中文互联网最大的知识分享平台，以「知识连接一切」为愿景，致力于构建一个人人都可以便捷接入的知识分享网络，让人们便捷地与世界分享知识、经验和见解，发现更大的世界。15被浏览<strong class="NumberBoard-itemValue" title="分享邀请回答investide.cn/news/345582另外给你一个官网：1添加评论分享收藏感谢收起数盟联合创始人刘晶晶：安卓刷量那些事儿-安卓刷量-家电行业-hc360慧聪网
(window.slotbydup=window.slotbydup || []).push({
id: '2855377',
container: s,
size: '1000,90',
display: 'inlay-fix'
数盟联合创始人刘晶晶：安卓刷量那些事儿 日10:01 来源：|&&&&提及安卓渠道的APP推广，很多CP都有话说，在话题中，则一定会包括如何防“刷”
安卓刷量那些事儿
&&&&近年来，随着安卓推广渠道的日趋增多，在关注量级同时，推广质量也愈发引起关注，推广刷量在当前的恶劣影响？渠道刷量的惯用伎俩？如何有效防刷量？看业内专注APP推广防刷量的技术公司“数盟”联合创始人刘晶晶为大家一一道来。
&&&&1.七成渠道存在刷量行为，媒体监管是关键
&&&&据不完全统计，截止目前，国内安卓推广渠道已接近4000家，从应用市场到网盟，再到各种刷机渠道等，流量来源不一，其中的质量也存在严重差异，在数盟的监测数据显示：截止2015年第三季度，国内七成安卓推广渠道都曾出现恶意刷量行为。
安卓刷量那些事儿
&&&&淘宝上也充斥着各种刷量店铺
&&&&刘晶晶表示，目前推广渠道的刷量动机主要来自对利润的进一步追求，如参照目前行业通用的CPA结算单价，统计一个有效激活的费用通常为2元上下，而在淘宝网中，可以看到的部分刷量报价，伪装激活的成本不足2毛，其中利润高达10倍。
&&&&此外，部分广告平台因对下游媒体，如积分墙等渠道的来源监管不力，也极易被某些利益熏天的下游媒体向平台供应假量，如何监管？发现后如何惩罚？也同时成为考验渠道自身的关键。
&&&&2.修改设备蒙蔽CP统计，一部变身千百部
&&&&那么，推广渠道又是如何刷量的呢？
&&&&据刘晶晶介绍，目前通行的刷量方法主要为修改设备信息蒙蔽统计系统和虚拟机刷量两种方式。
&&&&由于目前多数CP仍然在以如imei、mac地址等作为统计有效用户的关键指标，刷量团队针对此，特地选择一批存在芯片漏洞的设备，巧妙一键修改中的所有参数，轻松变身数十乃至数百、数千部设备，轻松蒙蔽统计。
&&&&大量改码手机成为刷量的好工具！
修改IMEI成为最常见的刷量方式之一
&&&&同时，在PC或其它平台中模拟安卓APP运行来进行刷量也是常见的作弊手法，这种方法的好处是可直接通过录屏等技术方法，模拟用户的使用曲线，既做到伪装激活，甚至模拟用户的使用行为，即使使用一些第三方的统计工具，也无法加以辨别。
&&&&3.轻松刷留存伪造订单比，买卖玩弄鼓掌中
&&&&在单纯伪造激活的同时，对于运营类产品，为避免CP的运营察觉到数据太水，在目前的刷量渠道中，甚至已开始出现了所谓“薅羊毛”，既模拟留存、订单比的现象。
&&&&如以一些出行订票类APP为例，部分渠道会专门与线下酒店的销售人员联合，在店面中以小额优惠吸引顾客通过安装线上渠道包的APP下单，通过完成真实交易来通过CP运营对订单的考验。
&&&&另一些金融理财类APP，则甚至出现了专门购买理财，逾期套现的羊毛党，利用规则不但完成了所谓的充值比，甚至将本该给予真实客户的福利也一并赚走，看似渠道的质量很好，殊不知只有那百分之几的订单可信，其它设备信息均为伪造。
&&&&4.防刷量首选专业技术，设备防伪关键一步
&&&&刷量，另CP运营无比头痛，如何防刷量？成为大家关注焦点。
&&&&刘晶晶介绍，结合目前渠道刷量技术日新月异，方式方法层出不穷的情况，从质量和效率角度，更推荐广大CP可选择专业的防刷量技术方案来有效甄别刷量。
&&&&据悉，作为目前已包括优酷、乐视、去哪儿、微博等数十家国内一线CP，验证有效设备超过2.5亿的专业防刷量技术方案提供商-数盟的“数字DNA”产品是目前最为有效的甄别刷量工具。
&&&&不同于极易被模拟规律而仿造的大数据统计方法，数盟独创的设备指纹技术，动态调测APP安装设备的真实状态，动态设备唯一的设备指纹，这样后续及时刷量者试图对设备的硬件信息进行修改，唯一的设备指纹不会发生任何改变，轻松识别重复刷量行为。
&&&&同时，针对虚拟机刷量行为，数盟“数字DNA”将直接通过回放调试指令测试设备环境的平均运行速度、速率等几十项指标，快速识别虚拟机的马甲，直接标记，经多次全程封闭测试，甄别率高达100%
&&&&针对刷量，防范为先，面对安卓刷量那些事儿，分享一些经验与大家共勉。责任编辑：崔国华
免责声明:凡注明来源本网的所有作品，均为本网合法拥有版权或有权使用的作品，欢迎转载，注明出处。非本网作品均来自互联网，转载目的在于传递更多信息，并不代表本网赞同其观点和对其真实性负责。
国内家电行业网站中的佼佼者
PRODUCT EVALUATION
NEW PRODUCTSpark知识体系完整解读（内有福利）
作者：杨思义，2014年6月至今工作于北京亚信智慧数据科技有限公司 BDX大数据事业部，从2014年9月开始从事项目spark相关应用开发。
来源：数盟
Spark是整个BDAS的核心组件，是一个大数据分布式编程框架，不仅实现了MapReduce的算子map 函数和reduce函数及计算模型，还提供更为丰富的算子，如filter、join、groupByKey等。是一个用来实现快速而同用的集群计算的平台。
Spark将分布式数据抽象为弹性分布式数据集（RDD），实现了应用任务调度、RPC、序列化和压缩，并为运行在其上的上层组件提供API。其底层采用Scala这种函数式语言书写而成，并且所提供的API深度借鉴Scala函数式的编程思想，提供与Scala类似的编程接口
Sparkon Yarn
从用户提交作业到作业运行结束整个运行期间的过程分析。
一、客户端进行操作
根据yarnConf来初始化yarnClient，并启动yarnClient
创建客户端Application，并获取Application的ID，进一步判断集群中的资源是否满足executor和ApplicationMaster申请的资源，如果不满足则抛出IllegalArgumentException；
设置资源、环境变量：其中包括了设置Application的Staging目录、准备本地资源（jar文件、log4j.properties）、设置Application其中的环境变量、创建Container启动的Context等；
设置Application提交的Context，包括设置应用的名字、队列、AM的申请的Container、标记该作业的类型为Spark；
申请Memory，并最终通过yarnClient.submitApplication向ResourceManager提交该Application。
当作业提交到YARN上之后，客户端就没事了，甚至在终端关掉那个进程也没事，因为整个作业运行在YARN集群上进行，运行的结果将会保存到HDFS或者日志中。
二、提交到YARN集群，YARN操作
运行ApplicationMaster的run方法；
设置好相关的环境变量。
创建amClient，并启动；
在Spark UI启动之前设置Spark UI的AmIpFilter；
在startUserClass函数专门启动了一个线程（名称为Driver的线程）来启动用户提交的Application，也就是启动了Driver。在Driver中将会初始化SparkContext；
等待SparkContext初始化完成，最多等待spark.yarn.applicationMaster.waitTries次数（默认为10），如果等待了的次数超过了配置的，程序将会退出；否则用SparkContext初始化yarnAllocator；
当SparkContext、Driver初始化完成的时候，通过amClient向ResourceManager注册ApplicationMaster
分配并启动Executeors。在启动Executeors之前，先要通过yarnAllocator获取到numExecutors个Container，然后在Container中启动Executeors。那么这个Application将失败，将Application Status标明为FAILED，并将关闭SparkContext。其实，启动Executeors是通过ExecutorRunnable实现的，而ExecutorRunnable内部是启动CoarseGrainedExecutorBackend的。
最后，Task将在CoarseGrainedExecutorBackend里面运行，然后运行状况会通过Akka通知CoarseGrainedScheduler，直到作业运行完成。
Spark节点的概念
一、Spark驱动器是执行程序中的main()方法的进程。它执行用户编写的用来创建SparkContext(初始化)、创建RDD，以及运行RDD的转化操作和行动操作的代码。
驱动器节点driver的职责：
把用户程序转为任务task(driver)Spark驱动器程序负责把用户程序转化为多个物理执行单元，这些单元也被称之为任务task(详解见备注)
为执行器节点调度任务(executor)有了物理计划之后，Spark驱动器在各个执行器节点进程间协调任务的调度。Spark驱动器程序会根据当前的执行器节点，把所有任务基于数据所在位置分配给合适的执行器进程。当执行任务时，执行器进程会把缓存的数据存储起来，而驱动器进程同样会跟踪这些缓存数据的位置，并利用这些位置信息来调度以后的任务，以尽量减少数据的网络传输。（就是所谓的移动计算，而不移动数据)。
二、执行器节点
负责运行组成Spark应用的任务，并将结果返回给驱动器进程；
通过自身的块管理器(blockManager)为用户程序中要求缓存的RDD提供内存式存储。RDD是直接缓存在执行器进程内的，因此任务可以在运行时充分利用缓存数据加快运算。
驱动器的职责：
所有的Spark程序都遵循同样的结构：程序从输入数据创建一系列RDD，再使用转化操作派生成新的RDD，最后使用行动操作手机或存储结果RDD，Spark程序其实是隐式地创建出了一个由操作组成的逻辑上的有向无环图DAG。当驱动器程序执行时，它会把这个逻辑图转为物理执行计划。
这样 Spark就把逻辑计划转为一系列步骤(stage)，而每个步骤又由多个任务组成。这些任务会被打包送到集群中。
Spark初始化
每个Spark应用都由一个驱动器程序来发起集群上的各种并行操作。驱动器程序包含应用的main函数，并且定义了集群上的分布式数据集，以及对该分布式数据集应用了相关操作。
驱动器程序通过一个SparkContext对象来访问spark,这个对象代表对计算集群的一个连接。（比如在sparkshell启动时已经自动创建了一个SparkContext对象，是一个叫做SC的变量。(下图，查看变量sc)
一旦创建了sparkContext，就可以用它来创建RDD。比如调用sc.textFile()来创建一个代表文本中各行文本的RDD。（比如vallinesRDD = sc.textFile(“yangsy.text”),val spark = linesRDD.filter(line=&line.contains(“spark”),spark.count()）执行这些操作，驱动器程序一般要管理多个执行器,就是我们所说的executor节点。
在初始化SparkContext的同时，加载sparkConf对象来加载集群的配置，从而创建sparkContext对象。从源码中可以看到，在启动thriftserver时，调用了spark- daemon.sh文件，该文件源码如左图，加载spark_home下的conf中的文件。（在执行后台代码时，需要首先创建conf对象，加载相应参数， val sparkConf = newSparkConf().setMaster("local").setAppName("cocapp").set("spark.executor.memory","1g"), val sc: SparkContext = new SparkContext(sparkConf))
RDD工作原理：
RDD(Resilient DistributedDatasets)[1] ,弹性分布式数据集，是分布式内存的一个抽象概念，RDD提供了一种高度受限的共享内存模型，即RDD是只读的记录分区的集合，只能通过在其他RDD执行确定的转换操作（如map、join和group by）而创建，然而这些限制使得实现容错的开销很低。对开发者而言，RDD可以看作是Spark的一个对象，它本身运行于内存中，如读文件是一个RDD，对文件计算是一个RDD，结果集也是一个RDD ，不同的分片、数据之间的依赖、key-value类型的map数据都可以看做RDD。
主要分为三部分：创建RDD对象，DAG调度器创建执行计划，Task调度器分配任务并调度Worker开始运行。
SparkContext(RDD相关操作)→通过(提交作业)→(遍历RDD拆分stage→生成作业)DAGScheduler→通过（提交任务集）→任务调度管理(TaskScheduler)→通过（按照资源获取任务)→任务调度管理(TaskSetManager)
Transformation返回值还是一个RDD。它使用了链式调用的设计模式，对一个RDD进行计算后，变换成另外一个RDD，然后这个RDD又可以进行另外一次转换。这个过程是分布式的。
Action返回值不是一个RDD。它要么是一个Scala的普通集合，要么是一个值，要么是空，最终或返回到Driver程序，或把RDD写入到文件系统中
转换(Transformations)(如：map, filter, groupBy, join等)，Transformations操作是Lazy的，也就是说从一个RDD转换生成另一个RDD的操作不是马上执行，Spark在遇到Transformations操作时只会记录需要这样的操作，并不会去执行，需要等到有Actions操作的时候才会真正启动计算过程进行计算。
操作(Actions)(如：count, collect, save等)，Actions操作会返回结果或把RDD数据写到存储系统中。Actions是触发Spark启动计算的动因。
它们本质区别是：Transformation返回值还是一个RDD。它使用了链式调用的设计模式，对一个RDD进行计算后，变换成另外一个RDD，然后这个RDD又可以进行另外一次转换。这个过程是分布式的。Action返回值不是一个RDD。它要么是一个Scala的普通集合，要么是一个值，要么是空，最终或返回到Driver程序，或把RDD写入到文件系统中。关于这两个动作，在Spark开发指南中会有就进一步的详细介绍，它们是基于Spark开发的核心。
Spark中的RDD就是一个不可变的分布式对象集合。每个RDD都被分为多个分区，这些分区运行在集群的不同节点上。创建RDD的方法有两种：一种是读取一个外部数据集；一种是在群东程序里分发驱动器程序中的对象集合，不如刚才的示例，读取文本文件作为一个字符串的RDD的示例。
创建出来后，RDD支持两种类型的操作:转化操作和行动操作转化操作会由一个RDD生成一个新的RDD。（比如刚才的根据谓词筛选）行动操作会对RDD计算出一个结果，并把结果返回到驱动器程序中，或把结果存储到外部存储系统（比如HDFS）中。比如first()操作就是一个行动操作，会返回RDD的第一个元素。注：转化操作与行动操作的区别在于Spark计算RDD的方式不同。虽然你可以在任何时候定义一个新的RDD，但Spark只会惰性计算这些RDD。它们只有第一个在一个行动操作中用到时，才会真正的计算。之所以这样设计，是因为比如刚才调用sc.textFile(...)时就把文件中的所有行都读取并存储起来，就会消耗很多存储空间，而我们马上又要筛选掉其中的很多数据。这里还需要注意的一点是，spark会在你每次对它们进行行动操作时重新计算。如果想在多个行动操作中重用同一个RDD，那么可以使用RDD.persist()或RDD.collect()让Spark把这个RDD缓存下来。（可以是内存，也可以是磁盘)
Spark会使用谱系图来记录这些不同RDD之间的依赖关系，Spark需要用这些信息来按需计算每个RDD，也可以依靠谱系图在持久化的RDD丢失部分数据时用来恢复所丢失的数据。(如下图，过滤errorsRDD与warningsRDD,最终调用union()函数)
RDD计算方式
RDD的宽窄依赖
窄依赖 (narrowdependencies) 和宽依赖 (widedependencies) 。窄依赖是指 父 RDD 的每个分区都只被子 RDD 的一个分区所使用 。相应的，那么宽依赖就是指父 RDD 的分区被多个子 RDD 的分区所依赖。例如， map 就是一种窄依赖，而 join 则会导致宽依赖
这种划分有两个用处。首先，窄依赖支持在一个结点上管道化执行。例如基于一对一的关系，可以在 filter 之后执行 map 。其次，窄依赖支持更高效的故障还原。因为对于窄依赖，只有丢失的父 RDD 的分区需要重新计算。而对于宽依赖，一个结点的故障可能导致来自所有父 RDD 的分区丢失，因此就需要完全重新执行。因此对于宽依赖，Spark 会在持有各个父分区的结点上，将中间数据持久化来简化故障还原，就像 MapReduce 会持久化 map 的输出一样。
SparkExample
步骤 1 ：创建 RDD 。上面的例子除去最后一个 collect 是个动作，不会创建 RDD 之外，前面四个转换都会创建出新的 RDD 。因此第一步就是创建好所有 RDD( 内部的五项信息 ) 。
步骤 2 ：创建执行计划。Spark 会尽可能地管道化，并基于是否要重新组织数据来划分 阶段 (stage) ，例如本例中的 groupBy() 转换就会将整个执行计划划分成两阶段执行。最终会产生一个 DAG(directedacyclic graph ，有向无环图 ) 作为逻辑执行计划。
步骤 3 ：调度任务。 将各阶段划分成不同的 任务 (task) ，每个任务都是数据和计算的合体。在进行下一阶段前，当前阶段的所有任务都要执行完成。因为下一阶段的第一个转换一定是重新组织数据的，所以必须等当前阶段所有结果数据都计算出来了才能继续。
假设本例中的 hdfs://names 下有四个文件块，那么 HadoopRDD 中 partitions 就会有四个分区对应这四个块数据，同时 preferedLocations 会指明这四个块的最佳位置。现在，就可以创建出四个任务，并调度到合适的集群结点上。
Spark数据分区
Spark的特性是对数据集在节点间的分区进行控制。在分布式系统中，通讯的代价是巨大的，控制数据分布以获得最少的网络传输可以极大地提升整体性能。Spark程序可以通过控制RDD分区方式来减少通讯的开销。
Spark中所有的键值对RDD都可以进行分区。确保同一组的键出现在同一个节点上。比如，使用哈希分区将一个RDD分成了100个分区，此时键的哈希值对100取模的结果相同的记录会被放在一个节点上。（可使用partitionBy(newHashPartitioner(100)).persist()来构造100个分区)
Spark中的许多操作都引入了将数据根据键跨界点进行混洗的过程。(比如：join(),leftOuterJoin(),groupByKey(),reducebyKey()等)对于像reduceByKey()这样只作用于单个RDD的操作，运行在未分区的RDD上的时候会导致每个键的所有对应值都在每台机器上进行本地计算。
SparkSQL的shuffle过程
Spark SQL的核心是把已有的RDD，带上Schema信息，然后注册成类似sql里的”Table”，对其进行sql查询。这里面主要分两部分，一是生成SchemaRD，二是执行查询。
如果是spark-hive项目，那么读取metadata信息作为Schema、读取hdfs上数据的过程交给Hive完成，然后根据这俩部分生成SchemaRDD，在HiveContext下进行hql()查询。
SparkSQL结构化数据
首先说一下ApacheHive，Hive可以在HDFS内或者在其他存储系统上存储多种格式的表。SparkSQL可以读取Hive支持的任何表。要把Spark SQL连接已有的hive上，需要提供Hive的配置文件。hive-site.xml文件复制到spark的conf文件夹下。再创建出HiveContext对象(sparksql的入口)，然后就可以使用HQL来对表进行查询，并以由行足证的RDD的形式拿到返回的数据。
创建Hivecontext并查询数据importorg.apache.spark.sql.hive.HiveContextvalhiveCtx = new org.apache.spark.sql.hive.HiveContext(sc)valrows = hiveCtx.sql(“SELECT name,age FROM users”)valfitstRow – rows.first()println(fitstRow.getSgtring(0)) //字段0是name字段
通过jdbc连接外部数据源更新与加载Class.forName("com.mysql.jdbc.Driver")val conn =DriverManager.getConnection(mySQLUrl)val stat1 =conn.createStatement()stat1.execute("UPDATE CI_LABEL_INFO set DATA_STATUS_ID = 2 , DATA_DATE ='" + dataDate +"' where LABEL_ID in ("+allCreatedLabels.mkString(",")+")")stat1.close()//加载外部数据源数据到内存valDIM_COC_INDEX_MODEL_TABLE_CONF =sqlContext.jdbc(mySQLUrl,"DIM_COC_INDEX_MODEL_TABLE_CONF").cache()val targets =DIM_COC_INDEX_MODEL_TABLE_CONF.filter("TABLE_DATA_CYCLE ="+TABLE_DATA_CYCLE).collect
SparkSQL解析
首先说下传统数据库的解析，传统数据库的解析过程是按Rusult、Data Source、Operation的次序来解析的。传统数据库先将读入的SQL语句进行解析，分辨出SQL语句中哪些词是关键字（如select,from,where)，哪些是表达式，哪些是Projection，哪些是Data Source等等。进一步判断SQL语句是否规范，不规范就报错，规范则按照下一步过程绑定（Bind)。过程绑定是将SQL语句和数据库的数据字典(列,表,视图等）进行绑定，如果相关的Projection、Data Source等都存在，就表示这个SQL语句是可以执行的。在执行过程中，有时候甚至不需要读取物理表就可以返回结果，比如重新运行刚运行过的SQL语句，直接从数据库的缓冲池中获取返回结果。在数据库解析的过程中SQL语句时，将会把SQL语句转化成一个树形结构来进行处理，会形成一个或含有多个节点(TreeNode)的Tree,然后再后续的处理政对该Tree进行一系列的操作。
Spark SQL对SQL语句的处理和关系数据库对SQL语句的解析采用了类似的方法，首先会将SQL语句进行解析，然后形成一个Tree，后续如绑定、优化等处理过程都是对Tree的操作，而操作方法是采用Rule,通过模式匹配，对不同类型的节点采用不同的操作。SparkSQL有两个分支，sqlContext和hiveContext。sqlContext现在只支持SQL语法解析器（Catalyst)，hiveContext支持SQL语法和HiveContext语法解析器。
大数据公众号从5月起将进行不定期的赠书活动，具体形式如下：
在某篇文章后注明该文章第一位留言的读者将送出机械工业出版社华章公司出版的相关技术图书一册。
那么，今天这篇文章的第一位留言的读者，将获赠的是华章公司出版的新书：《Spark大数据分析实战》。如果大家对活动有什么想法或者意见，也欢迎留言讨论。谢谢！
版权声明：
转载文章均来自公开网络，仅供学习使用，不会用于任何商业用途，如果出处有误或侵犯到原作者权益，请与我们联系删除或授权事宜，联系邮箱：。转载大数据公众号文章请注明原文链接和作者，否则产生的任何版权纠纷与大数据无关。
为大家提供与大数据相关的最新技术和资讯。
长按指纹 & 识别图中二维码 & 添加关注
近期精彩文章：
责任编辑：
声明：该文观点仅代表作者本人，搜狐号系信息发布平台，搜狐仅提供信息存储空间服务。
今日搜狐热点}