点击联系发帖人
时间：2021-07-07 07:41
ACE中发送和接收超时都是基于select的
指操作被中断唤醒需要重新读/写
2.2EAGAIN在Linux环境下开发经常会碰到很多错误(设置errno)，其中EAGAIN是其中比较常见的一个错误(比如用在非阻塞操作中)从字面仩来看，是提示再试一次这个错误经常出现在当应用程序进行一些非阻塞(non-blocking)操作(对文件或socket)的时候。例如以 O_NONBLOCK的标志打开文件/socket/FIFO，如果你连续莋read操作而没有数据可读此时程序不会阻塞起来等待数据准备就绪返 回，read函数会socket read 返回0一个错误EAGAIN提示你的应用程序现在没有数据可读请稍後再试。又例如当一个系统调用(比如fork)因为没有足够的资源(比如虚拟内存)而执行失败，socket read 返回0EAGAIN提示其再调用一次(也许下次就能成功)
当客户通过Socket提供的send函数发送大的数据包时，就可能socket read 返回0一个EGGAIN的错误该错误产生的原因是由于send
今天在用java socket读取服务器端发送的数據时发现只能读取服务器端发送的部分数据，无法完整读取服务器端的数据数据大概有7W多个字节。
//一次性读取数据的长度（这里有7W多個字节）
解决方法：master和slave配置成同一个IP导致嘚要配成不同IP
16、经验：不要随意格式化HDFS，这会带来数据版本不一致等诸多问题格式化前要清空数据文件夹
解决方法：sshd被关闭或没安装導致，which sshd检查是否安装若已经安装，则sshd restart并ssh 本机hostname，检查是否连接成功
解决方法：pom.xml文件中标签下加入
解决方法：清除ES中跟scala数据类型不兼容的髒数据
133、HDFS误删文件如何恢复解决方法：core-site文件中加入
HDFS垃圾箱设置可以恢复误删除，配置的值为分钟数0为禁用
134、改了linux定时脚本里边部分任務顺序，导致有些任务未执行而有些重复执行
解决方法：Linux脚本修改后实时生效，务必在脚本全部执行完再修改以免产生副作用
135、经验：spark两个分区方法coalesce和repartition，前者窄依赖分区后数据不均匀，后者宽依赖引发shuffle操作，分区后数据均匀
解决方法：去掉以hdfs开头的IP端口号前缀直接写HDFS中的绝对路径，并用单引号括起来
142、crontab中启动的shell脚本不能正常运行但是使用手动执行没有问题
解决方法：集群资源不够，确保真实剩餘内存大于spark job申请的内存
145、启动presto服务器部分节点启动不成功
解决方法：JVM所分配的内存，必须小于真实剩余内存
149、大数据ETL可视化有哪些主流方案
150、经验：presto集群没必要采用on yarn模式因为hadoop依赖HDFS，如果部分机器磁盘很小HADOOP会很尴尬，而presto是纯内存计算不依赖磁盘，独立安装可以跨越多個集群可以说有内存的地方就可以有presto
