怀念经典的劲舞团 - 歌单 - 网易云音乐
怀念经典的劲舞团
满满的全身记忆。那些年我们为之疯狂的AU，我们都不曾忘记。
播放：2959次
喜欢这个歌单的人
网易云音乐多端下载
同步歌单，随时畅听320k好音乐
网易公司版权所有(C)杭州乐读科技有限公司运营：
违法和不良信息举报电话：6
举报邮箱：基于HBase的冠字号查询系统2--实现部分
1. 软件版本和部署
maven：3.3.9，jdk：1.7 ，Struts2：2.3.24.1，hibernate：4.3.6，spring：4.2.5，MySQL：5.1.34，Junit：4，Myeclipse：2014;
Hadoop2.6.4，HBase1.1.2
下载：https://github.com/fansy1990/ssh_v3/releases
数据下载：http://download.csdn.net/detail/fansy 或 http://pan.baidu.com/s/1dEVeJz7
请先参考上篇Blog：基于HBase的冠字号查询1--理论部分;
2. 系统功能&核心实现
2.1 系统首页
冠字号查询系统，主要包括两方面功能：
1. 把原始数据通过MR流程从HDFS导入到HBase，提供通用接口；
2. 提供冠字号查询功能、提供存款、取款功能；
2.2 数据加载功能
数据加载功能是一个通用的HBase表数据导入功能；
用户只需提供原始数据路径（HDFS）、HBase表名（该表需要先存在）、列描述（参考前篇博客此参数解释）、字段分隔符、时间格式即可；
2.2.1 后台实现
public void submitJob() {
Map jsonMap = new HashMap();
if (HadoopUtils.getMrLock().equals(MRLock.NOTLOCKED)) {// 没有锁，则可以提交代码
HadoopUtils.setMrLock(MRLock.LOCKED);
// 清空MR任务缓存
HadoopUtils.initMRCache();
// 提交任务
new Thread(new Hdfs2HBaseRunnable(hdfsFile, tableName,
colDescription, splitter, dateFormat)).start();
jsonMap.put(&flag&, &true&);
jsonMap.put(&jobId&, HadoopUtils.getJobId());
jsonMap.put(&flag&, &false&);
jsonMap.put(&msg&, &已经在运行MR程序，请确认！&);
Utils.write2PrintWriter(JSON.toJSONString(jsonMap));
这里提供一个MRLock，加此锁是防止在提交任务后，任务正在运行，而有其他程序重复提交任务（监控会有问题）；
同时，这里使用多线程，提交任务后，立即返回前台，前台接收返回的信息后，根据判断，是否弹窗监控任务进度：
ret = callByAJax(&hadoop/hadoop_submitJob.action&,
{hdfsFile:hdfs,tableName:table,colDescription:colDescription,splitter:splitter,dateFormat:dateFormat})
if(ret.flag==&false&){// 提交任务失败
$.messager.alert('提示',ret.msg,'warn');
$.messager.progress({
title:'提示',
msg:'导入数据中...',
interval:0
//disable auto update progress value
// hadoop_submitJob.action 返回的ret中包含jobId , ret.jobId
if(typeof(EventSource)!==&undefined&)
console.info(&jobId:&+ret.jobId);
var source=new EventSource(&hadoop/hadoop_getMRProgress.action&+&?jobId=&+ ret.jobId );
source.onmessage=function(event)
console.info(event.data);
// TODO 判断event.data indexOf error ,解析：后面的值，显示，同时提示任务错误
if(event.data.indexOf( &error&)& -1){
source.close();
$.messager.progress('close');
$.messager.alert('提示',&任务运行失败!&,'warn');
// TODO 判断 event.data 为success ，则提示任务成功， 其他清空则任务进度即可
if(event.data == &success&){
source.close();
$.messager.progress('close');
$.messager.alert('提示',&任务运行成功!&,'warn');
var bar = $.messager.progress('bar');
bar.progressbar('setValue',
event.data);
注意这里的JobId的获取：
1) 在提交任务的时候把job变量设置到外部静态类中;
2)在Thread线程提交任务后，去获取jobId
需要注意的是，jobId只有在任务运行中才会被初始化，所以在提交任务后(thread运行中才初始化jobid);
需要注意的是，jobId只有在任务运行中才会被初始化，所以在提交任务后（thread运行中才初始化jobid）；
3）while循环获取jobid：
public static String getJobId() {
long start = System.currentTimeMillis();
while (noJobId()) {
Thread.sleep(200);
} catch (InterruptedException e) {
e.printStackTrace();
log.info(& Getting job id ...&);
long end = System.currentTimeMillis();
log.info(&获取jobId，耗时：& + (end - start) * 1.0 / 1000 + &s&);
return currJob.getJobID().toString();
private static boolean noJobId() {
if (currJob == null || currJob.getJobID() == null)
同时，这里使用了HTML5的服务器发送事件，关于此技术请参考：http://www.w3school.com.cn/html5/html_5_serversentevents. ;
2.2.2 实例
提交任务后，实时反映任务运行进度：
后台日志：
2.3. 查询冠字号
这里查询冠字号包含两个部分：
1)随机生成：是指随机生成冠字号(根据个数可以生成不同个数冠字号，逗号分隔);
2) 查询，根据冠字号进行查询，如果hbase表中该记录的exist字段为1则说明存在，否则说明查询改冠字号为取出状态，则对应为疑似伪钞冠字号;
3) 详细查询：查询冠字号的所有信息，可以查询多个版本信息：
2.3.1后台实现
* 检查给定的冠字号是否存在疑似伪钞冠字号
* @param stumbers
* @throws IllegalArgumentException
* @throws IOException
public Map checkStumbersExist(String stumbers)
throws IllegalArgumentException, IOException {
String[] stumbersArr = StringUtils.split(stumbers, Utils.COMMA);
Connection connection = HadoopUtils.getHBaseConnection();
Table table = connection.getTable(TableName
.valueOf(Utils.IDENTIFY_RMB_RECORDS));
Map map = new HashMap&&();
List gets = new ArrayList&&();
for (String stumber : stumbersArr) {
get = new Get(stumber.trim().getBytes());
gets.add(get);
Result[] results = table.get(gets);
StringBuffer existStr = new StringBuffer();
StringBuffer notExistStr = new StringBuffer();
for (int i = 0; i & results. i++) {
exist = new String(results[i].getValue(Utils.FAMILY,
Utils.COL_EXIST));
if (&1&.equals(exist)) {
existStr.append(stumbersArr[i]).append(Utils.COMMA);
} else if (&0&.equals(exist)) {
notExistStr.append(stumbersArr[i]).append(Utils.COMMA);
log.info(&冠字号：& + stumbersArr[i] + &值 exist字段值异常！&);
if (existStr.length() & 0) {
map.put(&exist&, existStr.substring(0, existStr.length() - 1));
map.put(&exist&, &nodata&);
if (notExistStr.length() & 0) {
map.put(&notExist&,
notExistStr.substring(0, notExistStr.length() - 1));
map.put(&notExist&, &nodata&);
} catch (Exception e) {
e.printStackTrace();
直接使用HBase的Table
API实现即可；
获取给定rowkey以及版本数的记录，同样使用HBase 的Table Java API 即可实现
* 根据rowkey和版本个数查询数据
* @param tableName
* @param cfs
* @param rowkeys
* @param versions
* @throws IOException
public List getTableCertainRowKeyData(String tableName,
String cfs, String rowkeys, int versions) throws IOException {
String[] stumbersArr = StringUtils.split(rowkeys, Utils.COMMA);
Connection connection = HadoopUtils.getHBaseConnection();
Table table = connection.getTable(TableName
.valueOf(tableName));
List list = new ArrayList&&();
List gets = new ArrayList&&();
for (String stumber : stumbersArr) {
get = new Get(stumber.trim().getBytes());
get.setMaxVersions(versions);
gets.add(get);
Result[] results = table.get(gets);
for (int i = 0; i & results. i++) {
cells = results[i].rawCells();
list.addAll(getHBaseTableDataListFromCells(cells));
} catch (Exception e) {
e.printStackTrace();
2.6 验证每秒500+查询
使用单个线程进行查询：
import java.io.IOE
import java.util.ArrayL
import java.util.D
import java.util.L
import org.apache.hadoop.hbase.TableN
import org.apache.hadoop.hbase.client.C
import org.apache.hadoop.hbase.client.G
import org.apache.hadoop.hbase.client.T
import org.apache.hadoop.hbase.util.B
public class ReadTest {
// private static String FAMILY =&info&;
public static void main(String[] args) throws IOException {
long size =10000;
get(Utils.getConn(),Utils.generateRowKey(size));
public static void get(Connection connection,List rowkeys) throws IOException {
System.out.println(new Date()+&:开始读取记录...&);
long start =System.currentTimeMillis();
Table table = connection.getTable(TableName.valueOf(Utils.TABLE));
long count =0;
for(byte[] rowkey :rowkeys){
get = new Get(Bytes.toBytes(&&));
get = new Get(rowkey);
table.get(get);
if(count%1000==0){
System.out.println(&count:&+count);
long end = System.currentTimeMillis();
System.out.println(new Date()+&:&+rowkeys.size()+&条记录，读取耗时:&+(end-start)*1.0/1000+&s&);
}catch(Exception e){
table.close();
使用多线程查询：
import java.util.D
import java.util.L
import org.apache.hadoop.hbase.client.G
import org.apache.hadoop.hbase.client.T
public class ReadThread implements Runnable {
private List
ReadThread(Table table ,List rks) {
this.table =
this.rks =
public void run() {
System.out.println(Thread.currentThread().getName()+& &+new Date()+&:开始读取记录...&);
long start =System.currentTimeMillis();
long count =0;
for(byte[] rowkey :rks){
get = new Get(Bytes.toBytes(&&));
get = new Get(rowkey);
table.get(get);
if(count%1000==0){
System.out.println(Thread.currentThread().getName()+& count:&+count);
long end = System.currentTimeMillis();
System.out.println(Thread.currentThread().getName()+& &+new Date()
+&:&+rks.size()+&条记录，读取耗时:&+(end-start)*1.0/1000+&s&);
}catch(Exception e){
多线程查询主程序：
import java.io.IOE
public class ReadThreadTest {
public static void main(String[] args) throws IOException {
long dataSize =500;
int threadSize = 20;
for(int i=0;i
工程类Utils程序
import java.io.IOE
import java.text.DecimalF
import java.util.ArrayL
import java.util.D
import java.util.L
import java.util.R
import org.apache.hadoop.conf.C
import org.apache.hadoop.hbase.HBaseC
import org.apache.hadoop.hbase.TableN
import org.apache.hadoop.hbase.client.C
import org.apache.hadoop.hbase.client.ConnectionF
import org.apache.hadoop.hbase.client.T
import org.apache.hadoop.hbase.util.B
public class Utils {
public static String TABLE = &records&;
private static DecimalFormat df = new DecimalFormat( &0000& );
public static String[]
crownSizePrefixes =
static Random random = new Random();
crownSizePrefixes = new String[26*2];
for (int i = 0; i & crownSizePrefixes.length/2; i++) {
crownSizePrefixes[i] = &AAA& + (char) (65 + i);
crownSizePrefixes[i+26] = &AAB& + (char) (65 + i);
* 把0~9999 转为
* @param num
public static String formatCrownSizeSuffix(int num){
return df.format(num);
public static Table getTable() throws IOException{
return getConn().getTable(TableName.valueOf(TABLE));
public static String getRandomCrownSize(){
return crownSizePrefixes[random.nextInt(crownSizePrefixes.length)]
+formatCrownSizeSuffix(random.nextInt(10000));
public static Connection getConn() throws IOException {
Configuration conf = HBaseConfiguration.create();
conf.set(&hbase.master&, &node2:16000&);// 指定HMaster
conf.set(&hbase.rootdir&, &hdfs://node1:8020/hbase&);// 指定HBase在HDFS上存储路径
conf.set(&hbase.zookeeper.quorum&, &node2,node3,node4&);// 指定使用的Zookeeper集群
conf.set(&hbase.zookeeper.property.clientPort&, &2181&);// 指定使用Zookeeper集群的端口
Connection connection = ConnectionFactory.createConnection(conf);// 获取连
public static List generateRowKey(long size){
System.out.println(new Date()+&开始生成&+size +&条记录...&);
long start =System.currentTimeMillis();
rowkeys = new ArrayList&&();
for(int i=0;i2.4 存款：&&1)存款需要输入用户ID、银行、冠字号，当然也可以随机生成;&&2)存取使用的是Table的checkAndPut 函数，关于此函数存储数据的一致性，参考：http://blog.csdn.net/fansy1990/article/details/&&由于AAAR5912的冠字号，其exist状态为1，说明HBase表中此冠字号为存储状态，不能再次存储，即发现了疑似伪钞的冠字号;2.5 取款&&1)取款同样有随机生成功能，类似上面：&&当然，这里随机生成的只是用户和银行而已;2) 取款：取款根据取款金额进行获取：&&取款流程如下：1) 根据给定的取款冠字号个数num，随机查找冠字号(rowkey)对应的op_www:exist字段值为1的num*3条记录;2) 使用HBase.checkAndPut进行更新，把op_www:exist字段值更新为0，并返回更新后的rowkey，即冠字号;3) 如果在num*3条记录更新后，被更新的冠字号不足num条，则再次随机查找冠字号对应的op_www:exist字段值为1的记录，并更新，返回更新后的冠字号，直到返回的冠字号个数为3. 总结
1） 基于冠字号查询系统基于已存在HBase的冠字号非伪钞，如果已存在冠字号包含伪钞，则存储和取钱功能都会有问题；
2） 原始数据（用户信息、冠字号交易信息），在一定程序上是有规律的，并且对于大数据来说，还是小数据，需要在较大数据集上测试；
3）用户账号相关信息（存储的钱总数等）并没有在该系统中体现，后续可以考虑；
4） 查询冠字号、存、取款功能在第一次点击的时候初始化时间较长，考虑弹窗显示；
5）查询冠字号、存、取款功能中的详细查询可以在定制点，比如可以只查询出某个列簇或列的数据即可；90后小学时MP3里的经典老歌 - 歌单 - 网易云音乐
90后小学时MP3里的经典老歌
我是95年的，2008年，我上小学六年级，大街上，卖场边，网吧里，到处都能听到这些歌。那时候我们还没有手机，听歌只能用MP3，歌词都会用专门的本子记着，我还记得小学时看着歌词本跟着MP3唱这些歌，我的MP...
我是95年的，2008年，我上小学六年级，大街上，卖场边，网吧里，到处都能听到这些歌。那时候我们还没有手机，听歌只能用MP3，歌词都会用专门的本子记着，我还记得小学时看着歌词本跟着MP3唱这些歌，我的MP3就好像是它们的家一样，是它们让我爱上了听歌。如今我大二了，再听这些歌时感慨万千，仿佛又回到了小时候，回到听MP3看歌词本的小学的我。今天我把它们找回来，放在这里， 算是还它们一个家
播放：17168次
喜欢这个歌单的人
网易云音乐多端下载
同步歌单，随时畅听320k好音乐
网易公司版权所有(C)杭州乐读科技有限公司运营：
违法和不良信息举报电话：6
举报邮箱：LOL搞笑视频集锦常见BGM - 歌单 - 网易云音乐
LOL搞笑视频集锦常见BGM
播放：8145次
喜欢这个歌单的人
网易云音乐多端下载
同步歌单，随时畅听320k好音乐
网易公司版权所有(C)杭州乐读科技有限公司运营：
违法和不良信息举报电话：6
举报邮箱：豆丁微信公众号
君，已阅读到文档的结尾了呢~~
[精品]摄影家的眼力摄影,眼力,摄影家,摄影家眼力,中国摄影家,摄影之家
扫扫二维码，随身浏览文档
手机或平板扫扫即可继续访问
[精品]摄影家的眼力
举报该文档为侵权文档。
举报该文档含有违规或不良信息。
反馈该文档无法正常浏览。
举报该文档为重复文档。
推荐理由：
将文档分享至：
分享完整地址
文档地址：
粘贴到BBS或博客
flash地址：
支持嵌入FLASH地址的网站使用
html代码：
&embed src='http://www.docin.com/DocinViewer-4.swf' width='100%' height='600' type=application/x-shockwave-flash ALLOWFULLSCREEN='true' ALLOWSCRIPTACCESS='always'&&/embed&
450px*300px480px*400px650px*490px
支持嵌入HTML代码的网站使用
您的内容已经提交成功
您所提交的内容需要审核后才能发布，请您等待！
3秒自动关闭窗口}