student_lp
- 浏览: 428884 次
- 性别:
- 来自: 北京
-
最新评论
-
世界尽头没有你：
Java并发编程与高并发解决方案网盘地址：https://pa ...
java高并发编程：2--volatile可见性同步 -
世界尽头没有你：
Java并发编程与高并发解决方案网盘地址：https://pa ...
Java高并发编程：3----Synchronized -
叮咚可乐名：
Java并发编程与高并发解决方案网盘地址1：https://p ...
Java高并发编程：3----Synchronized -
叮咚可乐名：
Java并发编程和高并发解决方案视频课程网盘地址：https: ...
Java高并发编程：3----Synchronized -
德赫0625：
简单易懂，非常给力
定时任务管理之java篇quartz使用
文章列表
一、引言
原子（atom）本意是“不能被进一步分割的最小粒子”，而原子操作（atomic operation）意为"不可被中断的一个或一系列操作" 。在多处理器上实现原子操作就变得有点复杂。本文让我们一起来聊一聊在Intel处理器和Java里是如何实现原子操作的。
二、术语定义
三、处理器如何实现原子操作
32位IA-32处理器使用基于对缓存加锁或总线加锁的方式来实现多处理器之间的原子操作。
3.1 处理器自动保证基本内存操作的原子性
首先处理器会自动保证基本的内存操作的原子性。处理器保证从系统内存当中读取或者写入一个字节是原子的，意思 ...
1. 引言
在并发编程中我们有时候需要使用线程安全的队列。如果我们要实现一个线程安全的队列有两种实现方式：一种是使用阻塞算法，另一种是使用非阻塞算法。使用阻塞算法的队列可以用一个锁（入队和出队用同一把锁）或两个锁（入队和出队用不同的锁）等方式来实现，而非阻塞的实现方式则可以使用循环CAS的方式来实现，本文让我们一起来研究下Doug Lea是如何使用非阻塞的方式来实现线程安全队列ConcurrentLinkedQueue的，相信从大师身上我们能学到不少并发编程的技巧。
2. ConcurrentLinkedQueue的介绍
ConcurrentLinkedQueue是一个 ...
1.术语定义
术语
英文
解释
哈希算法
hash algorithm
是一种将任意内容的输入转换成相同长度输
出的加密方式，其输出被称为哈希值。
哈希表
hash table
根据设定的哈希函数H(key)和处理冲突方法将
一组关键字映象到一个有限的地址区间上，并
以关键字在地址区间中的象作为记录在表中的
存储位置，这种表称为哈希表或散列，所得存
储位置称为哈希地址或散列地址。
2.线程不安全的HashMap
因为多线程环境下，使用HashMap进行put操作会引起死循环，导致CPU利用率接近100%，所以在并发情况下 ...
1 引言
在多线程并发编程中Synchronized一直是元老级角色，很多人都会称呼它为重量级锁，但是随着Java SE1.6对Synchronized进行了各种优化之后，有些情况下它并不那么重了，本文详细介绍了Java SE1.6中为了减少获得锁和释放锁带来的性能消耗而引入的偏向锁和轻量级锁，以及锁的存储结构和升级过程。
2 术语定义
术语
英文
说明
CAS
Compare and Swap
比较并设置。用于在硬件层面上提供原子性操作。
在Intel 处理器中，比较并交换通过指令cmpxchg实现。
比较是否和给定的数值一致，如果一致则修改，不一致则不修改 ...
1. 什么是阻塞队列？
阻塞队列（BlockingQueue）是一个支持两个附加操作的队列。这两个附加的操作是：在队列为空时，获取元素的线程会等待队列变为非空。当队列满时，存储元素的线程会等待队列可用。阻塞队列常用于生产者和消费者的场景，生产者是往队列里添加元素的线程，消费者是从队列里拿元素的线程。阻塞队列就是生产者存放元素的容器，而消费者也只从容器里拿元素。
阻塞队列提供了四种处理方法:
Java 语言中的 volatile 变量可以被看作是一种 “程度较轻的 synchronized”；与 synchronized 块相比，volatile 变量所需的编码较少，并且运行时开销也较少，但是它所能实现的功能也仅是synchronized 的一部分 。
锁提供了两 ...
我们在学习Java高并发编程前，先了解一下《java内存管理(1) 》、《Java垃圾回收(2)》、《java线程池使用》。
一、计算机硬件的效率与一致性
由于计算机的存储设备与处理器的运算速度有几个数量级的差距，所以现代计算机系统都不得不加入一层读写速度尽可能接近处理器运算速度的高速缓存作为内存与处理器之间的缓冲：将运算需要使用的数据复制到缓存中，让运算能快速进行，当运算结束后再从缓存同步回内存之中，这样处理器就无须等待缓慢的内存读写了。
基于高速缓存的存储交互很好的解决了处理器与内存的速度矛盾，但是也为计算机系统带来更高的复杂度，因为它引入了一个新的问题：缓存一致性 ...
在HBase中，大部分的操作都是在RegionServer完成的，Client端想要插入，删除，查询数据都需要先找到相应的RegionServer。什么叫相应的RegionServer？就是管理你要操作的那个Region的RegionServer。Client本身并不知道哪个RegionServer管 ...
常见的hive查询操作有：count、group by、order by、join、distribute by、sort by、clusrer by、union all
一、常见的聚合函数
1、count计数
count(*) 所有值不全为NULL时，加1操作；
count(1) 不管有没有值，只要有这条记录，值就加1
count(col) col列里面的值为null，值不会加1，这个列里面的值不为NULL，才加1
2、sum求和
sum(可转成数字的值) 返回bigint
3、avg求平均值
avg(可转成数字的值) 返回double
4、d ...
Hive的后端存储是HDFS，它对大文件的处理是非常高效的，如果合理配置文件系统的块大小，NameNode可以支持很大的数据量。但是在数据仓库中，越是上层的表其汇总程度就越高，数据量也就越小。而且这些表通常会按日期进行分区，随着时间的推移，HDFS的文件数目就会逐渐增加。
小文件带来的问题
关于这个问题的阐述可以读一读Cloudera的这篇文章。简单来说，HDFS的文件元信息，包括位置、大小、分块信息等，都是保存在NameNode的内存中的。每个对象大约占用150个字节，因此一千万个文件及分块就会占用约3G的内存空间，一旦接近这个量级，NameNode的性能就会开始下降了 ...
一般数据存储模式分为行存储、列存储以及混合存储。
行存储模式就是把一整行存在一起，包含所有的列，这是最常见的模式。这种结构能很好的适应动态的查询。但行存储模式有以下两点不足：
当一行中有很多列 ...
数据倾斜是指：map/reduce程序执行时，reduce节点大部分执行完毕，但是有一个或者几个reduce节点运行很慢，导致整个程序的处理时间很长，这是因为某一个key的条数比其他key多很多（有时是百倍或者千倍之多），这条key所在的reduce节点所处理的数据量比其他节点大很多，从而导致某几个节点迟迟运行不完。
在做Shuffle阶段的优化过程中，遇到了数据倾斜的问题，造成了对一些情况下优化效果不明显。主要是因为在job完成后所得到的Counters是整个job的总和，优化是基于这些Counters得出的平均值，而由于数据倾斜的原因造成map处理数据量的差异过大 ...
数据仓库：Data Warehouse(DW)，一种信息系统的数据存储理论，此理论强调利用某些特殊数据存储方式，让所包含的数据，特别有利于分析处理，以产生有价值的信息并依此作决策。利用数据仓库方式所存放的数据，具有一但存入， ...
OLAP工具通常使用数据立方体和多维数据模型，对汇总数据提供灵活的访问。例如：数据立方体能够存放多个数据维上的预计算的度量。用户可以提出数据上的OLAP查询，也可以以多维方式，通过诸如下钻或上卷这样的OLAP操 ...
一、OALP概述 数据立方体，他是一种用于OLAP以及OLAP操作（如上卷、下钻、切片和切块）的多维数据模型。数据立方体存储多为聚集信息。每个单元存放一个聚集值，对应于多维空间的一个数据点。每个属性都可能存在概念分 ...