longzhun
- 浏览: 361376 次
- 性别:
- 来自: 北京
-
最新评论
-
记忆无泪：
遇到这个问题我用的sed -i 's/\r$//' /mnt/ ...
CentOS6 Shell脚本/bin/bash^M: bad interpreter错误解决方法 -
alenstudent：
Windows 下Nexus搭建Maven私服 -
dandongsoft：
lucene3+IK分词器 改造 lucene2.x+paoding -
duanyanrui：
学习了，支持
Google-Gson -
yscyfy：
这是你直接翻译过来的？？？
Google-Gson
文章列表
前提：已安装好centos6.5操作系统 Hadoop HA(QJM)集群配置规划
IP
Hostname
备注
192.168.100.101
1.基本原理
zk的基本特性：(1) 可靠存储小量数据且提供强一致性(2) ephemeral node, 在创建它的客户端关闭后，可以自动删除(3) 对于node状态的变化，可以提供异步的通知(watcher)
zk在zkfc中可以提供的功能：(1) Failure detector: 及时发现出故障的NN，并通知zkfc(2) Active node locator: 帮助客户端定位哪个是Active的NN(3) Mutual exclusion of active state: 保证某一时刻只有一个Active的NN
2. 模块
(1) ZKFailoverController ...
haproxy配置详解
- 博客分类：
- haproxy
对ha配置文件解析：
global # 全局参数的设置
log 127.0.0.1 local0 info
# log语法：log <address_1>[max_level_1] # 全局的日志配置，使用log关键字，指定使用127.0.0.1上的syslog服务中的local0日志设备，记录日志等级为info的日志
user haproxy
group haproxy
# 设置运行haproxy的用户和组，也可使用uid，gid关键字替代之
daemon
# 以守护进程的方式
haproxy安装配置
- 博客分类：
- haproxy
简介
HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。
HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。
HAProxy运行在当前的硬件上，完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中， 同时可以保护你的web服务器不被暴露到网络上。
HAProxy实现了一种事件驱动, 单一进程模型，此模型支持非常大的并发连接数。多进程或多线程模型受内存限制 、系统调度器限制以及无处不在的锁限制，很少能处理数千并发连接。事件驱动模型因为 ...
haproxy日志配置
- 博客分类：
- haproxy
AProxy配置日志策略
默认情况下,HAProxy是没有配置日志的在centos6.3下默认管理日志的是rsyslog,可以实现UDP日志的接收,将日志写入文件,写入数据库先检测rsyslog是否安装rpm -q rsyslog安后在/etc/rsyslog.d/下创建haproxy.conf,内容如下:
$ModLOad imudp
$UDPServerRun 514
local3.* /usr/local/haproxy/logs/haproxy.log
local10.* /usr/local/haproxy/logs/haproxy.log
说明下:
imup是模块名 ...
FFmpeg
FFmpeg 基本用法
本课要解决的问题
1.FFmpeg的转码流程是什么？
2.常见的视频格式包含哪些内容吗？
3.如何把这些内容从视频文件中抽取出来？
4.如何从一种格式转换为另一种格式？
5.如何放大和缩小视频？
6.如何旋转，翻转，填充，裁剪，模糊，锐化视频？
7.如何给视频加logo，删除logo？
8.如何给视频加文本，动态文本？
9.如何处理图片？
10.如何录像，添加动态logo，截图，马赛克视频？
第一部分
基础
术语
容器(Container)
容器就是一种文件格式，比如flv，mkv等。包含下面5种流以及文件头信息。
第一步 下载cd optwget https://nodejs.org/dist/v7.5.0/node-v7.5.0-linux-x64.tar.xz第二步 解压缩文件包xz -d node-v7.5.0-linux-x64.tar.xztar -xvf node-v7.5.0-linux-x64.tar第三部 NODE 环境配置这样可以使得在任何目录下，都可以使用/opt/node-v7.5.0-linux-x64/bin 下得node命令，步骤如下：a、切换到 root 用户b、vi /etc/profile
如果你是搞网络的，我觉得你一定要记住以下几种二进制数的转换值。你是一个网络工程 师，当看到一串二进制数时，你不要告诉我你会拿出笔纸或掰手指算半天才知道它转化成十进制的数值。要想快，那就记下下面几种常见的二进制--十进制转换：
以8位 来演示:
1.第一种:
00000001 1
位运算符主要针对二进制，它包括了：“与”、“非”、“或”、“异或”。从表面上看似乎有点像逻辑运算符，但逻辑运算符是针对两个关系运算符来进行逻辑运算，而位运算符主要针对两个二进制数的位进行逻辑运算。下面详细介绍每个位运算符。
1．与运算符与运算符用符号“&”表示，其使用规律如下：两个操作数中位都为1，结果才为1，否则结果为0，例如下面的程序段。public class data13{public static void main(String[] args){int a=129;int b=128;System.out.println("a 和b 与的结果是：" ...
1、What——JStorm是什么？
概述：
JStorm 是一个分布式实时计算引擎，类似Hadoop MapReduce的系统， 用户按照规定的编程规范实现一个任务，然后将这个任务递交给JStorm系统，Jstorm将这个任务跑起来，并且按7 * 24小时运行起来，一旦中间一个worker 发生意外故障， 调度器立即分配一个新的worker替换这个失效的worker。因此，从应用的角度，JStorm 应用是一种遵守某种编程规范的分布式应用。从系统角度，JStorm一套类似MapReduce的调度系统。从数据的角度，是一套基于流水线的消息处理机制。实时计算现在是大数据领域中最火爆的一 ...
上周一，来自武汉的直播平台斗鱼TV宣布C轮融资，腾讯领投的 15 亿人民币，距其获得 B 轮1亿美元不到半年，也是大写的牛逼。
但小寻更关心他们的大数据架构，作为一个在 2 年多时间里崛起的公司，其流量经历了从 0 到 PB 级 ...
今天给大家分享的是携程在实时数据平台的一些实践，按照时间顺序来分享我们是怎么一步一步构建起这个实时大数据平台的，目前有一些什么新的尝试，未来的方向是怎么样的，希望对需要构建实时数据平台的公司和同学有所借鉴。
一、为什么要做实时数据平台
首先先介绍一下背景，为什么我们要做这个数据平台？其实了解携程的业务的话，就会知道携程的业务部门是非常多的，除了酒店和机票两大业务之外，有近20个SBU和公共部门，他们的业务形态差异较大，变化也快，原来那种Batch形式的数据处理方式已经很难满足各个业务数据获取和分析的需要，他们需要更为实时地分析和处理数据。
其实在这个统一的实时平台之前，各个部门自己也做一 ...
Kafka剖析（一）：Kafka背景及架构介绍
- 博客分类：
- kafka
Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。InfoQ一直在紧密关注Kafka的应用以及发展，“Kafka剖析”专栏将会从架构设计、实现、应用场景、性能等方面深度解析Kafka。
背景介绍
Kafka创建背景
Kafka是一个消息系统，原本开发自LinkedIn，用作LinkedIn的活动流（Activity Stream）和运营数据处理管道（Pipeline）的基础。现在它已被
服务器端编程经常需要构造高性能的IO模型，常见的IO模型有四种：
（1）同步阻塞IO（Blocking IO）：即传统的IO模型。
（2）同步非阻塞IO（Non-blocking IO）：默认创建的socket都是阻塞的，非阻塞IO要求socket被设置为NONBLOCK。注意这里所说的NIO并非Java的NIO（New IO）库。
（3）IO多路复用（IO Multiplexing）：即经典的Reactor设计模式，有时也称为异步阻塞IO，Java中的Selector和Linux中的epoll都是这种模型。