2013年八月月 发布的文章

利用ZooKeeper服务实现分布式系统的配置数据同步

很多时候,一旦习惯了某些事情,也就习惯了它们的恶劣,习惯了它们的丑陋,习惯了它们“赋予”你的各种痛苦。
                                                                                                                                                      – Tony Bai

一、痼疾难解

曾几何时,在那个还没有集群化,没有分布式的时代,它还是一个不错的方案,至少在线上没有暴露出太多问题,它也不在我们关注的重点范围之内。但随 着集群化、分布式的新版本的到来,那一大坨遗留的代码就变得格外让人不顺眼,同时问题也随之在线上暴露开来了。

这里的“它”指的就是我们目前的业务配置数据同步方案。简单描述这个方案如下:

* 方案涉及两个角色 – 数据库(DB)与应用节点(app_node);
* 所有的业务配置数据均统一存储在DB中;
* 应用节点在启动后从DB中读取最新业务配置数据;
* 应用节点运行过程中,如果DB中的业务配置数据发生变更(增/删/改),DB中的触发器(trigger)将会执行。在触发器的脚本中,触发器将会【串 行】地与每个应用节点建立TCP链接,并将业务配置表的变更信息发给各个应用节点。 应用节点会接收并【解析】触发器发过来变更数据包,并同步到自己的本地内存中。这样就达到了运行时更新配置的目的。

上面我用【】标记了两个关键词:“串行”和“解析”。这两个词隐含有这个方案的两个主要问题。

“串行” – 意味着每一次DB的业务配置数据变更,trigger脚本都要逐个与应用节点建立链接并收发数据。当应用节点逐渐增多时,每一次业务数据同步都会相当地耗 时。尤其是当某个应用节点所在主机出现问题时,到该节点链接建立的过程会阻塞,导致整个业务配置数据同步的时间达到无法忍受的地步。

“解析” – 我们自定义了trigger与应用节点之间的协议包。协议包中包含了每次变更的详细信息,比如在某个表添加一条记录,trigger会将这个记录的每个字 段信息排成一行打包发给应用节点。应用节点收到这个包后,会根据已有的表字段信息对该包进行解析。看得出这是一个很强的耦合:表字段一旦修 改,trigger脚本要修改,应用节点的解析函数要修改,还要考虑协议包中表字段的排序。如果应用节点解析时与trigger脚本打包时的字段 顺序不同的话,那就可能出现严重错误,而且这种错误有时难于校验并难于发现。

二、曾经的努力

针对这个方案的不足,我们曾经也做过改进,但主要针对的是解决“串行”这个问题上。

第一次改进:同步的发起能否并行做?trigger脚本能否并行发起对各个应用节点的链接建立请求?

Java组同事对trigger脚本做了改进。让trigger脚本调用function,而function中又调用了写好的Java方 法,Java代码由DB加载到环境中。在Java方法中创建多个同步线程,并发与各应用节点建立链接并发送数据。这个方法的确可以变“串行”为 “并行”,但不知为何生产环境中实际运行时偶尔会出现异常,该异常发生在DB中,影响很大。有时还会导致DB的一些异常现象。至今原因尚未明确, 我们无奈退回到以前的方案。

第二次改进:从Push模式到Pull模式

在之前部门新规划的一个产品中,开发人员对数据同步的机制做了重新的设计,将原来的Push模式改为了Pull模式。大致方案是:
   
    * 业务数据变更时,trigger直接将变更内容(以老方案中那个协议包的打包格式)写到一个“变更日志表”中,每条记录有一个唯一的序号,序号递增。
    * 应用节点启动后,从DB加载最新配置信息,查询“变更日志表”,得到该表内最新的一条记录的序号n。
    * 应用节点以“轮询”的方式定期查询“变更日志表”,并读取和解析那些序号比序号n更新的记录;更新完后,将继续保存最新的一条记录序号。
    * 数据库中有job定期对“变更日志表”中的记录进行过期删除处理。

个人感觉第二个方案应该是理想方案的一个雏形,虽然目前它的同步更新可能不是那么及时,与DB交互过多(方案细节中每个应用节点在处理完一条记录 后还要更新记录的状态)。该方案设计者也完全也可以放弃那个导致耦合的协议包设计,但他最终还是选择保留了原有协议包解析函数。目前该方案在产品 环境下运行还算良好,并未暴露出什么问题。这算是一次有效的改进,也为本文中要提到的方案提供了一些思路启示。

三、与时俱进

ZooKeeper生来就具备解决分布式系统的配置分发和同步的能力。利用ZooKeeper服务实现分布式系统的统一配置中心已经不是那么新鲜 的话题了。最简单的模型莫过于将配置数据存储在ZooKeeper上的路径节点上,然后应用节点在这些配置节点上添加watch。当配置数据变更 时,每个应用节点都可以及时得到通知,同步到最新数据。这种模型对于一些量少简单的系统配置来说较为合适。对于我们每个表动辄上万条配置的情形似 乎不那么适合,想象一下每个应用节点要添加上万个watch,这对ZooKeeper而言也是压力山大啊。因此用ZooKeeper提供的诸多服 务如何来优化我们上面提到的两个主要问题呢?这里提出一种方案仅供参考。

方案示意图:

DB  —-> Config Center Services(css_agent + ZooKeeper)  —> App Node

在新方案中,我们要:
    保留 – 保留trigger脚本,作为业务数据变更的唯一的触发起点;
    摒弃 – 摒弃那个复杂的带来耦合的协议格式;
    借鉴 – 借鉴“Push -> Pull”的数据获取方式。

新方案中除了DB、应用节点(app_node)外,新增加了一个角色Config Center Services(缩写为ccs),ccs由ZooKeeper + ccs_agent的集群组成。简单起见,每个ZooKeeper节点上部署一个ccs_agent。这些角色之间的数据流和指令流关系,即该方案的原理 如下:

    * 初始化
        – ZooKeeper集群启动;
        – ccs_agent启动,利用ZooKeeper提供的leader election服务,选出ccs_agent leader。ccs_agent leader启动后负责在ZooKeeper中建立业务配置表node,比如:表employee_info_tab对应的node路径为“/ccs /foo_app/employee_info_tab”;
        – ccs_agent启动后会监听一个端口,用来接受DB trigger向其发起的数据链接;
        – 应用节点启动,监听ZooKeeper上所有(数量有限的)业务配置表node的child event;
   
    * 数据变更
        – DB中某业务表比如employee_info_tab增加了一条id为"1234567"的记录;
        – 触发器启动,向ccs_agent cluster中任意一个可用的节点建立链接,并将数据包“^employee_info_tab|ADD|1234567$"发送给 ccs_agent;
        – ccs_agent收取并解析trigger发来的数据包,在对应的/ccs/foo_app/employee_info_tab下建立ZOO_SEQUENCE类 型节点“item-000000000”,该节点的值为“ADD 1234567";
        – ZooKeeper将/ccs/foo_app/employee_info_tab节点的child事件发给所有watch该节点事件的应用节点;
        – 应用节点“取出”/ccs/foo_app/employee_info_tab节点下的children节点"item-000000000",并读取 其值,后续到DB的employee_info_tab中将id = 1234567的这条记录select出来,将该条记录更新到本地内存中。应用节点记录下处理过的当下节点id为"item-000000000";
        – DB业务表employee_info_tab又增加了两条记录,id分别为"7777777"和"8888888",经过上面描述的流程,/ccs /foo_app/employee_info_tab节点下会增加"item-000000001"和"item-000000002"两项; 应用节点最终会收到child事件通知。应用节点“取出”/ccs/foo_app/employee_info_tab节点下的所有 children节点并排序。之后,处理那些id号大于"item-000000000"的节点,并将当前节点id记录为“item- 000000002"。依次类推。

    * 过期处理
        – ccs_agent leader负责定期扫描ZooKeeper中/ccs下各个表节点下的子项,对于超出过期时间的item进行删除处理。

    * 应用节点重启
        -  应用节点重启后,会首先从db读取最新信息,并记录启动时间戳;
        -  应用节点重启后,在收到zookeeper的数据变更事件后,会根据当前时间戳与变更表节点下的item创建时间进行比较,并仅处理比启动时间戳新的 item的数据。
   

这个方案主要利用了ZooKeeper提供的leader election服务以及sequence节点的特性,几点好处在于:

    – 串行通知变为并行通知,且通知到达及时;
    – 变更数据的Push模式为Pull模式,降低了或去除了诸多耦合,包括:
            1) 去除trigger脚本与表字段及字段顺序的耦合;
            2) 去除应用节点与表字段顺序的耦合;
            3) 降低应用节点与表字段构成的耦合。
    – 应用节点无需复杂的包解析,简化后期维护。

当然为了该方案新增若干网元会给产品部署和维护带来一些复杂性,这算是不足之处吧。

四、Demo

这里有一个600多行代码的Demo,模拟新方案中几个角色:
    DB – trigger_sim.py
    应用节点 – app.c
    ccs_agent – ccs_agent.c

模拟的步骤大致如下(单机版):

a) 启动ZooKeeper
    $> zkServer.sh start
    JMX enabled by default
    Using config: /home1/tonybai/.bin/zookeeper-3.4.5/bin/../conf/zoo.cfg
    Starting zookeeper … STARTED

b) 启动ccs_agent
    $> ccs_agent
    This is [ccs-member0000000037], i am a leader
    /ccs node exists
    /ccs/employee_info_tab node exists
    /ccs/boss_info_tab node exists
    trigger listen thread start up!
    item expire thread start up!

c) 启动app

d) 使用trigger_sim.py模拟DB触发trigger
        $> trigger_sim.py employee_info_tab ADD 1234567

可以看到ccs_agent输出结果如下:
    table[employee_info_tab], oper_type[ADD], id[1234567]

app的输出如下:
    child event happened: type[4]
    item-0000000015
    employee_info_tab: execute [ADD 1234567]

大约30s后,ccs_agent会输出如下:
    [expire]: employee_info_tab: expire [item-0000000015]

模拟步骤在README里有写。这里仅是Demo代码,存在硬编码以及异常处理考虑不全面的情况,不要拍砖哦。

利用ZooKeeper服务实现分布式系统的Leader选举

每次与Java组的同事们坐下来谈技术、谈理想、谈人生时,Java组的同事总会向我们投来羡慕的眼光:卧槽!又是自己开发的工具,太NB了。这时C程序 员们的脸上就会洋溢出自豪的笑容,然后内心骂道:谁让我们没有现成的呢。另一个空间里的某些“无C不欢”们或者某些“C Guru”们会骂道:靠,有了也不用,自己写!

有时候,C程序员真的有一种下意识:不情愿使用其他语言开发的工具、框架或服务,且比其他程序员更爱“重新发明轮子”(有利有弊)。也许这是某种 骨子里的自负在搞怪;另外一个极端:今天和我聊天的一个经验丰富的C程序员还在忧虑:如果离职是否有公司会要他:(。

其实这个时代的C程序员一直活得挺纠结^_^。

这个世界,软硬件发展日新月异,越来越多的后端程序用Java等其他语言实现。Java高级选手在这个世界上也甚是吃香,这个你看看各大招聘网站 就知道了。再听听坊间“BAT”三巨头给出的高高在上的offer价格,也可以看出Java程序员是多么的有“钱途”和受欢迎了。当然拿好offer的前提是你的Java底子不薄。

其实无论用什么编程语言,成为牛人后,钱途也都是杠杠的。

没有什么好的开场白,于是有了上面一些“胡言乱语”。我们言归正传。

本文是一篇初级技术博文。讲的是如何使用ZooKeeper C API通过ZooKeeper的服务实现分布式系统的Leader选举。当然这一试验是为了尝试解决我们自己的分布式系统在集中配置数据分发这一环节上的 一个“固疾”。还好我还不那么纠结,也没有重新实现ZooKeeper的冲动,于是我就用了ZooKeeper这一Java实现的成熟的分布式 系统的服务框架。

* 搭建ZooKeeper服务环境

    – 下载官方stable release版本 – ZooKeeper3.4.5。解压后,将$ZooKeeper_INSTALL_PATH/bin加入到PATH变量中(其中ZooKeeper_INSTALL_PATH为解压后ZooKeeper-3.4.5目录的绝对路径)。

    – 试验环境下,最简单的ZooKeeper用法就是使用单机版。
      进入到$ZooKeeper_INSTALL_PATH/conf下,将zoo_sample.cfg改名为zoo.cfg,即可作为单机版ZooKeeper的配置文件。当然你也可以像我一样随意修改修改:

      # The number of milliseconds of each tick
   tickTime=2000
   # The number of ticks that the initial
   # synchronization phase can take
   initLimit=5
   # The number of ticks that can pass between
   # sending a request and getting an acknowledgement
   syncLimit=2

   dataDir=/home/tonybai/proj/myZooKeeper
   # the port at which the clients will connect
   clientPort=2181

       
      如果你要体验多机版ZooKeeper服务,那你还要继续动动手脚,以双机版为例,假设有两个ZooKeeper节点(10.0.0.13和10.0.0.14):

      10.0.0.13上的ZooKeeper节点1的配置文件如下:

     # The number of milliseconds of each tick
   tickTime=2000
   # The number of ticks that the initial
   # synchronization phase can take
   initLimit=5
   # The number of ticks that can pass between
   # sending a request and getting an acknowledgement
   syncLimit=2

   dataDir=/home/tonybai/proj/myZooKeeper
   # the port at which the clients will connect
   clientPort=2181

   server.1=10.0.0.13:2888:3888 
   server.2=10.0.0.14:2888:3888

     10.0.0.14上的ZooKeeper节点2的配置文件如下:

     # The number of milliseconds of each tick
   tickTime=2000
   # The number of ticks that the initial
   # synchronization phase can take
   initLimit=5
   # The number of ticks that can pass between
   # sending a request and getting an acknowledgement
   syncLimit=2

   dataDir=/home/tonybai/proj/myZooKeeper
   # the port at which the clients will connect
   clientPort=2181

   server.1=10.0.0.13:2888:3888
   server.2=10.0.0.14:2888:3888

      别忘了在每个节点的dataDir下分别创建一个myid文件:
      在10.0.0.13节点1上执行:
      
     $> echo 1 > myid

      在10.0.0.14节点2上执行:
     
   $> echo 2 > myid

      启动ZooKeeper执行:
      $> zkServer.sh start

      模拟一个客户端连到ZooKeeper服务上:
      $> zkCli.sh

      成功链接后,你将进入一个命令行交互界面:
       [zk: 10.0.0.13:2181(CONNECTED) 1] help
    ZooKeeper -server host:port cmd args
    connect host:port
    get path [watch]
    ls path [watch]
    set path data [version]
    rmr path
    delquota [-n|-b] path 

        … …

* 选主原理

   ZooKeeper在选主过程中提供的服务就好比一栋名为"/election"小屋,小屋只有一个门,各节点只能通过这个门逐个进入。每个节点进入后, 都会被分配唯一编号(member-n),编号n自小到大递增,节点编号最小的自封为Leader,其他节点只能做跟班的(follower) – 这年头还是小的吃香:原配干不过小三儿,小三儿干不过小四儿,不是么^_^!)。
   每当一个节点离开,ZooKeeper都会通知屋内的所有节点,屋内节点收到通知后再次判断一下自己是否是屋内剩余节点中编号最小的节点,如果是,则自封为Leader,否则为Follower。

   再用稍正式的语言重述一遍:

   各个子节点同时在某个ZooKeeper数据路径/election下建立"ZOO_SEQUENCE|ZOO_EPHEMERAL"节点 – member,且各个节点监视(Watch) /election路径的子路径的变更事件。ZooKeeper的sequence节点特性保证节点创建时会被从小到大加上编号。同时节点的 ephemeral特性保证一旦子节点宕机或异常停掉,其对应的member节点会被ZooKeeper自动删除,而其他节点会收到该变更通知,重新判定 自己是leader还是follower以及谁才是真正的leader。

* 示例代码

关于ZooKeeper的C API的使用资料甚少,但这里就偏偏要用C API举例。

C API的安装方法:进入$ZOOKEEPER_INSTALL_PATH/src/c下面,configure->make->make install即可。

ZooKeeper的C API分为同步与异步两种模式,这里简单起见用的都是同步机制。代码不多,索性全贴出来。在这里能checkout到全部代码。

/* election.c */
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <unistd.h>
#include "zookeeper.h"

static int
is_leader(zhandle_t* zkhandle, char *myid);

static void
get_node_name(const char *buf, char *node);

struct watch_func_para_t {
    zhandle_t *zkhandle;
    char node[64];
};

void
election_children_watcher(zhandle_t* zh, int type, int state,
                      const char* path, void* watcherCtx)
{
    int ret = 0;

    struct watch_func_para_t* para= (struct watch_func_para_t*)watcherCtx;

    struct String_vector strings;
    struct Stat stat;

    /* 重新监听 */
    ret = zoo_wget_children2(para->zkhandle, "/election", election_children_watcher,
                             watcherCtx, &strings, &stat);
    if (ret) {
        fprintf(stderr, "child: zoo_wget_children2 error [%d]\n", ret);
        exit(EXIT_FAILURE);
    }

    /* 判断主从 */
    if (is_leader(para->zkhandle, para->node))
        printf("This is [%s], i am a leader\n", para->node);
    else
        printf("This is [%s], i am a follower\n", para->node);

    return;
}

void def_election_watcher(zhandle_t* zh, int type, int state,
        const char* path, void* watcherCtx)
{
    printf("Something happened.\n");
    printf("type: %d\n", type);
    printf("state: %d\n", state);
    printf("path: %s\n", path);
    printf("watcherCtx: %s\n", (char *)watcherCtx);
}

int
main(int argc, const char *argv[])
{

    const char* host = "10.0.0.13:2181";
    zhandle_t* zkhandle;
    int timeout = 5000;
    char buf[512] = {0};
    char node[512] = {0};

    zoo_set_debug_level(ZOO_LOG_LEVEL_WARN);
    zkhandle = zookeeper_init(host, def_election_watcher, timeout,
                              0, "Zookeeper examples: election", 0);
    if (zkhandle == NULL) {
        fprintf(stderr, "Connecting to zookeeper servers error…\n");
        exit(EXIT_FAILURE);
    }

    /* 在/election下创建member节点 */
    int ret = zoo_create(zkhandle,
                        "/election/member",
                        "hello",
                        5,
                        &ZOO_OPEN_ACL_UNSAFE,  /* a completely open ACL */
                        ZOO_SEQUENCE|ZOO_EPHEMERAL,
                        buf,
                        sizeof(buf)-1);
    if (ret) {
        fprintf(stderr, "zoo_create error [%d]\n", ret);
        exit(EXIT_FAILURE);
    }

    get_node_name(buf, node);
    /* 判断当前是否是Leader节点 */
    if (is_leader(zkhandle, node)) {
        printf("This is [%s], i am a leader\n", node);
    } else {
        printf("This is [%s], i am a follower\n", node);
    }

    struct Stat stat;
    struct String_vector strings;
    struct watch_func_para_t para;
    memset(&para, 0, sizeof(para));
    para.zkhandle = zkhandle;
    strcpy(para.node, node);

    /* 监视/election的所有子节点事件 */
    ret = zoo_wget_children2(zkhandle, "/election", election_children_watcher, &para, &strings, &stat);
    if (ret) {
        fprintf(stderr, "zoo_wget_children2 error [%d]\n", ret);
        exit(EXIT_FAILURE);
    }

    /* just wait for experiments*/
    sleep(10000);

    zookeeper_close(zkhandle);
}

static int
is_leader( zhandle_t* zkhandle, char *myid)
{
    int ret = 0;
    int flag = 1;

    struct String_vector strings;
    ret = zoo_get_children(zkhandle, "/election", 0, &strings);
    if (ret) {
        fprintf(stderr, "Error %d for %s\n", ret, "get_children");
        exit(EXIT_FAILURE);
    }

    /* 计数 */
    for (int i = 0;  i < strings.count; i++) {
        if (strcmp(myid, strings.data[i]) > 0) {
            flag = 0;
            break;
        }
    }

    return flag;
}

static void
get_node_name(const char *buf, char *node)
{
    const char *p = buf;
    int i;
    for (i = strlen(buf) – 1; i >= 0; i–) {
        if (*(p + i) == '/') {
            break;
        }
    }

    strcpy(node, p + i + 1);
    return;
}

编译这个代码:
$> gcc -g -std=gnu99 -o election election.c -DTHREADED -I/usr/local/include/zookeeper -lzookeeper_mt -lpthread

验证时,我们在不同窗口启动三次election程序:

窗口1, election启动:

$> election
Something happened.
type: -1
state: 3
path:
watcherCtx: Zookeeper examples: election
This is [member0000000001], i am a leader

窗口2,election启动:

$> election
Something happened.
type: -1
state: 3
path:
watcherCtx: Zookeeper examples: election
This is [member0000000002], i am a follower

此时窗口1中的election也会收到/election的字节点增加事件,并给出响应:

This is [member0000000001], i am a leader

同理当窗口3中的election启动时,窗口1和2中的election都能收到变动通知,并给予响应。

我们现在停掉窗口1中的election,大约5s后,我们在窗口2中看到:

This is [member0000000002], i am a leader

在窗口3中看到:

This is [member0000000003], i am a follower

可以看出窗口2和3中的election程序又做了一次自我选举。结果窗口2中的election由于节点编号最小而被选为Leader。

我的工作原则

想了若干种开场白,但无论哪种都不能令我满意,于是索性就这么开场了。

工作了若干年,不经意间就形成了自己的行事和决策风格,这里权且称之为工作原则吧。这些原则引导我制定工作目标、实施过程改善、作出方案决策、选择和培养团队人员以及进行自我改进等。我也相信这些原则是主观的、具有时间和环境局限性的。也许若干年后,随着我的角色和工作的变化,许多原则将 不再适用,但这不妨碍我现在将其总结和分享出来。

* 对工作原则的认知

原则就像定理一样,是你在决策以及行事前要参考的东西,它将对你的思维施加强大的因果影响,指引你一步一步的得到最终的结果。个人工作原则的行成 是一个逐渐认知、逐渐丰富的过程,与个人角色的影响力多寡有一定关系。最初入职场,你所能影响的范围较小,无非就是你所负责的那个一小块区域,更 多是与事儿打交道,似乎没有什么可以决策和选择的。你要做的就是按时保质地完成一个接着一个的任务。随着影响圈的扩大,你的行为将受到更多因素的 影响,你的思维计算开始变得复杂,你的潜意识告诉你这么做是正确的。久而久之,这种思维和行事方式就固化到你的大脑中了,形成了你的工作原则,并 且原则随着你的工作年头的增加而逐渐丰富。

工作原则是个体的,主观的,也可能是错的,也许只适合你的角色,但不一定适合他人。如果两个人的工作原则一模一样,那估计是电视剧中的情形,纯属 巧合。

有原则的工作观的行成时间因人而异,有的人初入职场就有,有的人要花上个几年时间,我就属于后者,缓慢型。

有了原则,还要会使用原则,这或多或少与情商有关。有时候,折中或妥协不一定是最坏的结果。

* 做事的原则

   【要结果,也要过程

    现代企业更强调结果导向,业绩为先。在组织与个人的绩效考核中,结果确是极其重要的指标因素,这些都无可厚非。但我坚持的原则是要结果,也要过程。个人不 是临时工,不是完成一个任务后就要离职;团队也不是打一杖就要解散的,因此每打一杖,我们既要胜利,也要打得一个比一个漂亮 – 投入少,损伤少,战果卓著,我们的人民子弟兵不就是这么发展壮大起来的么 – 鸟枪换炮了。一成不变的过程损失的是个人以及团队未来 的竞争力。因此对于软件开发团队而言,要实施积极的过程改善,改善是融于任务的过程中的。没有代码评审的,整个 Reviewboard玩玩;打包构建不规范的,弄个mavenbuildc试试;测试还靠人肉的,堆个自动化的测试框架(比如 robotframework)试试。过程的改善带来的是整体能力的提升,这就是我们除了结果之外所想要得到的。

   【从痛点出发

    这是一条寻觅过程改善点的原则,很多人也都能意识到过程的一成不变,但却始终找不到下手改进的切入点;
    这也是一条组织内开启微创新的原则。在“创新”一词被用烂的今天,真正能找到组织内创新之路起点的人却少之又少。

    什么是痛点(pain point)?顾名思义,引发痛苦的点。放在组织以及过程范围内来说就是让员工或组织在内部活动过程中产生别扭、不爽以及痛苦的点。比如:每次搭建一个产 品模拟环境都要半天时间、每次都要两人/天才能完成新版本的接收测试、TMD谁提交的代码让工程编译不过去了。

    我的原则是努力去发现痛点,深入理解痛点,并尝试缓解或解决痛点。

    发现痛点的一个方法就是降低自己的忍受力,这样痛点才能得以放大。否则中国人都是极具耐性且勤奋的,一点点挫折或别扭之处或浪费时间的事情都不会被列为痛点 的。

    解决痛点的一个前提是对其深入的理解。有的痛点,我们感受到的只是其外在的表象,其深层次的东西是需要深入地理解和挖掘的。只有挖掘到深层次,才能对症下 药,药到病除。

    客户的痛点,往往是一种很好的引导产品演化或服务提升的途径。比如:到海底捞吃饭要排队,显然大家都不喜欢排队。海底捞的团队发现了客户们的这个痛点,向 排队客户提供了超出客户预想的服务。之后的事情大家都有所耳闻了:这一痛点的解决居然变成了海底捞的“招牌“。

   【事先谋划布局

    我们知道要下好围棋,谋划布局是必不可少的。最佳布局是取得胜利的基石。要完成最佳的布局,需要棋手有对全盘的整体把握能力以及准确的时机判断能力。做事如下棋,尤其是在要完成一些重要且复杂的事情时,务必事先针对现状谋划出最佳的布局。

    在组织内部,资源和时间永远是有限的。要去完成一件不紧急但重要事情的时候,往往不能立即得到全部的资源以及充足的时间,甚至得不到其他人的认可(因意 识、眼光等种种原因)。一些自下而上发起的改善措施,甚至是得不到任何资源的。只能充分评估已有的资源和时间,以设定好的节奏稳步前进,取得一些阶段性的 成果。当时机成熟时,公开成果以获得领导的首肯以及各种资源来完成后面的计划。我在组织内部推行知识管理时就是这样布局的,而这个局花了两年多时间才基本 完成。

    大局大作,小局小作。关键是以敏锐的眼光准确的判断形势,以确定是否该落下下一颗棋子以及落在何处。
   
   【不违背工作节奏规律
   
    人不是机器,无法始终绷紧神经开全挂埋头苦干。人工作效率的高低和产出成果多寡符合一定的规律曲线,大致分为三个阶段:充电期、发光期与衰减期。

    不同年龄段的人的充电期、发光期、衰减期的长短不同,这个很好理解。年轻人发光期相对长,充电和衰减相对短。随着年龄的增加,发光期缩短,充电和衰减期变长。

    每个人要对属于自己的那个工作节奏做好充分认知。让发光期更有效率(每天高效利用8小时),让充电期集聚更多能量(身体上的、精神上的和知识技能上的),调整衰减期的工作内容。

    下班后尽量做与工作无关的事情(例如做自己的开源项目、融入家庭生活),努力追求工作与生活的平衡,是有利于提升充电效率的。

    长久违背这一自然规律,将使得节奏变得紊乱,而紊乱后的代价还是蛮高的。

    组织由个体组成,组织也因此呈现出一定的工作节奏,我们在考虑组织的工作负荷时不要忘了这一点。

   【时刻抱有危机感

    危机感让人警醒,并保持持续向前的动力和热情。

    时刻问自己:如果你离开当前公司,是否能瞬即得到其他同等或更好的公司的青睐。这种危机感让你会主动追随技术潮流的发展方向,武装自己,提升自己,让自己的受欢迎度维持在高位。

    组织也是一样,没有永恒不落的公司,没有永恒不落的行业。即便是百年老店IBM,也是在沙场中几经沉浮。危机感让组织持续寻找新的业务方向、积累新鲜的技术食粮,为将来残酷的竞争做着准备。

    【通过提升平台能力,提升整体能力
   
     与逐个培训和激励个体提升相比,组织整体能力的提升是更具性价比的。人是最复杂的动物,基因的万千变化使得自然界的人类个体差异十分巨大,这表现在智商、 兴趣、理想、热情等多个方面。用内容一致的课程对员工进行所谓的培训,收到的效果自然千差万别,整体提升有限。

     但如果将个体所在的平台的能力进行提升,就好比将传统的人工生产线换成机器人流水线,员工们要做的只是改变一下自己的行为,新的行为甚至比之前的操作更为简单,我们就可以得到整体的能力提升。

     这种方法的划算之处还在于即便在人员流失的情况下,新进的人员在这套平台或规程下段时间内也能达到相同的生产力,即便新人在各个方面都远逊色于离开的老员工。

* 用人的原则

     【但求最适合,不求最优秀
      
      理想情况下,所有组织都希望能招到世界上最优秀的员工 – 能力最强,效率最高。但事实上在IT行业里,世界范围内集聚牛人的公司也就那么几家,绝大多数公司的员工都是很平凡的,我所在的公司更是如此。中国的IT 牛人多聚集在北上广等一线城市,那里的IT环境好,待遇优越。但没有牛人不代表无法完成工作。在现有的可用资源下,我要找的是最适合的人 – 他们在技术方面不要求十分优秀,也许只是可以胜任,但却与其工作角色十分匹配。甚至于有些角色还真的不适合牛人去做,或大才小用,或热情耐心不足(要知道 牛人一般都很自负的,对某些工作不屑一顾,自然也不会投入热情和耐心)。
      
     【充分授权,服务到位

      实战是考验一个人的最好工具。通过实战,人员能力还将能得到最快的提升。因此从人员能力培养的角度上去看,我更愿意给予下属充分的授权,让他们放手去做。当然伴以检查与辅导,尽量减少他们走弯路的可能。

      在授权前,还要充分考虑到他们即将遇到的各种困难。并事先协调资源,给他们提供周到的服务,以帮助他们顺利完成工作任务。这些服务有可能是一些基础设施平台,也有可能是一些预研储备的技术方案。就好比武侠小说中的妙计锦囊,在关键时候可以帮助下属度过难关。  




这里是Tony Bai的个人Blog,欢迎访问、订阅和留言!订阅Feed请点击上面图片

如果您觉得这里的文章对您有帮助,请扫描上方二维码进行捐赠,加油后的Tony Bai将会为您呈现更多精彩的文章,谢谢!

如果您喜欢通过微信App浏览本站内容,可以扫描下方二维码,订阅本站官方微信订阅号“iamtonybai”;点击二维码,可直达本人官方微博主页^_^:



本站Powered by Digital Ocean VPS。

选择Digital Ocean VPS主机,即可获得10美元现金充值,可免费使用两个月哟!

著名主机提供商Linode 10$优惠码:linode10,在这里注册即可免费获得。

阿里云推荐码:1WFZ0V立享9折!

View Tony Bai's profile on LinkedIn


文章

评论

  • 正在加载...

分类

标签

归档











更多