2006年六月月 发布的文章

也谈内存对齐(续)

关于内存对齐的话题,始终是敏感的。稍有不慎,必将闯下大祸!最近项目稍显轻闲,自己给自己安排一天反思和总结一下,突然想到以前写过的一篇'也谈内存对齐',那篇文章谈的是内存对齐的基本知识以及一些实验的数据,想必很多人看完后,会收获一些东西,但是对内存对齐的应用还是处于懵懂状态,其实大部分时间我们是不会显式的用到'内存对齐的',但是有些时候我们需要这样做。这里做了一个小例子,希望能给大家以启发。

例子是这样的:我们有一种二进制文件,其中存储了多条经过特定对齐的某种记录格式的数据,我们的任务就是解析出来这些数据,但是我们不知道也没有这种数据的记录格式结构的定义,但我们不是一无所有,我们有一个表,这个表描述了这个记录格式中有哪些域以及这些域的类型信息,我们还知道的是源数据的对齐系数。

叙述完问题后,我们来给出一些具体的东西:

二进制文件生成程序:
#pragma pack(1)
struct foo_t {
        int     a;
        char    b[25];
        int     c;
};
#pragma pack()

int main() {
        FILE            *fp     = NULL;
        struct foo_t    foo1    = {12457, "test foo1", 75421};
        struct foo_t    foo2    = {36098, "test foo2", 89063};

        fp = fopen("foo.dat", "wb+");
        if (fp == NULL) {
                printf("error in open foo.dat!\n");
        }

        fwrite(&foo1, sizeof(foo1), 1, fp);
        fwrite(&foo2, sizeof(foo2), 1, fp);

        fclose(fp);

        return 0;
}

生成的待解析文件:foo.dat,其中有两条记录。

好了,我们的任务已经很明确了,就是正确解析出这两条记录。如果解析程序知道有下面这样的结构体定义:
#pragma pack(1)
struct foo_t {
        int     a;
        char    b[25];
        int     c;
};
#pragma pack()
那这里也就不用说废话了,我们不知道这个结构定义,不过我们通过知道的一些信息可以整理出一个描述该结构定义的一个表:

#define X_CHAR          1
#define X_STRING        2
#define X_INT           3

typedef struct x_fld_info_t {
        char    name[MAX_FIELD_NAME_LEN];
        int     type;
        int     nitems;
        int     offset;
} x_fld_info_t;

x_fld_info_t    cpi_type_info_tab[3] = { /* cpi – composite */
        {"a", X_INT, 1, -1},
        {"b", X_STRING, 25, -1},
        {"c", X_INT, 1, -1}
};

想一想,我们能从文件foo.dat中读出来什么?仅仅是一块数据,每次读多大一块?如何在这块数据中找到相应的域呢?没错,我们需要通过cpi_type_info_tab这个表信息得出每条foo_t记录的大小,还要得到foo_t中每个域在这块数据中的偏移量,然后根据偏移量和域自身大小准确获取其内容。

好了终于要用到内存对齐的知识了,其实想想也知道foo.dat的文件生成程序和我们的解析程序可能不在一台机器上,而且完全可能在体系结构不同的机器上,这样不同体系结构的机器他们的默认对齐系数、字节序都可能不同(这里我们暂不考虑字节序的问题),我们在文件生成程序那边强制指定对齐系数有利于解析程序这边的解析。我们要做的就是根据已知的对齐系数和cpi_type_info_tab表中的信息计算出来该结构体在特定对齐系数下的总大小以及其各个域的偏移量。下面的宏X_ROUND_UP和函数align_cpi_type配合完成了这一工作:

int x_atom_type_size[4] = {
        -1,                 // 从下表1开始有意义
        sizeof(char),    // 对应X_CHAR的原子类型的size
        sizeof(char),    // 对应X_STRING的原子类型的size
        sizeof(int)       // 对应X_INT的原子类型的size
};

static int lg2(int k) { /* 求k以2为底的对数值,这里假设k一定为2的次方^_^ */
        int     i = 0;

        while ((k /= 2) != 0) {
                i++;
        }
        return i;
}

#define X_ROUND_UP(x, k, rv) do { \
                unsigned int t = (-1 << k); \
                (rv) = ((x – t – 1) & t); \
        } while(0)  /* 将x向上圆整到2的k次幂的倍数 */

static void align_cpi_type(x_fld_info_t *tab, int fld_cnt, int force_align_mod, int *size) {
        int     i       = 0;
        int     cur     = 0;
        int     rv      = 0;
        int     max_sz  = 0; /* 复合类型各个域中的最大原子类型的长度, 用于对齐整个结构 */
        int     atom_sz = 0; /* 域的原子类型 */
        int     ali_mod = 0; /* alignment modules */

        /*
         * 对齐各个域
         */
        for (i = 0; i < fld_cnt; i++) {
                atom_sz = x_atom_type_size[tab[i].type];
                if (max_sz < atom_sz) {
                        max_sz = atom_sz;
                }

                if (atom_sz < force_align_mod) {
                        ali_mod = atom_sz;
                } else {
                        ali_mod = force_align_mod;
                }

                X_ROUND_UP(cur, lg2(ali_mod), rv);
                tab[i].offset = rv;
                cur = tab[i].offset; /* 这一句代码还要感谢一位留名为"十年草木"的网友的提醒 */
                cur += (atom_sz * (tab[i].nitems));
        }

        /*
         * 对齐整个复合类型
         */
        if (max_sz < force_align_mod) {
                ali_mod = max_sz;
        } else {
                ali_mod = force_align_mod;
        }

        X_ROUND_UP(cur, lg2(ali_mod), rv);
        (*size) = rv;
}

如果对内存对齐还有疑惑的,可以去看看我的那篇'也谈内存对齐',再回到这来看align_cpi_type的实现,这里的X_ROUND_UP的算法借自于'Hacker's Delight'一书,很好的一本讨论'Computer Arithmetic'的书,里面的很多Knowledge & Tip很有价值。通过align_cpi_type函数我们既得到了结构的大小也得到了结构中各个域的偏移量。根据这些信息我们就可以输出文件foo.dat中的数据了。

static void output_cpi_mem(x_fld_info_t *tab, int fld_cnt, char *buf)
{
        int     i = 0;
        int     int_tmp = 0;
        char    str_tmp[50]; /* 这里仅是举例, 所以使用了一个固定大小的缓冲区, 实际上需要做一个可动态扩展的缓冲区 */

        for (i = 0; i < fld_cnt; i++) {
                if (tab[i].type == X_STRING) {
                        memset(str_tmp, 0, sizeof(str_tmp));
                        memcpy(str_tmp, (char*)(buf+(tab[i].offset)), x_atom_type_size[tab[i].type] * (tab[i].nitems));
                        printf("the value of field '%s' is [%s]\n”, tab[i].name, str_tmp);
                } else if (tab[i].type == X_INT) {
                        memcpy(&int_tmp, (char*)(buf+(tab[i].offset)), x_atom_type_size[tab[i].type] * (tab[i].nitems));
                        printf("the value of field '%s' is [%d]\n”, tab[i].name, int_tmp);
                }
        }
}

int main() {
        x_fld_info_t    cpi_type_info_tab[3] = { /* cpi – composite */
                {"a", X_INT, 1, -1},
                {"b", X_STRING, 25, -1},
                {"c", X_INT, 1, -1}
        };

        int     size = 0;
        int     i    = 0;

        align_cpi_type(cpi_type_info_tab, sizeof(cpi_type_info_tab)/sizeof(cpi_type_info_tab[0]), modules, &size);

        /*
         * 从文件foo.dat中读出所有记录
         * 并打印出来
         */
        FILE    *fp     = NULL;
        char    buf[50];

        fp = fopen("foo.dat", "r");
        if (fp == NULL) {
                printf("error in fopen!\n");
        }

        for (i = 0; i < 2; i++) { /* 这里偷了个懒儿,直接用2这个记录的个数了 */
                memset(buf, 0, sizeof(buf));
                fread(buf, size, 1, fp);

                /*
                 * 通过cpi_type_info_tab中的信息打印出
                 * 各个字段的值
                 */
                output_cpi_mem(cpi_type_info_tab, 3, buf);
        }

        fclose(fp);

        return 0;
}

执行输出:
the value of field 'a' is [12457]
the value of field 'b' is [test foo1]
the value of field 'c' is [75421]
the value of field 'a' is [36098]
the value of field 'b' is [test foo2]
the value of field 'c' is [89063]

看到这有些人可能还是很糊涂,到底为什么要这么做呢?提示一下:现在我们要解析一存储未知类型数据的文件的记录时,我们只需要这个纪录的一些描述信息即可了,而无需知道那个foo_t的具体定义了。能不能理解就看你自己了。

Google Earth更新中国地区卫星照片啦!

最近对于中国的Google Fans来说,有一件好消息值得一提,那就是Google Earth更新中国地区卫星照片了。早在Google Earth刚推出的时候就使用过,只是那时和诸多GFans一样,对Google Earth提供的中国地区城市的照片清晰度不佳感到很是郁闷,那时只有少数大城市,如北京、上海、深圳、香港有清晰可见人影的卫星照片,其余城市照片放大到一定程度就模糊了。现在好了,全国各省级城市基本上都有了很清晰的照片了,大家可以更加自由的在Google Earth上寻找自己的’目标地’的靓照了,在中华网军事频道甚至有些网友找到了’歼-10′在机场内停放的照片。’牛’就一个字!

下面是我目前所在公司的一张Google Earth卫星全景照片:

http://static.flickr.com/69/166263192_1a83828e29.jpg?v=0

如发现本站页面被黑,比如:挂载广告、挖矿等恶意代码,请朋友们及时联系我。十分感谢! Go语言第一课 Go语言精进之路1 Go语言精进之路2 Go语言编程指南
商务合作请联系bigwhite.cn AT aliyun.com

欢迎使用邮件订阅我的博客

输入邮箱订阅本站,只要有新文章发布,就会第一时间发送邮件通知你哦!

这里是 Tony Bai的个人Blog,欢迎访问、订阅和留言! 订阅Feed请点击上面图片

如果您觉得这里的文章对您有帮助,请扫描上方二维码进行捐赠 ,加油后的Tony Bai将会为您呈现更多精彩的文章,谢谢!

如果您希望通过微信捐赠,请用微信客户端扫描下方赞赏码:

如果您希望通过比特币或以太币捐赠,可以扫描下方二维码:

比特币:

以太币:

如果您喜欢通过微信浏览本站内容,可以扫描下方二维码,订阅本站官方微信订阅号“iamtonybai”;点击二维码,可直达本人官方微博主页^_^:
本站Powered by Digital Ocean VPS。
选择Digital Ocean VPS主机,即可获得10美元现金充值,可 免费使用两个月哟! 著名主机提供商Linode 10$优惠码:linode10,在 这里注册即可免费获 得。阿里云推荐码: 1WFZ0V立享9折!


View Tony Bai's profile on LinkedIn
DigitalOcean Referral Badge

文章

评论

  • 正在加载...

分类

标签

归档



View My Stats