注意要点：
（1）如果stype为internal，则prefunc/combinefunc参数和返回值均为internal
（2）sfunc 参数比aggregate参数多一个arg_0（第一个参数），作为内部状态保存并进行计算迭代。
（3）参数为internal的combinefunc必须提供serialfunc/deserialfunc
（4）finalfunc在combinefunc结束后调用一次，对最终结果进行转换
（5）执行逻辑：
多层聚合：sfunc在segment上执行，prefunc/combinefunc在master上执行
单层聚合：sfunc在master上执行
（6）prefunc必须保证context为aggregate
（7）serialfunc/deserialfunc的context为当前内存 context即可
roaringbitmap.sql:
CREATE OR REPLACE FUNCTION rb_or_trans_pre(internal, internal)
RETURNS internal
AS 'MODULE_PATHNAME', 'rb_or_trans_pre'
LANGUAGE C IMMUTABLE;
CREATE AGGREGATE rb_or_agg(roaringbitmap)(
SFUNC = rb_or_trans,
PREFUNC = rb_or_trans_pre,
STYPE = internal,
FINALFUNC = rb_serialize,
SERIALFUNC = rb_serialfunc,
DESERIALFUNC = rb_deserialfunc
roaringbitmap.c:
//bitmap or trans pre
PG_FUNCTION_INFO_V1(rb_or_trans_pre);
Datum rb_or_trans_pre(PG_FUNCTION_ARGS);
Datum
rb_or_trans_pre(PG_FUNCTION_ARGS)
MemoryContext aggctx;
bytea *bb;
roaring_bitmap_t *r1;
roaring_bitmap_t *r2;
// We must be called as a transition routine or we fail.
if (!AggCheckCallContext(fcinfo, &aggctx))
ereport(ERROR,
(errcode(ERRCODE_DATA_EXCEPTION),
errmsg("rb_or_trans_pre outside transition context")));
// Is the first argument a NULL?
if (PG_ARGISNULL(0))
r1 = setup_roaringbitmap(aggctx);
r1 = (roaring_bitmap_t *)PG_GETARG_POINTER(0);
// Is the second argument non-null?
if (!PG_ARGISNULL(1))
r2 = (roaring_bitmap_t *) PG_GETARG_POINTER(1);
if (PG_ARGISNULL(0))
r1 = roaring_bitmap_copy(r2);
roaring_bitmap_xor_inplace(r1, r2);
roaring_bitmap_free(r2);
PG_RETURN_POINTER(r1);
Datum rb_serialfunc(PG_FUNCTION_ARGS);
PG_FUNCTION_INFO_V1(rb_serialfunc);
Datum
rb_serialfunc(PG_FUNCTION_ARGS)
roaring_bitmap_t *r1;
bytea *bb;
bytea *result;
if (PG_ARGISNULL(0))
PG_RETURN_NULL();
}else{
r1 = (roaring_bitmap_t *)PG_GETARG_POINTER(0);
if(r1!=NULL){
size_t expectedsize = roaring_bitmap_portable_size_in_bytes(r1);
bytea *serializedbytes = (bytea *)palloc(VARHDRSZ + expectedsize);
roaring_bitmap_portable_serialize(r1, VARDATA(serializedbytes));
roaring_bitmap_free(r1);
SET_VARSIZE(serializedbytes, VARHDRSZ + expectedsize);
PG_RETURN_BYTEA_P(serializedbytes);
}else{
PG_RETURN_NULL();
PG_FUNCTION_INFO_V1(rb_deserialfunc);
Datum rb_deserialfunc(PG_FUNCTION_ARGS);
Datum
rb_deserialfunc(PG_FUNCTION_ARGS)
bytea *bb ;
roaring_bitmap_t *r1;
if (PG_ARGISNULL(0))
PG_RETURN_NULL();
}else{
bb = PG_GETARG_BYTEA_P(0);
r1 = roaring_bitmap_portable_deserialize(VARDATA(bb));
PG_RETURN_POINTER(r1);
select * from pg_aggregate where aggfnoid='rb_and_cardinality_agg'::regproc;
增加多层聚合功能：注意要点：（1）如果stype为internal，则prefunc/combinefunc参数和返回值均为internal（2）sfunc 参数比aggregate参数多一个arg_0（第一个参数），作为内部状态保存并进行计算迭代。（3）参数为internal的combinefunc必须提供serialfunc/deserialfunc（4）finalfunc...
停止ambari服务器
确保同时对GPDB和gpdb-plugin执行setup_repo.sh
# cd to where GPDB.tar and
greenplum
-plugin.tar files are extracted
./setup_repo.sh
安装
插件
：
sudo yum install -y
greenplum
-plugin
仅单节点群集在启动ambari服务器之前，请从metainfo.xml中删除GPDBSTANDBY组件。 见附录1
启动ambari-server
仅单节点群集在“群集安装向导”期间，请确保通过Ambari向导将
greenplum
-site中
摘要： 标签 PostgreSQL ,
Greenplum
, varbitx ,
roaring
bitmap
, pilosa , varbit , hll , 多阶段聚合 背景
roaring
bitmap
是一个压缩比很高同时性能不错的BIT库，被广泛使用（例如
Greenplum
, ES, InfluxDB.
点此查看原文
PostgreSQL ,
Greenplum
, varbitx ,
roaring
bitmap
, pilosa , varbit , hll , 多阶段聚合
Roaring
bitmap
是一种高效的
Bitmap
压缩算法。
Bitmap
位计算非常适合大数据基数计算，常用于去重、标签筛选、时间序列等计算中。GPDB-
roaring
bitmap
插件
将
Roaring
bitmap
功能集成到
Greenplum
数据库中，将
Roaring
bitmap
作为一种数据类型提供原生的数据库函数、操作符、聚合等功能支持。
使用gpdb-
roaring
bitmap
插件
的用户注意了...
在大数据处理和应用场景中经常需要**从亿级甚至十亿级会员中搜索出符合特定标签的会员。**很多企业都会使用 HBase 或者 Hive + Hadoop 的方式，这样的方式查询效率非常慢，在标签非常多的情况下计算，更是让人无法忍受。这里我们介绍一种
Greenplum
+
Roaring
bitmap
的组合使用方案，亿级甚至十亿级会员_万级标签_的条件下查询毫秒级出结果。
业务系统的场景图如下。
数据从业务系统经过处理后流进 OLAP 分析平台，OLAP 平台的底层支持就是使用
Greenplum
+ Ro
PostgreSQL 目前支持8种索引接口，包括B-Tree, hash, gin, gist, sp-gist, brin, rum, bloom。
Greenplum
目前支持B-Tree, GiST,
bitmap
三种索引接口。
用户可以根据不同的数据类型，...
1、在使用
Greenplum
的过程中，如果业务会经常对数据进行更新，删除，插入，可能导致数据出现膨胀。
《如何检测、清理
Greenplum
膨胀、垃圾 - 阿里云HybridDB for PG最佳实践》
《
Greenplum
列存表(AO表)的膨胀、...
你可以参考以下步骤来使用datax的读
插件
来读取
greenplum
数据库中的数据：
1. 首先，你需要在datax的配置文件中配置
greenplum
的数据源信息，包括数据库地址、端口、用户名、密码等。
2. 然后，在配置文件中配置读
插件
，指定要读取的表名、字段信息等。
3. 接下来，你可以使用datax的命令行工具来启动任务，开始读取
greenplum
数据库中的数据。
需要注意的是，具体的配置和使用方法可能会因为不同的datax版本而有所不同，你可以参考datax的官方文档或者社区中的相关讨论来获取更详细的信息。
Failed to load implementation from: com.github.fommil.netlib.NativeSystemBLAS解决方法
yff12345678:
HALCON error #5322: Image acquisition: timeout
morison_j:
