添加链接 注册    登录
link之家
链接快照平台
  • 输入网页链接，自动生成快照
  • 标签化管理网页链接
相关文章推荐
谦虚好学的石榴  ·  根据事件类型，时间等获取事件结果集-阿里云帮 ...·  1 年前    · 
玉树临风的炒粉  ·  主流数据文件类型（.dat/.txt/.js ...·  2 年前    · 
淡定的金鱼  ·  SQL/MySQL/DAO层框架 - 知乎·  3 年前    · 
很拉风的丝瓜  ·  java - Return a list, ...·  3 年前    · 
link之家  ›  皇帝御书争锋芒
https://www.sohu.com/a/206114954_790376
体贴的匕首
2 年前

1. 概述

在使用 FineDataLink 「数据开发」搭建数仓或者进行数据处理时，经常需要进行数据的清洗、处理、计算等，FineDataLink 提供了多种可视化算子， 用户无需编写复杂的 SQL 语句 即可快速便捷的进行数据处理，提高开发效率。

本文将全面的介绍 使用 各种可视化算子 ，对数据进行快速清洗处理，比 SQL 更快更简便的完成任务开发。

2. 索引

序号 应用场景 功能说明 文档
1 多个业务系统的表数据中存在相同字段或相同含义的字段，需要将不同的来源数据上下合并到一个表输出 「 上下合并 」 算子，可 对多张表进行上下行合并，输出一张合并表 上下合并
2 两张数据表在不同的数据库中，希望能够将两张不同来源库的表进行关联生成新表 数据关联可实现 异构数据关联 数据关联
3

  • 多个列的表头作为字段值，合并到一个新列中，实现对多种指标的归纳和总结，方便进行分析和展示。

  • 将一维表转成二维表

列转行

行转列

4

数据解 析（JSON、XML格式数据）

解析 JSON 结构的数据，输出行列格式的数据

将 XML 格式数据解析为行列格式数据

JSON解析算子功能说明

XML解析算子

5 对数据字段类型、名称等进行设置

「字段设置」算子可对接入数据的字段做以下操作：

  • 删除部分字段。

  • 字段重命名。

  • 修改字段类型。

字段设置
6 对数据按照需求进行字段拆分

  • 字段值按照特定规则（分隔符或字符数）拆分， 拆分后的结果形成新的多列字段和值

  • 按照特定规则（分隔符）拆分， 拆分后的结果形成新的一列字段和值

字段拆列

字段拆行

7 用户数据存在空值，想过滤掉空值数据

过滤指定数据

数据过滤
8 同类数据的汇总计算

「分组汇总」对原始数据根据条件将相同的数据先合并到一组，然后按照分组后的数据进行汇总计算。

分组汇总
9 常用时间数据处理 可使用 SparkSQL 算子或者新增列算子实现时间字段的处理

新增列： 常见日期公式

SparkSQL： SparkSQL日期函数

10 常用文本数据处理 可使用 SparkSQL 算子或者新增列算子实现文本字段的处理

新增列： 字符串清洗

新增列_条件赋值

新增列_分组赋值

字符串拼接和截取

SparkSQL：

SparkSQL字符串函数

11

「编码函数」、「加密函数」、「签名函数」等常用于进行API加密认证取数时的 Token 生成。

可使用 SparkSQL 算子实现 数据加密解密应 用

SparkSQL编码、加密、解密函数

最佳实践：

API取数-SHA2加密身份验证&按页数取数

API取数-易流云MD5加密



 
推荐文章
谦虚好学的石榴  ·  根据事件类型，时间等获取事件结果集-阿里云帮助中心_-阿里云帮助中心
1 年前
玉树临风的炒粉  ·  主流数据文件类型（.dat/.txt/.json/.csv）导入到python - KévinX - 博客园
2 年前
淡定的金鱼  ·  SQL/MySQL/DAO层框架 - 知乎
3 年前
很拉风的丝瓜  ·  java - Return a list, I already have a rowmapper implementation - Stack Overflow
3 年前
今天看啥   ·   Py中国   ·   codingpro   ·   小百科   ·   link之家   ·   卧龙AI搜索
删除内容请联系邮箱 2879853325@qq.com
link之家 - 链接快照平台
© 2024 ~ 沪ICP备11025650号