Sight DataLink 概述
Sight DataLink 是可视化数据集成平台：数据源连接、管道同步（全量/增量/CDC）、DAG 定时任务、实时任务、数据服务、数据质量、血缘与对账，可选 AI 辅助。
概述
Sight DataLink（赛特数据集成）把分散在不同系统里的数据接入、同步、加工、检查和对外提供放在同一个平台里完成。平台以单个进程运行，浏览器访问，不需要分别部署调度器、同步工具和 API 网关。
典型场景：
- 把业务库的数据按全量、增量或日志 CDC 方式同步到数仓或分析库。
- 用任务画布编排「同步 → 清洗 → 校验 → 通知」的每日批处理流程。
- 把一条查询发布成 HTTP 接口，或发布成供智能体调用的 MCP 应用。
- 对来源与目标做行数、合计对账，对不一致的周期重新采集。
功能总览
| 模块 | 能做什么 | 入口 |
|---|---|---|
| 数据源连接 | 连接关系库、MPP/分析库、Kafka、文件、REST、MongoDB 等；库表浏览、SQL 查询 | 「数据资源」>「数据源连接」 |
| 管道任务 | 全量快照（追加/覆盖/按主键更新）、增量（水位字段）、日志 CDC；字段映射、清洗规则、脏数据容错 | 「数据集成」>「管道任务」 |
| 定时任务 | DAG 画布；节点含数据同步、SQL/脚本、条件与分支、调用任务/检测、HTTP、文件传输（SFTP/FTP/S3）、通知；cron 与一次性调度、运行到节点、版本与发布、补数、失败处理任务 | 「数据集成」>「定时任务」 |
| 实时任务 | 实时来源 → 算子链 → 目标（数据库表或 Kafka 主题）；位点在目标提交后才前进；支持暂停、继续、重置 | 「数据集成」>「实时任务」 |
| 数据服务 | 把查询发布成 HTTP API 或 MCP 应用；另有平台级 MCP 入口 POST /mcp |
「数据服务」 |
| 数据检测 | 强/弱规则、值域白名单、调度与通知 | 「数据治理」>「数据检测」 |
| 全局清洗规则 | 脱敏、加密 | 「数据治理」>「全局清洗规则」 |
| 血缘分析 | 由管道、任务与 SQL 解析得到表级、字段级血缘 | 「数据治理」>「血缘分析」 |
| 数据对账 | 按日/周/月比较来源与目标的行数和合计；一条规则可绑定多个任务 | 「数据治理」>「数据对账」 |
| 运维 | 运维概览、运行记录、回收站、事件收件箱、平台日志 | 「运维」 |
| 管理系统 | 用户、角色、登录方式、访问令牌、邮件发送记录、AI 辅助、导入导出、元数据库 | 「管理系统」 |
支持的数据源
| 类别 | 数据源 |
|---|---|
| 关系库 | PostgreSQL、MySQL、MariaDB、SQL Server、Oracle，以及达梦、金仓、openGauss、瀚高、海量、TiDB、OceanBase、PolarDB |
| 分析库 | ClickHouse、Apache Doris、StarRocks、SelectDB |
| 消息队列 | Kafka |
| 文件 | CSV、Excel（.xlsx）、SFTP、FTP、S3 |
| 接口与文档库 | REST 接口、Elasticsearch/OpenSearch、MongoDB |
提示：日志 CDC 支持 PostgreSQL（逻辑复制）、MySQL/MariaDB（binlog）、SQL Server（CDC）和 Oracle。其他数据源使用全量或增量方式同步。
平台能力
- 用户、角色与权限；内置角色为管理员、开发者、运维、只读。
- 登录方式：本地账号、LDAP/AD、OIDC 单点登录。
- 访问令牌：供脚本和外部系统调用平台 API。
- 凭据托管：密码、密钥集中保存并加密，任务中按名称引用。
- 通知渠道与邮件：任务失败、检测不通过时通知相关人员。
- 回收站：误删的对象可恢复。
- 配置导入导出：界面「管理系统」>「导入导出」，或命令行
tools/datalink-cli.sh。 - 多实例集群：见 安装与部署。
