数据源介绍
DIP平台支持统一数据源管理,是构建「多源数据整合」核心优势的基础功能,支持接入多种不同类型数据源(如:结构化数据、非结构数据、机器数据等),通过数据处理引擎层,支持多源数据整合,能够从不同系统和渠道中提取数据,并通过智能化的方式将其融合,确保决策依据的全面性和准确性。
目前平台支持采集的数据源类型包括:
- SQL:
- MySQL
- MariaDB
- Oracle
- PostgreSQL
- SQLServer
- Apache Doris
- Hologres
- openGauss
- Dameng
- GaussDB
- KingbaseES
- NoSQL:
- MongoDB
- Files:
- Excel
- BigData:
- Apache Hive
- ClickHouse
- TDH Inceptor
- Platforms:
- 听云
- AnyShare 7.0
数据源创建基本步骤
第1步:进入数据智联 > 数据资源 > 数据源配置页面,点击【+新建】,进入“数据源新建”的配置流程,如下所示:
第2步:选择需要采集的数据源类型,点击下一步。 即可进入具体采集场景的配置。
第3步:配置信息填写完成后,点击下一步>(测试连接)完成数据源创建。若配置成功,可点击查看数据源列表,查看创建完成的数据源相关信息。在此页面,也可进行编辑、删除、搜索等操作。
数据源创建典型场景
SQL-MySQL数据源创建
创建基本步骤可参考以上文档内容。创建SQL-MySQL数据源-服务管理系统的具体配置信息示例如下:
备注:连接方式默认为JDBC
NoSQL-MongoDB数据源创建
单节点部署
创建基本步骤可参考以上文档内容。创建NoSQL-MongoDB数据源-人力资源数据库的具体配置信息示例如下:
副本集模式部署
创建基本步骤可参考以上文档内容。创建NoSQL-MongoDB数据源-人力资源数据库2的具体配置信息示例如下:
备注:连接方式默认为JDBC
说明:
- 单节点部署仅单一实例,简单且资源占用少,多用于开发测试或对数据可用性要求低的小型场景
- MongoDB 副本集部署是多节点,主从复制,可自动故障转移,提供高可用与数据冗余,适用于生产等对数据可靠性要求高的场景
Files-Excel数据源创建
创建基本步骤可参考以上文档内容。创建Files-Excel-电影导演信息表的具体配置信息示例如下:
备注:连接方式默认为HTTPS
BigData-ClickHouse数据源创建
创建基本步骤可参考以上文档内容。创建BigData-ClickHouse-电商用户行为分析的具体配置信息示例如下:
Platform-AnyShare 7.0 数据源创建
创建基本步骤可参考以上文档内容。创建Platform-AnyShare 7.0-简历库和证书AnyShare文档库的具体配置信息示例如下:
备注:连接方式默认为HTTPS