首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏kk大数据

    Flink DataStream 内置数据源和外部数据源

    1 内置数据源 (1)文件数据源 在 StreamExecutionEnvironment 中,可以使用 readTextFile 方法直接读取文本文件,也可以使用 readFile 方法通过指定文件 env.socketTextStream("localhost",9999) 在 unix 环境下,可以执行 nc -lk 9999 命令,启动端口,在客户端中输入数据,flink 就能接收到数据了 (3)集合数据源 如: val dataStream = env.fromElements(Tuple2(1L,3L),Tuple2(1L,5L)) val dataStream2 = env.fromCollection 2 外部数据源 前面的数据源类型都是非常基础的数据接入方式,例如从文件,Socket 端口中接入数据,其本质是实现了不同的 SourceFunction,Flink 将其封装成高级的 API,减少了用户的使用成本 Flink 中已经实现了大多数主流的数据源连接器,但是 Flink 的整体架构非常开放,用户可以自定义连接器,以满足不同数据源的接入需求。

    3.2K00发布于 2019-10-10
  • 来自专栏MasiMaro 的技术博文

    OLEDB数据源

    数据源对象代表数据库的一个连接,是需要创建的第一个对象。 而数据源对象主要用于配置数据库连接的相关属性如连接数据库的用户名密码等等 数据源主要完成的功能如下: 进行数据库身份认证 为每个连接准备对应的资源,如对应的数据缓冲,网络连接资源 设置连接属性,给访问者何种权限 IDBProperties *pIDBProperties = NULL; //设置链接属性 DBPROPSET dbPropset[1] = {0}; DBPROP dbProps[5] 接口的SetProperties函数来设置对应的数据源对象的接口。 IDBPromptInitialize创建时会弹出一个数据源选择的对话框,供用户选择相关配置信息(数据源/用户名/密码等)然后根据这些配置自动生成连接对象。

    1.1K20发布于 2018-08-31
  • 来自专栏知无不言 - 畅所欲言

    Mybatis 手撸专栏|第5章:数据源的解析、创建和使用

    欢迎来到《Mybatis 手撸专栏》的第5章!在本章中,我们将深入探讨 Mybatis 中数据源的解析、创建和使用。 数据源是应用程序与数据库之间的桥梁,它负责管理数据库连接,并且对数据库的读写性能有着重要影响。 在本文中,我们将学习如何解析和配置数据源,并展示如何创建和使用数据源。 解析数据源配置 在 Mybatis 中,我们可以通过配置文件来定义数据源。下面是一个基本的数据源配置示例: <! Mybatis 内置了多种数据源类型,包括 POOLED、UNPOOLED 和 JNDI 等。这些类型在连接池管理、性能和资源占用等方面有所差异,你可以根据应用程序的特点选择适合的数据源类型。 2. 我们学习了如何解析数据源配置文件,从而创建数据源对象,并展示了如何使用数据源对象来创建和使用 SqlSession 对象进行数据库操作。

    45460编辑于 2023-11-07
  • springboot整合多数据源的配置以及动态切换数据源,注解切换数据源

    javax.sql.DataSource; import java.util.HashMap; import java.util.Map; /** * @author xiaobo * @date 2023/5/ * * @author bo * @version 1.0 * @date 2023/5/19 08:45 */ @Retention(RetentionPolicy.RUNTIME) @Target ; } finally { DataSourceContextHolder.clearDataSourceType(); } } } 5️⃣ * * @author bo * @version 1.0 * @date 2023/5/19 08:44 */ public class DataSourceContextHolder { * * @author bo * @version 1.0 * @date 2023/5/19 08:46 */ public class DynamicDataSource extends AbstractRoutingDataSource

    3.1K10编辑于 2025-05-31
  • 来自专栏java编程那点事

    JDBC数据源

    那么此时,用Spark SQL来通过JDBC数据源,加载MySQL中的数据,然后通过各种算子进行处理,是最好的选择。因为Spark是分布式的计算框架,对于1000万数据,肯定是分布式处理的。

    85720编辑于 2023-02-25
  • 【详解】SpringBoot动态数据源数据源自动切换

    SpringBoot动态数据源数据源自动切换在现代企业级应用中,为了提高系统的可维护性和扩展性,多数据源的配置和使用变得越来越常见。 useSSL=false username: root password: root driver-class-name: com.mysql.cj.jdbc.Driver5. protected Object determineCurrentLookupKey() { return DataSourceContextHolder.getDataSource(); }}5. 创建数据源配置类创建一个配置类来定义和配置多个数据源。 protected Object determineCurrentLookupKey() { return DataSourceContextHolder.getDataSource(); }}5.

    59310编辑于 2025-10-22
  • 来自专栏CodeGuide | 程序员编码指南

    《Mybatis 手撸专栏》第5章:数据源的解析、创建和使用

    解析数据源配置 5. SQL执行和结果封装 六、测试 1. 事先准备 2. 单元测试 七、总结 一、前言 管你吃几碗粉,有流量就行! 三、设计 建立数据源连接池和 JDBC 事务工厂操作,并以 xml 配置数据源信息为入口,在 XMLConfigBuilder 中添加数据源解析和构建操作,向配置类configuration添加 JDBC 图 5-1 数据源的解析和使用 在 parse 中解析 XML DB 链接配置信息,并完成事务工厂和连接池的注册环境到配置类的操作。 ,如图 5-2 所示 图 5-2 数据源的解析和使用核心类关系 以事务接口 Transaction 和事务工厂 TransactionFactory 的实现,包装数据源 DruidDataSourceFactory 5.

    51340编辑于 2022-04-19
  • 来自专栏灵墨AI探索室

    从单数据源到多数据源的探讨

    今天我想简单地分享一下如何将一个老项目从单数据源切换为多数据源的过程。 我的主要任务是将原本使用单一数据源的架构,升级为支持多数据源的架构。 使用现成的spring-security,注入数据源后,直接查询各种权限信息。国际化配置使用到了数据源信息。目前就这几种,因为项目使用的是jndi的方式注入,所以对于多数据源来说也有一些困难。 不过我的大概思路就是将数据源注入个默认数据源,使用动态key的方式切换数据源。 总的来说,将传统单数据源架构迁移到多数据源架构并不简单,但通过合理的模块梳理和逐步推进,整个过程可以得到有效实施。

    40420编辑于 2025-01-17
  • 来自专栏代码人生

    Spring多数据源配置系列(一)——多数据源配置

    luo4105/article/details/77720679 资源 Git地址:https://code.csdn.net/luo4105/study_multipledatasources Spring多数据源 Spring中,可以通过AbstractRoutingDataSource来实现多数据源管理。 在Spring注册多个数据源 2. 新建类继承AbstractRoutingDataSource,并配置 3. 给TheadLocal赋值 这种技术现在已经过时,现在大部分使用数据库代理。 ,这里我们需要新建一个类继承它,并重写determineCurrentLookupKey方法,这个方法是多数据源的调用的逻辑部分,它返回一个多数据源的key,根据key找到对应的DataSource。 在spring的配置DynamicDataSource时,需要指定targetDataSources,这就是目标数据源集,是一个map,key就是通过targetDataSources获得对应的数据源

    2.4K20发布于 2019-10-30
  • 来自专栏allsmallpi博客

    Spring Boot + Mybatis多数据源和动态数据源配置

    转载自 http://blog.csdn.net/neosmith/article/details/61202084 网上的文章基本上都是只有多数据源或只有动态数据源,而最近的项目需要同时使用两种方式 *属性并自动配置单数据源。 动态数据源 使用动态数据源的初衷,是能在应用层做到读写分离,即在程序代码中控制不同的查询方法去连接不同的库。 除了这种方法以外,数据库中间件也是个不错的选择,它的优点是数据库集群对应用来说只暴露为单库,不需要切换数据源的代码逻辑。 我们通过自定义注解 + AOP的方式实现数据源动态切换。 dsMap = new HashMap(5); dsMap.put("titan-master", dataSource1()); dsMap.put("ds2", dataSource2

    1.7K10发布于 2021-02-25
  • 来自专栏快乐阿超

    mp数据源加密

    可以看到加密后的url、账号和密码,以及一个randomKey这个随机秘钥 我们把他们代替掉我们本地yml配置中的明文密码 randomKey:[ 2714d208797f4a0c ] url:[ mpw:5GiethoxEEWPFCVioU2KC8YpgkWJKV73Onbro3IXzMLoO73twkBNSV0fmvCSUof2Ow2LVcRT +kdi29edE7pIq7L6s2+JG3Pcq8OVV5yHxobEGfm6+xUS08Csfw8wvHUW8xZOXtE4+NN5cUbkuH1eb/yJ5y6KHuRbQRZW2bCIWmwK9efBCfnEwE +sDQ3RO/RqONhVGMFfSEBc91byT0DKrTlh5nJ1mMCNa9BdLv4/8fYqssf4I85nJL8pT8i0zwWxhsl52UXjBKf8qpyIaPXUqVYbgi41R57UxW1lxU6jp9Y

    1.1K10编辑于 2022-08-16
  • 来自专栏java编程那点事

    Hive数据源实战

    org.apache.spark.sql.DataFrame; import org.apache.spark.sql.Row; import org.apache.spark.sql.hive.HiveContext; /** * Hive数据源

    98120编辑于 2023-02-25
  • 来自专栏全栈程序员必看

    bonecp使用数据源

    #Setting this to 5 with 3 partitions means you will have 15 unique #connections to the database. minConnectionsPerPartition and gradually #increase connections as required. bonecp.maxConnectionsPerPartition=5 Default 5. bonecp.acquireRetryAttempts=5 #Set to true to disable JMX. bonecp.disableJMX=false #Queries --配置数据源 --> <bean id="dataSource" class="org.springframework.jdbc.datasource.LazyConnectionDataSourceProxy

    68320编辑于 2022-07-06
  • 来自专栏java编程那点事

    JDBC数据源实战

    org.apache.spark.sql.types.StructField; import org.apache.spark.sql.types.StructType; import scala.Tuple2; /** * JDBC数据源 JavaSparkContext sc = new JavaSparkContext(conf); SQLContext sqlContext = new SQLContext(sc); ​​// 总结一下 ​​// jdbc数据源

    62510编辑于 2023-02-25
  • 来自专栏一个执拗的后端搬砖工

    springboot(2)--数据源

    常见数据源(连接池)有druid,tomcat,dbcp,c3p0和hikari等,此篇我们就基于流行的数据源实现springboot对数据库的操作。 JdbcTemplate jdbcTemplate = new JdbcTemplate(dataSource); return jdbcTemplate; } } 5. JdbcTemplate jdbcTemplate = new JdbcTemplate(dataSource); return jdbcTemplate; } } 5. JdbcTemplate jdbcTemplate = new JdbcTemplate(dataSource); return jdbcTemplate; } } 5. JdbcTemplate jdbcTemplate = new JdbcTemplate(dataSource); return jdbcTemplate; } } 5.

    89320发布于 2020-11-19
  • 来自专栏兮动人的博客

    Spring配置数据源

    数据源(连接池)的作用 数据源(连接池)是提高程序性能如出现的 事先实例化数据源,初始化部分连接资源 使用连接资源时从数据源中获取 使用完毕后将连接资源归还给数据源 常见的数据源(连接池):DBCP、C3P0 数据源的开发步骤 导入数据源的坐标和数据库驱动坐标 创建数据源对象 设置数据源的基本连接数据 使用数据源获取连接资源和归还连接资源 3. 数据源的手动创建 导入c3p0和druid的坐标 <! dependency> 创建C3P0连接池 @Test //测试手动创建 c3p0 连接池 public void test1() throws Exception { //创建数据源 @Test //测试Spring容器产生数据源对象 public void test4() throws Exception { ApplicationContext dataSource.getConnection(); System.out.println(connection); connection.close(); } [在这里插入图片描述] 5.

    1.2K00发布于 2021-11-05
  • 来自专栏苏三说技术

    聊聊动态数据源

    今天这篇文章就专门跟大家一起聊聊动态数据源,希望对你会有所帮助。 一、为什么需要动态数据源? 1.1 传统多数据源的问题 传统方式的多个数据源配置,硬编码,不灵活。 1.2 动态数据源的优势 接下来,我们一起看看使用动态数据源后的优雅代码。 master_password driver-class-name:com.mysql.cj.jdbc.Driver maximum-pool-size:20 minimum-idle:5 数据源预热:应用启动时预热常用数据源 缓存策略:缓存数据源配置和路由信息 监控告警:建立完善的数据源监控体系 总结 动态数据源是一个强大的技术方案,能够很好地解决多数据源管理的复杂性。

    35310编辑于 2025-11-26
  • 来自专栏MasiMaro 的技术博文

    OLEDB 枚举数据源

    在之前的程序中,可以看到有这样一个功能,弹出一个对话框让用户选择需要连接的数据源,并输入用户名和密码,最后连接;而且在一些数据库管理软件中也提供这种功能——能够自己枚举出系统中存在的数据源,同时还可以枚举出能够连接的 接着可以根据行集中的行类型来判断是否是一个子枚举对象或者数据源对象。如果是子枚举对象,可以利用名字对象的方法创建一个新的子枚举对象,然后根据这个枚举对象来枚举其中的数据源对象。 这两个分别用来枚举系统中存在的数据源对象和数据源对象中对应的数据库实例。当用户根据界面的提示选择了对应的选项后点击测试连接按钮来尝试连接。 这里展示的代码主要是3段,枚举数据源,枚举数据源中对应的数据库实例,以及根据选择的实例生成对应的数据源对象接口并测试连接。 IDC_EDIT_PASSWORD, csPasswd); GetDlgItemText(IDC_EDIT_DATABASE, csDB); //设置链接属性 DBPROP connProp[5]

    86610发布于 2018-08-31
  • 来自专栏Danny的专栏

    配置ODBC数据源

    下面来大概叙述一下如何建立ODBC数据源连接。          首先,得找到ODBC数据源驱动器,如果你的系统是WinXP或者Win7 32位,控制面板-管理工具-数据源(如果你的系统是Win7 64位,C:\Windows\syswow64,找到odbcad32. 填写数据源名、说明,单击“选择”选择您的数据库文件的路径,如需要设置密码可单击“高级”选项设置密码。 填写数据源名称,注意,此数据源名称即为代码中要连接数据库的字符串中的DSN文件名称:ConnectString = "FileDSN=student.dsn;UID=sa;PWD=password",点击 单击“测试数据源(T)”,测试成功!

    7K40发布于 2018-09-13
  • 来自专栏Java成长之路

    tomcat数据源配置

    一、tomcat配置数据源 1. 局部数据源 在tomcat的conf/context.xml里添加如下: ? 全局数据源 在tomcat的conf/server.xml里添加如下: ? 局部数据源 分三步 1.1 配置数据库连接文件 配置webRoot/WEB-INF/aurora.database/datasource.config文件: <? 全局数据源 分两步 1.1 配置数据库连接文件 参见局部数据源部门的1配置 1.2 修改tomcat\conf\Catalina\localhost 下的配置文件: 如noah.xml <Context

    3.9K20发布于 2018-09-29
领券