通过文件名和DateStamp连续导入多个txt文件

Question

我希望设置一个自动作业，以便将多个txt文件连续插入到表中。

我有多个数据记录器，它们输出多个(每分钟) .txt文件，并由它们的数据标记命名，即20130921_1755.txt (YYYYMMDD_HHMM.txt)。它们还有一个名为DateStamp的字段，它包含每个记录的第二个日期值。

我知道我想要我的查询做什么..。

1. 将目录中的所有文件名插入表ALLFILENAMES
2. 在最终表TBLMEASUREMENTS中选择最大日期
3. 将最大日期转换为文件名(2013-09-22 17:53:00改为"20130922_1753.txt")
4. 从表ALLFILENAMES中大容量插入所有文件名>最大日期

我已经通过使用下面找到的一个帖子开始了这个过程：从文件夹将多个CSV文件导入Server

我在试图确定如何选择需要导入到表中的特定文件时遇到了问题。特别是因为这是一项持续的工作，我需要不断地查看数据库，看看哪些文件没有导入，然后导入它们。到目前为止，这是我的代码，可以导入多个文件。

--some variables
declare @filename varchar(255),
        @path     varchar(255),
        @sql      varchar(8000),
        @cmd      varchar(1000)


--get the list of files to process:
SET @path = 'C:\SQL_txt\1_hr\'
SET @cmd = 'dir ' + @path + '*.txt /b'
INSERT INTO  ALLFILENAMES(WHICHFILE)
EXEC Master..xp_cmdShell @cmd
UPDATE ALLFILENAMES SET WHICHPATH = @path where WHICHPATH is null


--cursor loop
declare c1 cursor for SELECT WHICHPATH,WHICHFILE FROM ALLFILENAMES where WHICHFILE like '%.txt%'
open c1
fetch next from c1 into @path,@filename
While @@fetch_status <> -1
  begin
  --bulk insert won't take a variable name, so make a sql and execute it instead:
   set @sql = 'BULK INSERT Temp FROM ''' + @path + @filename + ''' '
       + '     WITH ( 
               FIELDTERMINATOR = ''\t'', 
               ROWTERMINATOR = ''\n''
            ) '
print @sql
exec (@sql)

  fetch next from c1 into @path,@filename
  end
close c1
deallocate c1

我一直在玩左，伦和替换试图将最大日期戳转换为一个文件名，但没有运气。任何帮助或建议都是有用的。我做错了吗？谢谢

Answer 1

我会用SSIS/数据工具来完成这个任务。

从“监视”文件夹导入一个文件，然后使用以下方法将该文件移动到另一个文件夹：

• ForEach环型集装箱
• 数据流任务
• 文件系统任务
• 派生列(可选，但建议用于源跟踪)

您可以在派生列中使用映射的filepath变量来指示源文件，除非存在将相同的文件多次添加到监视文件夹的危险，否则几乎不需要每次运行“是否已导入此文件”检查。

有许多关于SSIS的教程，这里有两个：

• SSIS -通过平面文件循环
• SSIS -移动和重命名文件