在R中利用Azure计算机视觉创建循环/分析多幅图像的方法

Question

我目前正在使用Microsoft计算机视觉对>10k图像进行分析，并在R编程软件中进行操作。我想看看这些10k图像中有哪些标签，然后把最频繁的标签数到最不频繁的标签。所有这些图像目前都在我的计算机上。这不是为了商业目的，也不是为了我的研究。

问题是，我是R方面的新手，主要用它来进行数据可视化。

目前，我只在同一时间运行了对1幅图像的分析，我使用以下脚本进行了分析：

library(AzureRMR) 
library(AzureCognitive)

# Create Computer Vision endpoint
endp <- cognitive_endpoint(
  url = "https://xxxx.cognitiveservices.azure.com/",
  service_type = "ComputerVision",
  key = "xxxx")
  
# Add image
img_raw <- readBin("C:/Users/xxxx/Documents/Sample/trial.jpg", "raw", file.info("C:/Users/xxxx/Documents/Sample/trial.jpg")$size)

# Call the computer vision endpoint
data <- call_cognitive_endpoint(
  endpoint = endp,
  operation = "analyze",
  body = img_raw,
  encode="raw",
  options = list(visualFeatures = "tags"),
  http_verb = "POST")

print(data)

datatable <- data.frame(x, stringsAsFactors = TRUE)

结果如下：

打印(数据)显示：

$tags
$tags[[1]]
$tags[[1]]$name
[1] "person"

$tags[[1]]$confidence
[1] 0.998097


$tags[[2]]
$tags[[2]]$name
[1] "indoor"

$tags[[2]]$confidence
[1] 0.9948725


$tags[[3]]
$tags[[3]]$name
[1] "toddler"

$tags[[3]]$confidence
[1] 0.9893367


$tags[[4]]
$tags[[4]]$name
[1] "human face"

$tags[[4]]$confidence
[1] 0.9281158


$tags[[5]]
$tags[[5]]$name
[1] "child"

$tags[[5]]$confidence
[1] 0.877107


$tags[[6]]
$tags[[6]]$name
[1] "boy"

$tags[[6]]$confidence
[1] 0.8087585


$tags[[7]]
$tags[[7]]$name
[1] "baby"

$tags[[7]]$confidence
[1] 0.7611696


$tags[[8]]
$tags[[8]]$name
[1] "clothing"

$tags[[8]]$confidence
[1] 0.7346113



$requestId
[1] "0deda3ab-a02c-4d81-9de7-78326eb5f593"

$metadata
$metadata$height
[1] 640

$metadata$width
[1] 640

$metadata$format
[1] "Jpeg"

datatable数据框架如下所示：

数据表

我希望能够为一个文件夹中的每个10k图像运行这段代码，这是一个“示例”文件夹，我希望能够将结果放到dataframe表中，并将每个图像的结果放在一行中。我想知道有没有人知道怎么做？我应该创建循环吗？如何使这个脚本能够读取我拥有的10k图像中的每一个？

我已经尝试导入文件夹和图像列表，并将img_raw更改为下面的文件，但是没有运气.

enter code here
# Importing folder
folder <- "C:/Users/xxxx/Documents/Sample"

# Listing files inside the folder
files <- list.files(path = folder, recursive = TRUE, pattern = "*jpg", full.names = TRUE)

enter code here
# Call the computer vision endpoint
data <- call_cognitive_endpoint(
  endpoint = endp,
  operation = "analyze",
  body = files,
  options = list(visualFeatures = "tags"),
  http_verb = "POST")

print(data)

任何帮助都将不胜感激。谢谢你，大师！

Answer 1

这是一个常见的问题模式，在R中使用lapply函数或类似的方法很容易解决。

首先，编写一个处理单个文件的函数。确保要处理的文件是函数的第一个(或仅)参数。

imageToDataFrame <-function(f) {
  x <- call_cognitive_endpoint(
    endpoint = endp,
    operation = "analyze",
    body = f,
    options = list(visualFeatures = "tags"),
    http_verb = "POST"
  )
  data.frame(x, stringsAsFactors = TRUE)
}

现在，将该函数应用于文件列表。

folder <- "C:/Users/xxxx/Documents/Sample"
files <- list.files(path = folder, recursive = TRUE, pattern = "*jpg", full.names = TRUE)

listOfDataFrames <- lapply(files, imageToDataFrame)

这将返回数据帧的列表。将所有数据帧组合成一个您可以

allInOneDataframe <- lapply(files, imageToDataFrame) %>% dplyr::bind_rows()

但是，这没有提供有关从其中获取图像的文件的信息。

allInOneDataframe <- lapply(files, imageToDataFrame) %>%
                       dplyr::bind_rows(.id="FileID")

将给出一个识别文件的索引号。但更好的方法可能是修改处理功能：

library(tidyverse)

imageToDataFrame1 <-function(f) {
  x <- call_cognitive_endpoint(
    endpoint = endp,
    operation = "analyze",
    body = f,
    options = list(visualFeatures = "tags"),
    http_verb = "POST"
  )
  data.frame(x, stringsAsFactors = TRUE) %>% 
    add_column(FileName=f, .before=1)
}

所以

allInOneDataframe <- lapply(files, imageToDataFrame1) %>% bind_rows()

将文件名本身作为数据帧中的列。

查看一下您的示例一行数据框架，我认为通过将数据转换为长格式的整洁来实现pivot是有帮助的。

所有未经测试的代码，因为我无法访问您的C:驱动器，也不了解您的API密钥。