PHP Amazon大数据

Question

这是我第一次使用Amazon。

我仍然有点困惑如何存储来自数据库的50000多个结果的大量数据，并将其推送到队列中。

AWS实例

require_once __DIR__.'lib/aws/aws-autoloader.php';

try {

  $aws_sqs_client = \Aws\Sqs\SqsClient::factory(array(
     'region'  => 'eu-west-1',
     'credentials' => array(
        'key'       => AWS_ACCESS,
         'secret'   => AWS_SECRET
     )
   ));

} catch ( Exception $e ) {

}

MYSQL查询

$q = 'SELECT user_id, user_email FROM user' // This has more than 50000 rows
// Is this correct way? it will create 50000 queues?
foreach ( $q as $key => $row ) {
  $result = $client->createQueue(array(
     'QueueName' => 'string',
    'Attributes' => array(
         'Queue_key_'.$key => 'string',
     ),
  ));
}

还是需要将结果拆分为较小的结果，例如，然后计算页数

$q = 'SELECT user_id, user_email FROM user LIMIT 1000, 1' // Count total number of pages

$total_page = 500 // example;

for($i=1;$i<$total_page;$i++) { // then push it to the queue
  $result = $client->createQueue(array(
     'QueueName' => 'string',
    'Attributes' => array(
         'Queue_key_'.$i => 'LIMIT 1000, ',$i, // Mysql LIMIT
     ),
  ));
}

Answer 1

使用上述方法创建队列时，必须将数据推送到队列中以获取结果。有一个名为sendmessage的函数，它帮助您将数据推送到SQS队列。