首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >php从多个正在运行的脚本访问数据库而不重复选择

问php从多个正在运行的脚本访问数据库而不重复选择
EN

Stack Overflow用户
提问于 2013-12-09 19:15:19
回答 3查看 233关注 0票数 0

我有一个脚本,是张贴图片到Facebook的个人资料。它需要很长的时间,通常在它完成之前就会崩溃。我需要做的是从cron作业中运行多个版本的脚本,同时进行多个处理,这样它们的发布速度就更快了。

我的问题是,我希望同时运行多个脚本,以加快发布速度。但是,我需要确保脚本不尝试同时处理两个用户或从数据库中选择两个用户,而数据库可能正在由另一个正在运行的脚本进行处理,从而导致将两张照片张贴在用户墙上。

我的问题是如何高效地调用数据库,并创建一种同时在此数据库上运行多个脚本以提高post速度的方法。

我有一个名为tweetSent的字段,这个字段设置为notSent。在发布照片后,更新为“已发送”。但是,每个帖子需要将近7秒的时间,如果另一个脚本在处理一个用户时访问数据库,它将在用户墙上双发帖子,因为表中的字段仍然是'notSent‘。

我的代码说,选择一个用户,其中tweetSent是“notSent”。我有个办法可以解决我的问题。我正在考虑立即将其更新为“发送”,以便另一个同时运行的多个cron作业将选择这个用户。然后,当它完成发布时,它将更新为“已发送”。

我还看到了代码的另一个问题。它似乎同时选择了所有用户,然后从这个循环运行一个WHILE循环和post。在我看来,也许我应该选择一个用户,其中'tweetSent‘是'notSent’,然后更新它为‘发送’,当发送,然后更新到发送。然后把这个调用放到一个函数中的数据库中,然后在while循环中调用这个函数?不确定。

我对Stack上所有伟大的程序员提出的问题是,我想知道这是否是最好的方法,或者也许有人知道有一种更好、更有效的方法来完成我想要达到的目标。

下面是我当前脚本中运行非常慢的数据库部分,它将不允许我在没有双发帖的情况下运行这个脚本的多个版本。

代码语言:javascript
复制
$query = "SELECT * FROM `user` WHERE tokenExpireDate > \"$date\" AND tweetSent='notSent' ";


$retval = mysql_query($query) or die("MySQL Error: ".mysql_error());

while($row = mysql_fetch_array($retval))
{

    PostPhoto($fbId, $access_token);
    PostText($fbId, $access_token);


    echo "<hr>";

    $query = "UPDATE user SET tweetSent='sent' WHERE fbID='$fbId'";
    mysql_query($query) or die("MySQL Error: ".mysql_error());

}

更新:

我想出了一个“潜在”的解决方案。这是可行的还是愚蠢的?然而,当我在三个不同的窗口中同时运行脚本时,它只按顺序运行,不能同时连接到数据库。看起来。

代码语言:javascript
复制
$query = "SELECT * FROM `user` WHERE tokenExpireDate > \"$date\" AND tweetSent='notSent' LIMIT 5";
$retval = mysql_query($query) or die("MySQL Error: ".mysql_error());
while($row = mysql_fetch_array($retval))
    {
        $ID[] = $row['fbID'];
    }

echo count($ID);

for($i=0; count($ID)>$i;$i++)
{   
sendTweet($ID[$i]);
}

function sendTweet($ID)
{
    // QUES THE USER ID
    $query = "SELECT * FROM `user` WHERE tokenExpireDate > \"$date\" AND tweetSent='notSent' AND fbID = '$ID' LIMIT 7";
    $retval = mysql_query($query) or die("MySQL Error: ".mysql_error());

    if (mysql_num_rows($retval) >= 1 ) 
    { 
            $query = "UPDATE user SET tweetSent='sending' WHERE fbID='$ID'";
            mysql_query($query) or die("MySQL Error: ".mysql_error());  
            while($row = mysql_fetch_array($retval))
            {
                $fbId = $row['fbID'];
                $type = $row['type'];
                $access_token = $row['longToken'];


                PostPhoto($fbId, $access_token);
                PostText($fbId, $access_token);


                /// UPDATES TO SENT
                $query = "UPDATE user SET tweetSent='sent' WHERE fbID='$fbId'";
            mysql_query($query) or die("MySQL Error: ".mysql_error());
        }
    }
}
EN

回答 3

Stack Overflow用户

发布于 2013-12-09 19:29:54

几点建议:

  • 您需要了解进程中的瓶颈在哪里。猜测一下,我会想象这将是Facebook上的真实帖子。您应该集中精力提高这个部分的效率,否则您将永远得不到您想要的吞吐量。
  • 在用尽其他方法之前,不要使用多个重叠的cron脚本。
  • 假设发到Facebook的帖子是性能块,您可以考虑使用curl_mulit_exec()或类似的方式并行地对Facebook进行多个调用。我在PHP中有一个简单的REST客户端类,我已经设置了这样做。您可以随意使用它,也可以简单地查看curl_multi_exec()的实现,了解如何做到这一点。下面是链接- https://github.com/mikecbrant/php-rest-client
  • 在使用数据库时,应考虑使用极限语句。通过这种方式,您可以一次处理表中的一个较小的子集,在继续到下一个记录之前,为这个记录组更新成功的POST。例如,假设您使用curl_multi_exec()一次向Facebook发送10个帖子,您可以一次从DB中选择10行,为这些行发出10个Facebook并行请求,将投递结果更新到这些行,然后转移到下一组记录。
  • 您还可以考虑为此使用某种排队系统,因为这本质上就是您在这里所要做的就是构建一个队列。如果这对您来说似乎是一项艰巨的任务,那么也许从上面的步骤开始,如果您发现这仍然不能满足您的需要,那么就移到队列中去。当然,如果您希望对大量记录执行这种操作,您可能需要三思而后行,因为使用关系数据库作为队列对于大流量来说并不理想。
票数 1
EN

Stack Overflow用户

发布于 2013-12-09 19:21:23

最好的解决方案是将你的照片发帖系统改为消息队列,因为它听起来非常像一个。

IronMQ是一个很好的起点,也是最容易使用的地方之一,在这里您可以探索其他队列系统。你也得到了一个伟大的免费层。其他的是RabbitMQ和Amazon。

队列通过从队列中删除或‘弹出’消息来解决问题,然后进行处理。如果发生错误或无法处理消息,则将其重新放到队列中。

通过将其从队列中删除,您将确保没有其他进程能够访问它。

您可能还想看看吉尔曼。

如果不想将系统更改为队列系统,则需要查看事务和记录锁定。将记录设置为processing可以允许两个进程同时提取记录,然后两个进程都一个接一个地将其更新为processing,从而导致两个进程发布照片。

票数 0
EN

Stack Overflow用户

发布于 2013-12-09 19:51:41

辛格尔顿:

代码语言:javascript
复制
private static $MysqlAdapter;


private $con;

private function __construct() {
$this->con = new mysqli(DB_SERVER, DB_USER, DB_PW, DB_DB);
if ($this->con->connect_errno) {
    echo "Failed to connect to MySQL: (" . $this->con->connect_errno . ") " . $this->con->connect_error;
} else {
    $this->con->set_charset("utf8");
}
}

public static function getInstance() {
if (self::$MysqlAdapter == NULL) {
    self::$MysqlAdapter = new MysqlAdapter();
}
return self::$MysqlAdapter;
}
票数 -1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/20478787

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档