Alex Volkov » Скрипты

Заливка файлов на радикал PHP

Alex Volkov — Fri, 26 Feb 2010 07:25:04 +0000

Если нет желания забивать сервер картинками, то данный скриптец поможет. Он грузит картинку с веба (урл) на радикал, возвращает адрес картинки на радикале.

$postdata = "upload=yes&F=&URLF=".$imagelink."&O=yes&M=640&JQ=85&J=yes&IM=7&VM=180&R=0&VE=yes&V=Увеличить&X=&FS=";
$page = FetchUrl("http://www.radikal.ru/action.aspx", $postdata, NULL, NULL, NULL);
preg_match("!id=\"input_link_1\" value=\"(.*?)\"!si", $page, $imageUrl);
$imageUrl = $imageUrl[1];

FetchUrl моя универсальная функция для курла, я ее под все подряд юзаю, поэтому там много левого кода. При желании можно поудалять половину.

function FetchUrl($url, $postvars, $timeout, $ref, $blank){
 sleep($timeout);                         
 echo @date("r")." fetching $url\r\n";              
 $ch = curl_init();   
 if(isset($postvars)){
 echo @date("r")." $postvars\r\n";                    
 curl_setopt($ch, CURLOPT_POST, 1);
 curl_setopt($ch, CURLOPT_POSTFIELDS, $postvars);
 }
//        curl_setopt($ch, CURLOPT_PROXY, $proxy);
 curl_setopt($ch, CURLOPT_FOLLOWLOCATION, TRUE);       
//        curl_setopt($ch, CURLOPT_HEADER, true);           
 curl_setopt($ch, CURLOPT_TIMEOUT,15);               
 curl_setopt($ch, CURLOPT_ENCODING, 'gzip');         
 curl_setopt($ch, CURLOPT_COOKIEJAR, "c1.txt");    
 curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (X11; U; Linux x86_64; ru; rv:1.9.1.6) Gecko/20091201 SUSE/3.5.6-1.1.1 Firefox/3.5.6 FirePHP/0.3");     
 curl_setopt($ch, CURLOPT_COOKIEFILE, "c1.txt");     
 curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE);  
 curl_setopt($ch, CURLOPT_URL, trim($url));
 curl_setopt($ch, CURLOPT_AUTOREFERER, TRUE);
 curl_setopt($ch, CURLOPT_REFERER, $ref);                                                                  
 $result = curl_exec($ch);     
 if($blank == "1"){    
     $result = preg_replace("/\n/", "", $result);
     $result = preg_replace("/\r/", "", $result);
 }
 curl_close($ch);                                                                                        
 return $result;                                                                                              
 }

Возможно, это будет интересно…

Многопоточность в php

Alex Volkov — Thu, 21 Jan 2010 19:20:18 +0000

Оффициальной нет, сразу скажу. Есть только многочисленные костылики. Примеры, в основном, будут полезны в сео софте.

Встала вобщем задача передо мной – накатать многопоточный нескажу что, причем не просто многопоточный, а чтобы еще и потоками можно было управлять, как в том же делфи. То есть, чтобы можно было поток остановить, запустить, запауазить, возобновить и потоки еще должны оповещать о своем состоянии, мол в данный момент выполняю то-то.

Собсно, теория реализации.

Два скрипта – один поток, второй запускалка потоков. Поток делает свои дела, запускалка вычисляет, сколько потоков запустить и с какими параметрами.

Пример первый, запускает 20 потоков, если общее количество потоков ниже чем 10

 1):

$thCount = exec("ps a | thread.php | wc -l");
echo $thCount."\r\n";
 if($thCount < 10){
 for($i = 0; $i < 20; $i++){
 echo "launch thread\r\n";
 passthru("(php -f thread.php & ) >> /dev/null 2>&1");
 //sleep(1);
 }
 } else {
 sleep(5);
}
endwhile;

?>

Получается хрень, которая дозапускает потоки время от времени по условию. Потоков всегда разное число в разные промежутки времени и остановить их никак нельзя. Но, если некритичны все эти вещи, цикл вполне неплохо работает. Подходит, например, всякие регеры. При допилке можно держать нужное количество потоков с погрешностью +- 1. Для этого нужно просто динамически вычислять число запускаемых потоков. Да, и ps показывает три работающих потока при таком вызове, даже если нет ни одного. Один дает греп, второй сам скрипт, третий фиг знает кто.

Вариант 2.

Тут уже захотелось сделать более гибкую штуку. А именно – взять например 1к урлов и раздать их поровну N потокам.

> /dev/null 2>&1");    }
 if($i == $threads-1) { passthru("(php -f thread.php '".$perThread * $i."|".count($base)."' & ) >> /dev/null 2>&1");    }
 if(($i !== 0)&&($i !== $threads-1)) {
 $start = $perThread * $i + 1;
 $end = $start -1 + $perThread;
 passthru("(php -f thread.php '".$start."|".$end."' & ) >> /dev/null 2>&1");    
 }
}
?>

Данный пример запускает поток с параметрами, который тот потом достает из массива $argv и использует. Такое вот разделение труда.

Взаимодействие между потоком и «мамой».
Тут у меня только теория. Думаю реализовать это через файлы. Поток создает файл с именем своей сессии (номера, пида), мама читает оттуда. Чтобы вывести инфу о потоках красиво и наглядно, думаю заюзать ncurses. Это сишная либа, на ней сделаны midnight commander, top. Доступна не только для пхп.

Изменения состояний потоков.
Так и не придумал. Можно попробовать через теже файлы, но это надо после каждой строчки кода потока вставлять проверку файла на наличии там указаний. Скорость само собой упадет. Да и при таких реализациях мама убивается только вручную.

Саня, он же похапэ дуд , сразу обрубил – Я бы такие задачи не решал на php. Я тоже посматриваю в сторону других языков, думаю выучить что-то типа си, но пока я выучу, мне наверно уже ничего не надо будет. Есть вариант на питоне. И как раз в ридере попалась статья одного камрада, который начал изучать его и привел примерчик.
Вариант ,как по мне, не очень, бесконечные потоки и в пхп можно пускать. Но в посте увидел ссылочку, третий примерчик очень похож на то, что надо. Плюс питона еще в том, что в нем можно использовать графические либы типа gtk или qt, а это уже полноценные проги для енд-юзера а не софт для консольных гиков.

memcached php
установка memcached
скрипт опроса ajax

Нет совпадений

Полезные регулярки.

Alex Volkov — Fri, 25 Sep 2009 12:01:31 +0000

Несколько полезных примеров регулярок, которые можно скопипастить по мере нужды. Также небольшая памятка по составлению и функциям.

Примеры шаблонов

Выражение	Совпадает
foo	Слово foo
^foo	Начинается с foo
foo$	Кончается с foo
^foo$	Точное совпадение с foo
[abc]	a, b или c
[a-z]	Любая строчная буква
[^A-Z]	Любой символ не в верхнем регистре
(gif\|jpg)	Совпадает либо gif либо jpeg
[a-z]+	Одна или более строчных букв
[0-9.-]	Любое число, точка или минус
^[a-zA-Z0-9_]{1,}$	Любое слово, в котором как минимум одна буква, число или _
([wx])([yz])	wy, wz или xy, xz
[^A-Za-z0-9]	Любой символ (не буква и не цифра)
([A-Z]{3}\|[0-9]{4})	Совпадает три буквы или четыре цифры

Функции для работы

Функция	Описание
preg_match()	Ищет совпадение по шаблону
preg_match_all()	Ищет все совпадения по шаблону
preg_replace()	Замена совпадения по шаблону
preg_split()	Разбивка на несколько частей по шаблону
preg_grep()	Возвращает массив вхождений, которые соответствуют шаблону
preg_ quote()	Экранирует символы в регулярных выражениях

Проверить домен

$url = "http://komunitasweb.com/";
if (preg_match('/^(http|https|ftp)://([A-Z0-9][A-Z0-9_-]*(?:.[A-Z0-9][A-Z0-9_-]*)+):?(d+)?/?/i', $url)) {
    echo "Your url is ok.";
} else {
    echo "Wrong url.";
}

Подстветка текста

$text = "Sample sentence from KomunitasWeb, regex has become popular in web programming. Now we learn regex. According to wikipedia, Regular expressions (abbreviated as regex or regexp, with plural forms regexes, regexps, or regexen) are written in a formal language that can be interpreted by a regular expression processor";
$text = preg_replace("/b(regex)b/i", '1', $text);
echo $text;

Подстветить результаты поиска в wordpress

Небольшой хак подсветки искомых слов для блога. Открываем search.php и ищет там строку:

echo $title;

И меняем ее на:

	$title 	= get_the_title();
	$keys= explode(" ",$s);
	$title 	= preg_replace('/('.implode('|', $keys) .')/iu',
		'\0',
		$title);

И добавляем в css

strong.search-excerpt { background: yellow; }

Получаем все картинки со страницы

$url = "http://komunitasweb.com/";
$images = array();
preg_match_all('/(img|src)=("|')[^"'>]+/i', $data, $media);
unset($data);
$data=preg_replace('/(img|src)("|'|="|=')(.*)/i',"$3",$media[0]);
foreach($data as $url)
{
	$info = pathinfo($url);
	if (isset($info['extension']))
	{
		if (($info['extension'] == 'jpg') ||
		($info['extension'] == 'jpeg') ||
		($info['extension'] == 'gif') ||
		($info['extension'] == 'png'))
		array_push($images, $url);
	}
}

Убираем повторяющиеся слова

$text = preg_replace("/s(w+s)1/i", "$1", $text);

Убираем повторяющиеся точки с запятыми

$text = preg_replace("/.+/i", ".", $text);

Проверям тег – XML/HTML

function get_tag( $tag, $xml ) {
  $tag = preg_quote($tag);
  preg_match_all('{<'.$tag.'[^>]*>(.*?).'}',
                   $xml,
                   $matches,
                   PREG_PATTERN_ORDER);

  return $matches[1];
}

Ищем совпадения по тегам – XML/HTML

function get_tag( $tag, $xml ) {
  $tag = preg_quote($tag);
  preg_match_all('{<'.$tag.'[^>]*>(.*?).'}',
                   $xml,
                   $matches,
                   PREG_PATTERN_ORDER);

  return $matches[1];
}

Ищем совпадения по тегам с установленным атрибутом – XML/HTML

function get_tag( $attr, $value, $xml, $tag=null ) {
  if( is_null($tag) )
    $tag = '\w+';
  else
    $tag = preg_quote($tag);

  $attr = preg_quote($attr);
  $value = preg_quote($value);

  $tag_regex = "/<(".$tag.")[^>]*$attr\s*=\s*".
                "(['\"])$value\\2[^>]*>(.*?)<\/\\1>/"

  preg_match_all($tag_regex,
                 $xml,
                 $matches,
                 PREG_PATTERN_ORDER);

  return $matches[3];
}

Проверяем шестнадцатеричное значение

$string = "#555555";
if (preg_match('/^#(?:(?:[a-fd]{3}){1,2})$/i', $string)) {
echo "example 6 successful.";
}

Находим заголовок страницы

$fp = fopen("http://www.catswhocode.com/blog","r");
while (!feof($fp) ){
    $page .= fgets($fp, 4096);
}

$titre = eregi("",$page,$regs);
echo $regs[1];
fclose($fp);

Распарсиваем логи апача

//Logs: Apache web server
//Successful hits to HTML files only.  Useful for counting the number of page views.
'^((?#client IP or domain name)S+)s+((?#basic authentication)S+s+S+)s+[((?#date and time)[^]]+)]s+"(?:GET|POST|HEAD) ((?#file)/[^ ?"]+?.html?)??((?#parameters)[^ ?"]+)? HTTP/[0-9.]+"s+(?#status code)200s+((?#bytes transferred)[-0-9]+)s+"((?#referrer)[^"]*)"s+"((?#user agent)[^"]*)"$'

//Logs: Apache web server
//404 errors only
'^((?#client IP or domain name)S+)s+((?#basic authentication)S+s+S+)s+[((?#date and time)[^]]+)]s+"(?:GET|POST|HEAD) ((?#file)[^ ?"]+)??((?#parameters)[^ ?"]+)? HTTP/[0-9.]+"s+(?#status code)404s+((?#bytes transferred)[-0-9]+)s+"((?#referrer)[^"]*)"s+"((?#user agent)[^"]*)"$'

Заменяем двойные кавычки на безопасный аналог

preg_replace('B"b([^"x84x93x94rn]+)b"B', '?1?', $text);

Проверяем стойкость пароля

'A(?=[-_a-zA-Z0-9]*?[A-Z])(?=[-_a-zA-Z0-9]*?[a-z])(?=[-_a-zA-Z0-9]*?[0-9])[-_a-zA-Z0-9]{6,}z'

Используем регулярку для вывода всех картинок из поста wordpress

Например, можно вывести нужную картинку как превью или показать их в архивах.


post_content;
$szSearchPattern = '~]* />~';

// Run preg_match_all to grab all the images and save the results in $aPics
preg_match_all( $szSearchPattern, $szPostContent, $aPics );

// Check to see if we have at least 1 image
$iNumberOfPics = count($aPics[0]);

if ( $iNumberOfPics > 0 ) {
     // Now here you would do whatever you need to do with the images
     // For this example the images are just displayed
     for ( $i=0; $i < $iNumberOfPics ; $i++ ) {
          echo $aPics[0][$i];
     };
};

endwhile;
endif;
?>

ВСтавляем смайлики в текст

$texte='A text with a smiley  ';
echo str_replace(':-)','',$texte);

Источник

Возможно, это будет интересно…

Скрипты для морфологического анализа текста.

Alex Volkov — Sat, 25 Jul 2009 22:09:46 +0000

Под систему – проект от яндекса, бесплатный – Mystem.
PHP – phpmorphy, про него также тут, на phpclub и у деды Гринвуда

Возможно, это будет интересно…

Количество подписчиков фидбернера числом.

Alex Volkov — Sat, 25 Jul 2009 12:59:15 +0000

feed->entry['circulation'];
echo $fb;
?>

результат в сайдбаре

Возможно, это будет интересно…

32700:parse error. not well formed

Alex Volkov — Fri, 10 Jul 2009 10:19:05 +0000

На заметку.
Иногда выскакивает при постинге через XML-RPC.
Причина в неверно оформленном отправляемом запросе. У меня выдавалась еще и потому, что кодировка отличная от UTF-8 была

Возможно, это будет интересно…

Регулярка для многострочного HTML кода

Alex Volkov — Tue, 30 Jun 2009 07:13:21 +0000

Например, если

$pageHTML = preg_replace("/\n/", "", $pageHTML);
$pageHTML = preg_replace("/\r/", "", $pageHTML);

Возможно, это будет интересно…

Отобразить PSD файл при помощи PHP

Alex Volkov — Tue, 02 Jun 2009 17:52:45 +0000

Есть оказывается, специальный класс для этого. Совместим с PHP4/5. Скачать тут

Используется так



Написал кот, который кодит

Возможно, это будет интересно…

Твиттер-плагины и хаки для вордпресса

Alex Volkov — Wed, 27 May 2009 16:14:18 +0000

Как вывести последний твит, сделать на лету короткий урл и многое другое в этом посте.
С этим мотоциклом что-то совсем подзабил на все дела в вебе, в том числе и на блог.
Про то, как вывести последний твит и как добавить ссылку tweet this уже писал.
Сейчас все вместе, в упорядоченном виде.

Создаем короткие урлы на лету

Для чего они нужны итак понятно, твиттер имеет ограничение в 150 символов, поэтому ссылки режем.
Сама функция:

function getTinyUrl($url) {
      $tinyurl = file_get_contents("
      http://tinyurl.com/api-create.php?url=".$url);
     return $tinyurl;
  }

Вызываем ее так :

ID));
echo 'Tiny Url for this post: '.$turl.''
?>

2.Выводим последний твит

Уже писал, но для порядка повторюсь

My last Tweet";

$suffix = "";

$feed = "http://search.twitter.com/search.atom?q=from:
" . $username . "&rpp=1";

function parse_feed($feed) {
    $stepOne = explode("", $feed);
    $stepTwo = explode("", $stepOne[1]);
    $tweet = $stepTwo[0];
    $tweet = str_replace("<", "<", $tweet);
    $tweet = str_replace(">", ">", $tweet);
    return $tweet;
}

$twitterFeed = file_get_contents($feed);
echo stripslashes($prefix) . parse_feed($twitterFeed) .
stripslashes($suffix);
?>

Выводим последний твит картинкой

Для эстетов. Есть такой сайтец – Twitsig, идем туда, вбиваем нужно имя и получаем на выбор либо код либо готовую картинку

Во, я про мотик свой в твиттер написал:

Создаем кнопку добавить в твиттер.

Писал уже,в примере только не кнопка а ссылка, ну это легко поправимо.
В нужном месте (index.php, single.php) добавляем строчки

Определяем посетителя, который пришел из твиттера.

Особой нужды в этом нет, тот же ливер отлавливает переходы с твиттера, но если например хочется поприветствовать человека, который увидел линк в чьей нибудь ленте и перешел почитать, то следующий код:

Создаем отдельную страницу для твиттера на блоге

При помощи некоторых функций вп можно вывести свою временную ленту на блоге.

Создаем пустой файл в теме, например twit.php. Добавляем туда код

Создаем новую страницу из админки, выбираем использовать шаблон Twitter page (у меня справа при создании новой страницы)

При надобности можно добавить свой дизайн. Адрес рсс ленты брать у себя в твиттере.

Пример у меня

Небольшая поправочка. Вариант от автора не сработал у меня, вся лента была в непонятной кодировке. Решил вот так:




items, 0, $maxitems);
?>


No items';
else
foreach ( $items as $item ) : ?>
'
title=''>

Используем твиттер аватары

Забираем плуг здесь
Копипастим содержимое в function.php вашей темы
Открываем comments.php, находим цикл вывода комментов, туда добавляем код:

Хаки на этом кончаются, начинаеются плагины.

Twitter Updater

Отсылает сообщения в твиттер если написан новый пост или изменен старый

TwitThis

Добавляет ссылку на добавление в твиттер к текущему посту.

Twit It Up

Делает тоже, что и предыдущий плагин, только на ajax.

Twit Twoo

~~Дайте~~Твитните две позволяет рассылать сообщения друзьям из админки вп.

Twittar

Как писалось выше, выводит аватары из твиттера. Имхо, из граватара удобнее.

TweetBacks

Собирает беки из твиттера на пост, если тот начал активно обсуждаться.

Оригинал на ангельском

Возможно, это будет интересно…

БД быстрее файлов?

Alex Volkov — Sat, 09 May 2009 08:21:47 +0000

Вроде везде говорится, что да. При стандартном открытии файлов в пхп возможно и быстрее, но ведь можно считывать содержимое файла через системный вызов при помощи cat.

Сделал два файла, один подключался к базе, считывал заголовок этого блога, выводил его. Второй считывал файл в переменную и далее грепом выбирал заголовок. Результаты не в пользу бд: разброс значений от 0,047 мс до 0,128мс. Файлы стабильно показывали 0,05мс.
Интересовала скорость простого запроса, без сложных условий выборки, хотя и по файлам через системный вызов можно grep’ом отфильтровать как надо.

Усредненные результаты 10 запусков обоих файлов:
БД: ~0.0832мс
Файл: ~0.0505мс

Сами скрипты:

$ cat testdb.php


$ cat testf.php

Подсчитывал время так:

time php script.php