Data mining de IMDB y HKMDB

Si necesitan información de cine encontraran que ni imdb.com ni hkmdb.com proveen un API o similar que permita buscar datos fácil y rápidamente. Esto es una cagada, así que escribí unas funciones en php que usan cURL para minar datos del html directamente.

La aplicación Movies de iPhone permite catalogar películas con gran cantidad de opciones, pero mucho mejor que cargarlas una por una a mano, es la funcionalidad que tiene para importar datos de un xml. En mi caso particular, los datos de mis películas están en una base mySQL propietaria no compatible con Movies. Por este motivo tuve que escribir un php que generara el xml compatible y decidí usar datos de IMDB Y HKMDB para completar los que faltaran en mi base.

http://www.netwalkapps.com/content/movies

En el caso de IMDB pueden buscar por una o más palabras pasándole un string a la función imdb_search(), el string puede contener espacios. Si todo funciona bien la función devolverá un string con el url de un titulo en imdb.com que puede o no ser el que Uds. buscan. Si la búsqueda genera más de un resultado el php tomara la primer opción presentada. Esto no siempre es la mejor opción, pero nadie es perfecto. HKMDB funciona igual con hkmdb_search().

Una vez que tienen un url valido de un titulo en imdb o hkmdb, se lo pasan a la función imdb_get() / hkmdb_get(). Si todo sale bien la función debería devolver un array asociativo con los datos encontrados. Para IMDB estos datos son titulo, año, descripción, director, país, duración, genero, lenguaje, y títulos alternativos. Para HKMDB estos datos son titulo, año, país, genero y director.

IMDB acepta búsquedas por GET. Pero HKMDB hace las búsquedas por POST, y tiene un tema poco amigable con unos redirects. Por eso está incluida una función muy útil que encontré para hacer POST con cURL.

Tomen en cuenta que si HKMDB y/o IMDB modifican la disposición y/o forma de búsqueda las funciones pueden volverse inútiles. Parsear el html depende de tags específicos en un orden especifico.

function postPage($url,$pvars,$referer,$timeout) { if(!isset($timeout)) $timeout=30; $curl = curl_init(); $post = http_build_query($pvars); if(isset($referer)){ curl_setopt ($curl, CURLOPT_REFERER, $referer); } curl_setopt ($curl, CURLOPT_URL, $url); curl_setopt ($curl, CURLOPT_TIMEOUT, $timeout); curl_setopt ($curl, CURLOPT_USERAGENT, sprintf("Mozilla/%d.0",rand(4,5))); curl_setopt ($curl, CURLOPT_HEADER, 0); curl_setopt ($curl, CURLOPT_RETURNTRANSFER, 1); curl_setopt ($curl, CURLOPT_SSL_VERIFYPEER, 0); curl_setopt ($curl, CURLOPT_POST, 1); curl_setopt ($curl, CURLOPT_POSTFIELDS, $post); curl_setopt ($curl, CURLOPT_HTTPHEADER, array("Content-type: application/x-www-form-urlencoded")); $html = curl_exec ($curl); curl_close ($curl); return $html; } function imdb_get($urldest) { if(empty($urldest)) return false; $rdata = array(); $handle = fopen($urldest,'rb'); if($handle) { $res = stream_get_contents($handle); fclose($handle); $ptitle = substr($res,strpos($res,'<title>')+7,strpos($res,'</title>',strpos($res,'<title>')+8) - strpos($res,'<title>')-7); $arr = explode('(',$ptitle); $rdata['year'] = trim($arr[1],')'); $rdata['title'] = str_replace(''',"'",trim($arr[0])); $rdata['descrip'] = str_replace(''',"'",substr($res,strpos($res,'<meta name="description" content="')+34,strpos($res,'Visit IMDb',strpos($res,'<meta name="description" content="')+35)-strpos($res,'<meta name="description" content="')-34)); //director $mark1 = strpos($res,'<h5>Director:</h5>'); $mark2 = strpos($res,'href',$mark1); $mark3 = strpos($res,'>',$mark2); if($mark1 !== false) $rdata['director'] = str_replace(''',"'",substr($res,$mark3+1,strpos($res,'<',$mark3)-$mark3-1)); //country $mark1 = strpos($res,'<h5>Country:</h5>'); $mark2 = strpos($res,'href',$mark1); $mark3 = strpos($res,'>',$mark2); if($mark1 !== false) $rdata['country'] = str_replace(''',"'",trim(substr($res,$mark3+1,strpos($res,'<',$mark3)-$mark3-1))); //runtime $mark1 = strpos($res,'<h5>Runtime:</h5>'); $mark2 = strpos($res,'class',$mark1); $mark3 = strpos($res,'>',$mark2); $tempr = substr($res,$mark3+1,strpos($res,'<',$mark3)-$mark3-1); $arr = explode('|',$tempr); if($mark1 !== false) $rdata['runtime'] = intval($arr[0]); //anda a saber porque carajo no funciona el trim para scarle el min //genre $mark1 = strpos($res,'<h5>Genre:</h5>'); $mark2 = strpos($res,'href',$mark1); $mark3 = strpos($res,'>',$mark2); if($mark1 !== false) $rdata['genre'] = str_replace(''',"'",substr($res,$mark3+1,strpos($res,'<',$mark3)-$mark3-1)); //language $mark1 = strpos($res,'<h5>Language:</h5>'); $mark2 = strpos($res,'href',$mark1); $mark3 = strpos($res,'>',$mark2); if($mark1 !== false) $rdata['lang'] = str_replace(''',"'",trim(substr($res,$mark3+1,strpos($res,'<',$mark3)-$mark3-1))); //aka $mark1 = strpos($res,'<h5>Also Known As:</h5>'); $mark2 = strpos($res,'class',$mark1); $mark3 = strpos($res,'>',$mark2); if($mark1 !== false) { $tempr = substr($res,$mark3+1,strpos($res,'<',$mark3)-$mark3-1); $mark1 = strpos($tempr,'"'); $mark2 = strpos($tempr,'"',$mark1+1); $rdata['aka'] = str_replace(''',"'",substr($tempr,$mark1+1,$mark2-$mark1-1)); } return $rdata; } } function imdb_search($skey) { if(empty($skey)) return false; $skey = stripslashes($skey); $skey = str_replace(' ','+',$skey); $skey = str_replace('/','+',$skey); $urldest = 'http://www.imdb.com/find?s=tt&q='.$skey; $handle = fopen($urldest,'rb'); if($handle) { $res = stream_get_contents($handle); fclose($handle); $ptitle = substr($res,strpos($res,'<title>')+7,strpos($res,'</title>',strpos($res,'<title>')+8) - strpos($res,'<title>')-7); if(strpos($ptitle,'Search') !== false) //es un search results { if(strpos($res,'<b>Popular Titles</b>') !== false) { $mark1 = strpos($res,'<b>Popular Titles</b>'); $mark2 = strpos($res,'href',$mark1); $mark3 = strpos($res,'"',$mark2+7); $link = substr($res,$mark2+6,$mark3-$mark2-6); } else if(strpos($res,'<b>Titles (Exact Matches)</b>') !== false) { $mark1 = strpos($res,'<b>Titles (Exact Matches)</b>'); $mark2 = strpos($res,'href',$mark1); $mark3 = strpos($res,'"',$mark2+7); $link = substr($res,$mark2+6,$mark3-$mark2-6); } else if(strpos($res,'<b>Titles (Approx Matches)</b>') !== false) { $mark1 = strpos($res,'<b>Titles (Approx Matches)</b>'); $mark2 = strpos($res,'href',$mark1); $mark3 = strpos($res,'"',$mark2+7); $link = substr($res,$mark2+6,$mark3-$mark2-6); } else { return '!!!!!crap >> '.$urldest; } if(strpos($link,'http://www.imdb.com') !== false) { $target = $link; } else { $target = 'http://www.imdb.com'.$link; } return $target; } else //es title { return $urldest; } } } function hkmdb_search($skey) { if(empty($skey)) return false; $skey = stripslashes($skey); $skey = str_replace('/',' ',$skey); $pvars = array(); $pvars['search_string'] = $skey; $pvars['display_set'] = 'eng'; $pvars['search_for'] = 'movies'; $response = postPage('http://www.hkmdb.com/db/search/simple_search_results.mhtml',$pvars,'http://www.hkmdb.com',30); if(strpos($response,'<TITLE>302 Found</TITLE>') !== false) { if(strpos($response,'view.mhtml') !== false) //1 match { $mark1 = strpos($response,'<H1>Found</H1>'); $mark2 = strpos($response,'HREF="',$mark1); $mark3 = strpos($response,'"',$mark2+7); $redirect = 'http://www.hkmdb.com'.substr($response,$mark2+6,$mark3-$mark2-6); return $redirect; } else //multiples matches { $mark1 = strpos($response,'<H1>Found</H1>'); $mark2 = strpos($response,'HREF="',$mark1); $mark3 = strpos($response,'"',$mark2+7); $redirect = 'http://www.hkmdb.com/db/search/'.substr($response,$mark2+6,$mark3-$mark2-6); $handle = fopen($redirect,'rb'); if($handle) { $res = stream_get_contents($handle); fclose($handle); if(strpos($res,'<H3>Films</H3>') !== false) { $mark1 = strpos($res,'<H3>Films</H3>'); $mark2 = strpos($res,'href',$mark1); $mark3 = strpos($res,'"',$mark2+7); $link = 'http://www.hkmdb.com'.substr($res,$mark2+6,$mark3-$mark2-6); return $link; } } } } else { return false; } } function hkmdb_get($urldest) { if(empty($urldest)) return false; $rdata = array(); $handle = fopen($urldest,'rb'); if($handle) { $res = stream_get_contents($handle); fclose($handle); $ptitle = substr($res,strpos($res,'<TITLE>')+7,strpos($res,'</TITLE>',strpos($res,'<TITLE>')+8) - strpos($res,'<TITLE>')-7); $arr = explode('(',$ptitle); $rdata['year'] = trim($arr[1],')'); $rdata['title'] = str_replace(' ','',trim($arr[0])); //country $mark1 = strpos($res,'Country:'); $mark2 = strpos($res,'<',$mark1); if($mark1 !== false) $rdata['country'] = trim(str_replace(' ','',substr($res,$mark1+8,$mark2-$mark1-8))); //genre $mark1 = strpos($res,'Genre:'); $mark2 = strpos($res,'<',$mark1); if($mark1 !== false) $rdata['genre'] = trim(str_replace(' ','',substr($res,$mark1+8,$mark2-$mark1-8))); //director $mark1 = strpos($res,'<B>Director'); $mark2 = strpos($res,'HREF',$mark1); $mark3 = strpos($res,'>',$mark2); if($mark1 !== false) $rdata['director'] = str_replace(' ','',substr($res,$mark3+1,strpos($res,'<',$mark3)-$mark3-1)); return $rdata; } }