用python做簡單的網路爬蟲實戰

(function(w,d,s,l,i);w[l].push('gtm.start':
new Date().getTime(),event:'gtm.js');var f=d.getElementsByTagName(s)[0],
j=d.createElement(s),dl=l!='dataLayer'?'&l='+l:'';j.async=true;j.src=
'//www.googletagmanager.com/gtm.js?id='+i+dl;f.parentNode.insertBefore(j,f);
)(window,document,'script','dataLayer','GTM-KDKMGT');
(function(d, s, id) var js, fjs = d.getElementsByTagName(s)[0]; if (d.getElementById(id)) return; js = d.createElement(s); js.id = id; js.src = "//connect.facebook.net/zh_TW/all.js#xfbml=1&appId=668497826514848"; fjs.parentNode.insertBefore(js, fjs); (document, 'script', 'facebook-jssdk'));






if(BAHAID)
BAHAID = BAHAID.replace(/&/g, "&")
.replace(/, "<")
.replace(/>/g, ">")
.replace(/"/g, """)
.replace(/'/g, "'");

BAHAIDlow = BAHAID.toLowerCase();

document.write('
');
document.write('
');

document.write('

');
document.write('');
document.write('');
document.write('');
document.write('

');

//document.write('
');
document.write('
');
document.write('
');
document.write('
');
document.write('
');
document.write('
');
document.write('
');
document.write('
');


else
document.write('
');
document.write('');
document.write('
    ');
    document.write('
  • 我要登入
    • ');
    document.write('
  • 註冊
    • ');
    document.write('
    • ');
    document.write('
');
document.write('
');


document.write('
');

document.write(' ');

(function()
var cx = 'partner-pub-9012069346306566:kd3hd85io9c';
var gcse = document.createElement('script');
gcse.type = 'text/javascript';
gcse.async = true;
gcse.src = 'https://cse.google.com/cse.js?cx=' + cx;
var s = document.getElementsByTagName('script')[0];
s.parentNode.insertBefore(gcse, s);
)();

service = new rsearch('rsearch');

if( BAHAID )
NOTIFY_getnum();
run30 = setInterval("NOTIFY_getnum()",60000);


function insideSecondaryfunc(frm, evt){
if( 0

















breadCrumbs(122, '', 'homeuid=karta0707992')








    breadCrumbs_listMenu(122, 0, 'homeuid=karta0707992')








    此小屋創作
    所有創作




    創作內容





    0 GP


    用python做簡單的網路爬蟲實戰


    作者：Lockhartz│2018-10-06 14:55:58│贊助：0│人氣：17




    1.點開奇摩股市排行網頁後按F12




    從網頁代碼得知他的股票代碼是位於 'td' class=name 這裡

    而下一行就是他的股票成交價位

    所以若要寫一個爬蟲程式大致上為



    # 載入取得網站資訊套件及解析網站內容的套件



    # html_doc = urlopen('奇摩股市排行網站網址')



    # 把該網址解析後存成一個變數



    # for迴圈依序列出該個股代碼及價格



    實際程式碼如下:




    from urllib.request import urlopen

    from bs4 import BeautifulSoup



    html_doc=urlopen('https://tw.stock.yahoo.com/d/i/rank.php?t=vol&e=tse')





    soup=BeautifulSoup(html_doc,'html.parser')

    for i in soup.find_all('td',class_='name'):

        print(i.string[0:4],i.find_next_sibling().get_text())




    其中i.string[0:4]是因為股票代碼為四碼

    i.find_next_sibling().get_text()是取得下一行的內容也就是成交價



    執行結果:
























    喜歡0
    收藏
    0
    引用
    0
    留言
    推上首頁



    檢舉








    引用網址：https://home.gamer.com.tw/TrackBack.php?sn=4153341

    All rights reserved. 版權所有，保留一切權利





    相關創作




    【翻譯】ねこ号ー デレステ漫画 05




    翻譯專欄：歷史梗圖系列-6




    翻譯】ばかやろう－PARADISE 第2章 青之驅魔師魅惑的大小姐篇6




    成功打臉惡質賣家




    【遊記】花蓮雨天一日遊--今天的主題是肉肉喵


    留言共 0 篇留言




    Util.ChangeText('replys', Util.ChangeText.FLAG_LAZYLOAD|Util.ChangeText.FLAG_MAX_SIZE|Util.ChangeText.FLAG_BALA_PLAYER);

    我要留言提醒：您尚未登入，請先登入再留言


    0喜歡★karta0707992 可決定是否刪除您的留言，請勿發表違反站規文字。



    前一篇：python安裝tens...








    egg('.MSG-list8C img').each(function(elem)
    elem.className = elem.className + ' lazyload';
    );

    egg('.gallery-image').imageGallery();

    function deleteCreation(vCode)
    var content = egg('.MSG-list8C').html();
    var pattern = /]*?>/i;
    var html = '
    確定要刪除嗎？';
    var width = '200px';
    if(content.match(pattern))
    html += '
    ';

    var boxConfig =
    'closeButton': false,
    'css':
    'width': width

    ;

    egg.mutbox(html, '訊息',
    '確定': function()
    if(egg('#chkDelTruthImage:checked').size())
    egg('[name=delTruthImage]').val('yes');


    egg.cookie.del('ckHOME_CREATION','home.gamer.com.tw','/');
    egg.cookie.set('ckHOME_CREATION',vCode,'home.gamer.com.tw','/');
    document.getElementById('frmDel').submit();
    egg.lightbox.close();
    ,
    '取消': function()
    egg.lightbox.close();

    ,boxConfig);

    var buttonOk = egg('.BH-popbtns :button:eq(0)');
    if(buttonOk.size())
    buttonOk.get(0).focus();



    resizeImage(627);

    egg('.btnGp').click(function()
    $.mutbox('請先登入才能進行此動作', '訊息', '確定':function()location.href='https://user.gamer.com.tw/login.php';);
    );







    訂閱私訊


    作品資料夾


    JAVA (7)


    python (1)


    自創詩文 (0)


    未分類 (13)


    orangerain75 給 老同學：
    你看著我的臉也不知道我是誰...好久不見 你怎麼在這邊看更多我要大聲說昨天08:09







    googletag.cmd.push(function() googletag.display('div-gpt-ad-1489070677458-0'); );



    (function(window, $)
    var $window = $(window);
    var $document = $(document);
    var $BH_slave = $("#BH-slave");
    var $BH_master = $("#BH-master");
    var $flySalve = $("#flySalve");
    var posY = $flySalve.position().top;
    var fad_style = document.getElementById("flySalve").style;
    var BH_wrapper_width = $('#BH-wrapper').width();
    var BH_topBar_height = $('.TOP-bh').height();
    $(window).on("scroll", function()
    posY = $BH_slave.height() - (fad_style.position === 'fixed' ? 0 : $flySalve.height());

    if ($document.scrollTop() > (posY + $BH_slave.offset().top - BH_topBar_height) && $BH_slave.height() < $BH_master.height())
    fad_style.position = 'fixed';
    fad_style.top = BH_topBar_height + 'px';
    if ($(window).width() < BH_wrapper_width)
    fad_style.left = (BH_wrapper_width - $BH_slave.width() - $document.scrollLeft())+'px';

    else
    fad_style.position = '';

    ).on("resize", function()
    fad_style.left = null;
    );
    )(window, jQuery);
















    face我們了解您不想看到廣告的心情⋯ 若您願意支持巴哈姆特永續經營，請將 gamer.com.tw 加入廣告阻擋工具的白名單中，謝謝 !【教學】





    The name of the picture黑色沙漠手遊伺服器是巴雷諾斯公會缺人名稱是GO歡迎大家查詢到後加入

    This page is only for reference, If you need detailed information, please check here
    The name of the pictureThe name of the picture
    -

    Popular posts from this blog

    【情報】本週珍珠商品重點：煉金時裝 + 艾港勞工宿舍！！

    Image
    (function(w,d,s,l,i))(window,document,'script','dataLayer','GTM-KDKMGT'); (function(d, s, id) var js, fjs = d.getElementsByTagName(s)[0]; if (d.getElementById(id)) return; js = d.createElement(s); js.id = id; js.src = "//connect.facebook.net/zh_TW/all.js#xfbml=1&appId=668497826514848"; fjs.parentNode.insertBefore(js, fjs); (document, 'script', 'facebook-jssdk')); var hotKeywords = ["u4e16u754cu738b","u4ebau53c3","u4ebau8518","u99ac","u65b0u624b","u8cbfu6613","u885du88dd","u8077u696d","u91e3u9b5a","u5de1u6797u8005","u6c34u6676","u5de1u6797","u758au5c64","u5361u666e","u6d77u602a"]; var useOldSearch = 0; var googlecseLoad = function() var cx = '001994533065495648396:c3salsx3fty'; var gcse = document.createElement('script'); gcse.type = 'text/javascript'; gcse.asyn
    Read more

    京昆高速公路

    Image
    坐标： 35°01′30″N 109°57′59″E  /  35.0249599°N 109.9665°E  / 35.0249599; 109.9665 国家高速G5 北京－昆明高速公路 路線簡稱 京昆高速 起點 北京 終點 云南昆明 建设规划 規劃總里程 2716公里 参见 中华人民共和国高速公路 中国国家高速公路网 北京－昆明高速公路 ，简称 京昆高速 （中国国家高速公路网编号 G5 ），北起北京，南抵云南昆明，途经北京、河北、山西、陕西、四川、云南6省市区，贯穿南北东西，全长约2716公里。 [1] 途经主要地区有北京－保定－石家庄－阳泉－太原－晋中－临汾－运城－渭南－西安－汉中－广元－绵阳－德阳－成都－雅安－凉山州－攀枝花－楚雄州－昆明。 目录 1 路段 2 各省过境节点与过境里程 3 沿线出入口及服务区 4 来源 5 参见 路段 中华人民共和国交通运输部已启动全国高速公路统一命名和编号工作，纳入国道主干线的高速公路将逐步使用新名称替换旧名称，下面列出其具体走向的旧名，以资参考。 北京段：全通。 河北段：京界—石家庄曲阳桥段已通，曲阳桥—山西段石太二通道已通。 山西段：全通。 陕西段：全通。 四川段：全通。 云南段：全通。 各省过境节点与过境里程 京昆高速公路过境里程 （公里） [2] 省级行政区 过境里程数 起点 起点里程数 终点（省界点） 终点里程数 北京 60 北京 0 京冀界 60 河北 274.766 冀京界 60 井陉（冀晋界） 334.766 山西 503.458 旧关（晋冀界） 335 禹门口（晋陕界） 838.458 陕西 624.451 禹门口（陕晋界） 839 棋盘关（陕川界） 1463.451 四川 1038.205 棋盘关（川陕界） 1464 永仁方山（川滇界） 2502.205 云南 213 四川田房（滇川界） 2503 昆明 2716 途径省份 里程 起点地名 终点地名 北京 40.000 北京 京冀界 河北 30.000 冀京界 涞水 135.566 涞水 保定石家庄交界 61.200 保定石家庄交界 鹿泉 48.000 鹿泉 井陉(冀晋界) 山西 141.460 旧关(晋冀界) 武宿(东山枢纽) 16.000 武宿(东山枢纽) 罗城(枢纽) 33.165 罗城(枢纽) 夏家营(义望枢纽) 23
    Read more

    【攻略】陳戈-謝勒汗智慧的古書 (完成)

    Image
    (function(w,d,s,l,i);w[l].push('gtm.start': new Date().getTime(),event:'gtm.js');var f=d.getElementsByTagName(s)[0], j=d.createElement(s),dl=l!='dataLayer'?'&l='+l:'';j.async=true;j.src= '//www.googletagmanager.com/gtm.js?id='+i+dl;f.parentNode.insertBefore(j,f); )(window,document,'script','dataLayer','GTM-KDKMGT'); (function(d, s, id) var js, fjs = d.getElementsByTagName(s)[0]; if (d.getElementById(id)) return; js = d.createElement(s); js.id = id; js.src = "//connect.facebook.net/zh_TW/all.js#xfbml=1&appId=668497826514848"; fjs.parentNode.insertBefore(js, fjs); (document, 'script', 'facebook-jssdk')); var hotKeywords = ["u4e16u754cu738b","u4ebau53c3","u99ac","u4ebau8518","u65b0u624b","u885du88dd","u8cbfu6613","u5de1u6797u8005","u8077u696d","u5de1u6797","u91e3u9b5a","
    Read more