在當今金融市場的變幻莫測中，快速、準確地獲取股票數據對於投資者和金融分析師來說至關重要。傳統的手動數據收集方式不僅費時費力，而且容易出錯。而Python語言憑藉其強大的爬蟲功能和豐富的數據處理庫，成為自動化股票數據抓取的理想工具。

為什麼選擇Python進行股票數據抓取？

Python擁有大量專門用於網絡爬蟲和數據分析的第三方庫，如BeautifulSoup、Scrapy、Pandas等，這些工具使得數據抓取和處理變得簡單高效。Python的語法簡潔易懂，對於初學者來說也非常友好。

準備工作

在開始編寫爬蟲之前，我們需要進行一些準備工作，包括安裝所需的Python庫和了解目標網站的結構。

安裝必要的Python庫

在命令行中運行以下命令來安裝所需的庫：

pip install requests

pip install beautifulsoup4

pip install pandas

requests：用於發送HTTP請求，獲取網頁內容。

beautifulsoup4：用於解析HTML和XML文件。

pandas：用於數據分析和處理。

確定目標網站

以Yahoo Finance網站為例，我們可以抓取到股票的歷史價格數據。在進行爬蟲前，我們需要了解網站的結構和URL模式，這樣才能精準地抓取所需的數據。

編寫爬蟲代碼

以下是完整的Python爬蟲代碼，示範如何抓取某隻股票的歷史價格數據：

import requests

from bs4 import BeautifulSoup

import pandas as pd

def get_stock_data(symbol):

url = f"https://finance.yahoo.com/quote/{symbol}/history"

response = requests.get(url)

if response.status_code == 200:

soup = BeautifulSoup(response.content, 'html.parser')

table = soup.find('table', {'data-test': 'historical-prices'})

headers = [header.text for header in table.find_all('th')]

rows = []

for row in table.find_all('tr')[1:]:

cols = row.find_all('td')

if len(cols) == len(headers):

row_data = [col.text for col in cols]

rows.append(row_data)

df = pd.DataFrame(rows, columns=headers)

return df

else:

print(f"Failed to retrieve data for {symbol}")

return None

# 使用範例

symbol = "AAPL"

stock_data = get_stock_data(symbol)

if stock_data is not None:

print(stock_data.head())

代碼解析

get_stock_data(symbol) 函數負責抓取指定股票代碼的歷史價格數據。

使用 requests.get(url) 發送HTTP請求，獲取網頁內容。

BeautifulSoup 解析HTML內容，找到包含歷史價格數據的表格。

將表格數據提取並存入 Pandas DataFrame，方便後續的數據分析和處理。

在此代碼中，我們以蘋果公司（Apple Inc.）的股票代碼 AAPL 為例，展示如何抓取其歷史價格數據。執行代碼後，你將看到抓取到的數據框，包含日期、開盤價、最高價、最低價、收盤價、調整後收盤價和成交量等信息。

資料清理與儲存

在抓取數據後，我們可能需要對數據進行清理和儲存。Pandas提供了豐富的數據處理功能，使這一過程變得非常簡單。以下是一些常見的數據清理操作：

# 將數據框中的非數字字符去除，並轉換為數字類型

stock_data['Close*'] = stock_data['Close*'].str.replace(',', '').astype(float)

stock_data['Volume'] = stock_data['Volume'].str.replace(',', '').astype(int)

# 篩選出有效的數據行

stock_data = stock_data.dropna()

# 將清理後的數據儲存為CSV文件

stock_data.to_csv('stock_data.csv', index=False)

在這段代碼中，我們對抓取到的數據進行了一些基本的清理操作，如去除千分位逗號、轉換數據類型以及刪除缺失值。最後，將清理後的數據保存為CSV文件，方便日後分析和使用。

高級功能：自動化與定時抓取

以上介紹的爬蟲代碼雖然可以有效地抓取股票數據，但每次都需要手動運行。如果我們希望定期自動更新數據，可以使用Python的定時任務工具 schedule 來實現。

安裝 schedule 庫

在命令行中運行以下命令來安裝 schedule 庫：

pip install schedule

編寫定時抓取代碼

以下代碼展示如何使用 schedule 庫定時抓取股票數據：

```python

import schedule

import time

def job():

symbol = "AAPL"

stockdata = getstockdata(symbol)

if stockdata is not None:

stockdata['Close'] = stockdata['Close'].str.replace(',', '').astype(float)

stockdata['Volume'] = stockdata['Volume'].str.replace(',', '').astype(int)

stockdata = stockdata.dropna()

stockdata.tocsv('stock_data.csv', index=False