Cách trích xuất dữ liệu chứng khoán từ Yahoo Finance bằng Browserless?

# pnpm
pnpm i puppeteer-core
# yarn
yarn add puppeteer-core
# npm
npm i --save puppeteer-core

import puppeteer from "puppeteer-core";

const apiKey = "your ApiKey"; // bắt buộc
const config = {
    proxy: 'your proxy', // bắt buộc; định dạng đầu vào: schema://user:password@host:port ví dụ: http://user:password@localhost:8080
    // platform: 'windows', // hỗ trợ: windows, mac, linux
    // kernel: 'chromium', // chỉ hỗ trợ: chromium
    // kernelMilestone: '128', // hỗ trợ: 128
    // args: {
    //     "--proxy-bypass-list": "detect.nstbrowser.io"
    // }, // đối số trình duyệt
    // fingerprint: {
    //     userAgent: 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.6613.85 Safari/537.36', // userAgent được hỗ trợ từ phiên bản v0.15.0
    // },
};
const query = new URLSearchParams({
    token: apiKey, // bắt buộc
    config: JSON.stringify(config),
});
const browserlessWSEndpoint = `https://less.nstbrowser.io/connect?${query.toString()}`;

// kết nối với browserless
const browser = await puppeteer.connect({
  browserWSEndpoint: browserlessWSEndpoint,
  defaultViewport: null,
})

const page = await browser.newPage();
await page.goto('https://finance.yahoo.com/quote/AAPL');
// Thêm ảnh chụp màn hình để hỗ trợ khắc phục sự cố sau này
await page.screenshot({ path: 'yahoo.png' });
const selector = '[data-symbol="AAPL"][data-field="regularMarketPrice"]';
// Trích xuất văn bản bên trong của một phần tử phù hợp với bộ chọn (ví dụ: giá cổ phiếu)
const regularMarketPrice = await page.$eval(selector, el => el.innerText);
console.log(`Apple Giá cổ phiếu hiện tại là：${regularMarketPrice}`);

try {
  await page.waitForSelector('.consent-overlay');
  // nhấp vào nút "chấp nhận tất cả"
  await page.click('.consent-overlay .accept-all');
} catch (e) {
  console.log('Cookie đã được xác thực');
}

import puppeteer from "puppeteer-core";

const apiKey = "your ApiKey"; // 'your proxy'
const config = {
  proxy: 'your proxy', // bắt buộc; định dạng đầu vào: schema://user:password@host:port ví dụ: http://user:password@localhost:8080
  // platform: 'windows', // hỗ trợ: windows, mac, linux
  // kernel: 'chromium', // chỉ hỗ trợ: chromium
  // kernelMilestone: '128', // hỗ trợ: 128
  // args: {
  //     "--proxy-bypass-list": "detect.nstbrowser.io"
  // }, // đối số trình duyệt
  // fingerprint: {
  //     userAgent: 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.6613.85 Safari/537.36', // userAgent được hỗ trợ từ phiên bản v0.15.0
  // },
};
const query = new URLSearchParams({
  token: apiKey, // bắt buộc
  config: JSON.stringify(config),
});
const browserlessWSEndpoint = `https://less.nstbrowser.io/connect?${query.toString()}`;

const browser = await puppeteer.connect({
  browserWSEndpoint: browserlessWSEndpoint,
  defaultViewport: null,
})

const page = await browser.newPage();
await page.goto('https://finance.yahoo.com/quote/AAPL/');
await page.screenshot({ path: 'yahoo.png' });

try {
  await page.waitForSelector('.consent-overlay');
  // nhấp vào nút "chấp nhận tất cả"
  await page.click('.consent-overlay .accept-all');
} catch (e) {
  console.log('Cookie đã được xác thực');
}

const selector = '[data-symbol="AAPL"][data-field="regularMarketPrice"]';
const regularMarketPrice = await page.$eval(selector, el => el.innerText);
console.log(`Apple Giá cổ phiếu hiện tại là：${regularMarketPrice}`);

const tickerSymbols = process.argv.slice(2);

if (tickerSymbols.length === 0) {
  console.error('Thiếu đối số dòng lệnh mã chứng khoán!');
  process.exit(2);
}

// Một mảng chứa tất cả dữ liệu thu thập
const stockList = [];

for (const tickerSymbol of tickerSymbols) {
  console.log(`Đang thu thập dữ liệu cho: ${tickerSymbol}`);

  // Điều hướng đến trang Yahoo Finance
  await page.goto(`https://finance.yahoo.com/quote/${tickerSymbol}`);

  try {
    await page.waitForSelector('.consent-overlay');
    // Nhấp vào nút "chấp nhận tất cả"
    await page.click('.consent-overlay .accept-all');
  } catch (e) { }

  // Định nghĩa bộ chọn bằng cách sử dụng chuỗi mẫu và ký hiệu chứng khoán
  const selectors = {
    regularMarketPrice: `[data-symbol="${tickerSymbol}"][data-field="regularMarketPrice"]`,
    regularMarketChange: `[data-symbol="${tickerSymbol}"][data-field="regularMarketChange"]`,
    regularMarketChangePercent: `[data-symbol="${tickerSymbol}"][data-field="regularMarketChangePercent"]`,
    preMarketPrice: `[data-symbol="${tickerSymbol}"][data-field="preMarketPrice"]`,
    preMarketChange: `[data-symbol="${tickerSymbol}"][data-field="preMarketChange"]`,
    preMarketChangePercent: `[data-symbol="${tickerSymbol}"][data-field="preMarketChangePercent"]`
  };

  // Khởi tạo một đối tượng trống để lưu trữ dữ liệu tài chính
  const financialData = { tickerSymbol };

  // Lặp qua từng bộ chọn để trích xuất nội dung văn bản
  for (const [key, selector] of Object.entries(selectors)) {
    try {
      financialData[key] = await page.$eval(selector, el => el.innerText);

      // Loại bỏ dấu ngoặc đơn cho giá trị phần trăm
      if (key.includes('ChangePercent')) {
        financialData[key] = financialData[key].replace('(', '').replace(')', '');
      }
    } catch {
      financialData[key] = 'N/A'; // Nếu không tìm thấy phần tử, giá trị được đặt thành N/A
    }
  }

  // Thêm dữ liệu tài chính của ký hiệu chứng khoán hiện tại vào mảng chứng khoán
  stockList.push(financialData);
}

console.log(JSON.stringify(stockList, null, 2));

node yahoo.mjs AAPL TSLA

// Tạo chuỗi csv và ghi vào tệp csv
let csvData = 'Ticker Symbol,Regular Market Price,Regular Market Change,Regular Market Change Percent,Pre Market Price,Pre Market Change,Pre Market Change Percent\n';
stockList.forEach(stock => {
  csvData += `${stock.tickerSymbol},${stock.regularMarketPrice},${stock.regularMarketChange},${stock.regularMarketChangePercent},${stock.preMarketPrice},${stock.preMarketChange},${stock.preMarketChangePercent}\n`;
});
fs.writeFileSync('stocks_data.csv', csvData);

import puppeteer from "puppeteer-core";
import fs from 'fs'

const tickerSymbols = process.argv.slice(2);

if (tickerSymbols.length === 0) {
  console.error('Thiếu đối số dòng lệnh mã chứng khoán!');
  process.exit(2);
}

const apiKey = "your ApiKey"; // 'your proxy'

const config = {
  proxy: 'your proxy', // bắt buộc; định dạng đầu vào: schema://user:password@host:port ví dụ: http://user:password@localhost:8080
  // platform: 'windows', // hỗ trợ: windows, mac, linux
  // kernel: 'chromium', // chỉ hỗ trợ: chromium
  // kernelMilestone: '128', // hỗ trợ: 128
  // args: {
  //     "--proxy-bypass-list": "detect.nstbrowser.io"
  // }, // đối số trình duyệt
  // fingerprint: {
  //     userAgent: 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.6613.85 Safari/537.36', // userAgent được hỗ trợ từ phiên bản v0.15.0
  // },
};

const query = new URLSearchParams({
  token: apiKey, // bắt buộc
  config: JSON.stringify(config),
});

const browserlessWSEndpoint = `https://less.nstbrowser.io/connect?${query.toString()}`;

const browser = await puppeteer.connect({
  browserWSEndpoint: browserlessWSEndpoint,
  defaultViewport: null,
})
console.info('Đã kết nối!');

const page = await browser.newPage();

// Một mảng chứa tất cả dữ liệu thu thập
const stockList = [];

for (const tickerSymbol of tickerSymbols) {
  console.log(`Đang thu thập dữ liệu cho: ${tickerSymbol}`);

  // Điều hướng đến trang Yahoo Finance
  await page.goto(`https://finance.yahoo.com/quote/${tickerSymbol}`);
  try {
    await page.waitForSelector('.consent-overlay');
    // Nhấp vào nút "chấp nhận tất cả"
    await page.click('.consent-overlay .accept-all');
  } catch (e) { }

  // Định nghĩa bộ chọn bằng cách sử dụng chuỗi mẫu và ký hiệu chứng khoán
  const selectors = {
    regularMarketPrice: `[data-symbol="${tickerSymbol}"][data-field="regularMarketPrice"]`,
    regularMarketChange: `[data-symbol="${tickerSymbol}"][data-field="regularMarketChange"]`,
    regularMarketChangePercent: `[data-symbol="${tickerSymbol}"][data-field="regularMarketChangePercent"]`,
    preMarketPrice: `[data-symbol="${tickerSymbol}"][data-field="preMarketPrice"]`,
    preMarketChange: `[data-symbol="${tickerSymbol}"][data-field="preMarketChange"]`,
    preMarketChangePercent: `[data-symbol="${tickerSymbol}"][data-field="preMarketChangePercent"]`
  };

  // Khởi tạo một đối tượng trống để lưu trữ dữ liệu tài chính
  const financialData = { tickerSymbol };

  // Lặp qua từng bộ chọn để trích xuất nội dung văn bản
  for (const [key, selector] of Object.entries(selectors)) {
    try {
      financialData[key] = await page.$eval(selector, el => el.innerText);
      // Loại bỏ dấu ngoặc đơn cho giá trị phần trăm
      if (key.includes('ChangePercent')) {
        financialData[key] = financialData[key].replace('(', '').replace(')', '');
      }
    } catch {
      financialData[key] = 'N/A'; // Nếu không tìm thấy phần tử, giá trị được đặt thành N/A
    }
  }

  // Thêm dữ liệu tài chính của ký hiệu chứng khoán hiện tại vào mảng chứng khoán
  stockList.push(financialData);
}

console.log(JSON.stringify(stockList, null, 2));

// Tạo chuỗi csv và ghi vào tệp csv
let csvData = 'Ticker Symbol,Regular Market Price,Regular Market Change,Regular Market Change Percent,Pre Market Price,Pre Market Change,Pre Market Change Percent\n';
stockList.forEach(stock => {
  csvData += `${stock.tickerSymbol},${stock.regularMarketPrice},${stock.regularMarketChange},${stock.regularMarketChangePercent},${stock.preMarketPrice},${stock.preMarketChange},${stock.preMarketChangePercent}\n`;
});
fs.writeFileSync('stocks_data.csv', csvData);

await browser.close();