MovixOpenSource/API/Mainapi/utils/oauthClientsDb.js
Movix 3a7ab5ad42 feat: synchronise le repo privé — Cast, sources, API et mobile 2.5.7
Gros lot de travail synchronisé depuis le repo privé. Cette mise à jour
regroupe la refonte du lecteur et du Cast, de nouvelles sources VOD/Live TV,
le durcissement de l’API et des proxies, ainsi qu’une nouvelle version de
l’application mobile.

Lecteur, sources et Live TV

- Refonte du lecteur HLS avec sélection et mémorisation de la qualité,
  détection des résolutions, scan des liens, choix des pistes audio et
  fallback contrôlé de 1080p vers 720p.
- Ajoute une garde contre les boucles de changement de source, notamment
  lors des erreurs vidéo et des réponses 429.
- Revoit SeekStreaming de bout en bout : validation des embeds, prise en
  charge de plusieurs candidats, regroupement par serveur, règles de headers
  persistantes et cache d’extraction raccourci.
- Ajoute SwiftFlow pour les films et séries, avec lecteurs VF/VOSTFR, cache
  stale-while-revalidate, déduplication des requêtes et limite partagée côté API.
- Adapte Coflix à son nouveau domaine et à son nouveau thème, ajoute un kill
  switch, développe les wrappers 1jour1film et actualise le domaine Wiflix.
- Ajoute NorthLive et Vavoo à la Live TV, regroupe les variantes d’une même
  chaîne et permet de choisir le serveur ou la qualité.
- Enrichit les Top 10 avec des filtres par période et par algorithme, ainsi
  que de nouvelles métriques de visionnage.

Cast et application mobile

- Unifie le contrôle Cast entre le Web Cast SDK et le pont Android :
  état distant, lecture, pause, seek, arrêt et reprise après reconnexion.
- Ajoute sur Android un relais média LAN sécurisé, limité au Chromecast et
  au réseau Wi-Fi sélectionnés, avec sessions opaques et service foreground.
- Prépare les sources avant diffusion et prend en charge les playlists HLS
  TS/fMP4, les flux progressifs, les sous-titres VTT, SeekStreaming et les
  segments MPEG-TS encapsulés dans des PNG.
- Renforce le proxy média local : support Range, validation des redirections,
  liaison DNS/socket au réseau Cast et meilleure gestion des headers Fsvid.
- Sécurise le bridge WebView avec contrôle de l’origine top-frame, capacités
  propres à chaque document et invalidation lors des navigations.
- Ajoute le Picture-in-Picture Android avec lecture/pause et seek de
  10 secondes depuis la fenêtre flottante.
- Maintient désormais l’écran allumé uniquement pendant une lecture active.
- Publie l’application Android 2.5.7, build 16, avec le nouvel APK et ses
  métadonnées d’intégrité.

API, base de données et paiements

- Remplace 13 migrations SQL isolées par un manifeste de schéma MySQL
  centralisé, additif et capable de détecter les divergences de structure.
- Ajoute le workflow db:init avec prévisualisation, dry-run, verrou MySQL,
  confirmations pour les tables Wrapped et couverture de tests dédiée.
- Rend configurables les limites du pool MySQL et fiabilise les advisory locks.
- Revoit entièrement PayGate : références de callback séparées, nonces,
  validation des wallets et transactions, états monotones, déduplication des
  paiements et protection contre les courses ou réutilisations de txid.
- Renforce l’annulation, la réconciliation et la livraison idempotente des
  factures VIP, avec réponses no-store sur les routes sensibles.
- Distingue les JWT invalides des indisponibilités MySQL afin de renvoyer
  correctement 401 ou 503 sans provoquer de déconnexions inutiles.
- Utilise ZZAPI/Claude Haiku pour la modération, avec OpenRouter/DeepSeek en
  solution de secours.
- Améliore la gestion HLS et Range dans proxiesembed.

Frontend, profils et infrastructure

- Protège la sélection et l’hydratation des profils contre les réponses
  concurrentes, les intentions obsolètes et l’effacement accidentel du
  stockage local.
- Rend VITE_SITE_URL obligatoire et l’injecte dans le runtime, les données
  structurées, le service worker, robots.txt et sitemap.xml.
- Optimise les probes réseau du service worker avec cache court et single-flight.
- Charge dynamiquement les traductions anglaises, plusieurs routes secondaires
  et les données Search/TMDB uniquement lorsqu’elles deviennent nécessaires.
- Ajoute des caches mémoire/session pour les images et contenus TMDB et réduit
  les animations, calculs et rendus hors écran.
- Ajoute la page publique des frais, les coins carrés persistants, une nouvelle
  intro Movix, les avertissements de publicités adultes et de nombreux textes
  Cast, qualité, Live TV et sources.
- Met à jour les extensions Chrome 1.3.12 et Firefox 1.5.9, ainsi que le
  userscript, avec la nouvelle extraction SeekStreaming et la préparation Cast.
- Ajoute une large couverture de tests Kotlin et JavaScript pour le Cast, le
  proxy média, le PiP, le bridge, la base de données, PayGate et le lecteur.
- Ajoute bootstrap-icons et patch-package, régénère les lockfiles npm et
  actualise la documentation d’installation et d’initialisation MySQL.

Co-authored-by: GPT-5.6 Sol <noreply@openai.com>
2026-08-02 12:09:37 +02:00

379 lines
13 KiB
JavaScript

/**
* Stockage DB des clients OAuth + stats + grants VIP. Remplace le fichier
* `data/oauth-clients.json` (déprécié — migration auto au boot).
*
* Les autres modules continuent d'appeler `loadOAuthClients()` (sync) de
* `oauthClients.js`, qui lit depuis le cache pré-warmé par les fonctions
* async ci-dessous.
*/
const fs = require('fs');
const path = require('path');
const crypto = require('crypto');
const { getPool } = require('../mysqlPool');
const { redis } = require('../config/redis');
const { ensureTableGroup } = require('../db/runtimeEnsure');
const LEGACY_JSON_PATH = path.join(__dirname, '..', 'data', 'oauth-clients.json');
const ICON_DIR = path.join(__dirname, '..', 'public', 'oauth-icons');
// Cache en mémoire : refresh par invalidate() ou refresh périodique.
let memCache = {
loadedAt: 0,
clients: [],
};
const KNOWN_OAUTH_SCOPES_SET = new Set([
'profile.read',
'profile.list',
'profile.manage',
'vip.read',
'vip.manage',
'vip.grant',
'favorites.read',
'favorites.add',
'favorites.remove',
'lists.read',
'lists.create',
'lists.rename',
'lists.delete',
'lists.add-item',
'lists.remove-item',
'watchlist.read',
'watchlist.add',
'watchlist.remove',
'history.read',
'history.add',
'history.remove',
'continue-watching.read',
'alerts.read',
'alerts.manage',
'ratings.read',
'ratings.manage',
]);
/** Crée les tables si elles n'existent pas (idempotent). */
async function ensureTables() {
await ensureTableGroup(getPool(), 'oauth');
// Crée aussi le dossier oauth-icons s'il n'existe pas.
if (!fs.existsSync(ICON_DIR)) {
fs.mkdirSync(ICON_DIR, { recursive: true, mode: 0o755 });
}
}
/** Import unique du JSON legacy vers DB. Idempotent : skip si déjà importé. */
async function migrateLegacyJsonIfNeeded() {
const pool = getPool();
if (!pool) return;
if (!fs.existsSync(LEGACY_JSON_PATH)) return;
const [rows] = await pool.execute('SELECT COUNT(*) AS n FROM oauth_clients');
const existing = Number(rows[0]?.n || 0);
if (existing > 0) {
// Migration déjà faite : on archive le JSON et on continue.
try {
const archivePath = LEGACY_JSON_PATH + '.migrated';
if (!fs.existsSync(archivePath)) {
fs.renameSync(LEGACY_JSON_PATH, archivePath);
console.log('[OAuth Clients DB] Archived legacy JSON to', archivePath);
}
} catch (err) {
console.warn('[OAuth Clients DB] Could not archive legacy JSON:', err.message);
}
return;
}
try {
const content = fs.readFileSync(LEGACY_JSON_PATH, 'utf-8');
const parsed = JSON.parse(content);
if (!Array.isArray(parsed)) return;
const now = Date.now();
for (const entry of parsed) {
if (!entry || typeof entry !== 'object') continue;
const clientId = String(entry.clientId || '').trim();
const clientName = String(entry.clientName || '').trim();
if (!clientId || !clientName) continue;
const redirectUris = Array.isArray(entry.redirectUris) ? entry.redirectUris : [];
const allowedScopes = Array.isArray(entry.allowedScopes) ? entry.allowedScopes : [];
const description = entry.description ? String(entry.description) : null;
const homepageUrl = entry.homepageUrl ? String(entry.homepageUrl) : null;
const publicClient = entry.publicClient === false ? 0 : 1;
const requirePkce = entry.requirePkce === false ? 0 : 1;
const clientSecret = entry.clientSecret ? String(entry.clientSecret) : null;
await pool.execute(
`INSERT INTO oauth_clients
(client_id, client_name, description, homepage_url, redirect_uris,
allowed_scopes, public_client, require_pkce, client_secret,
is_active, created_at, updated_at)
VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, 1, ?, ?)
ON DUPLICATE KEY UPDATE updated_at = VALUES(updated_at)`,
[
clientId,
clientName,
description,
homepageUrl,
JSON.stringify(redirectUris),
JSON.stringify(allowedScopes),
publicClient,
requirePkce,
clientSecret,
now,
now,
],
);
}
console.log('[OAuth Clients DB] Migrated', parsed.length, 'client(s) from JSON to MySQL');
// Archive le JSON
try {
fs.renameSync(LEGACY_JSON_PATH, LEGACY_JSON_PATH + '.migrated');
} catch {
/* ignore */
}
} catch (err) {
console.error('[OAuth Clients DB] Legacy migration failed:', err.message);
}
}
function safeParseJson(raw, fallback) {
if (typeof raw !== 'string' || !raw.trim()) {
return Array.isArray(raw) ? raw : fallback;
}
try {
return JSON.parse(raw);
} catch {
return fallback;
}
}
function rowToClient(row) {
return {
id: Number(row.id),
clientId: row.client_id,
clientName: row.client_name,
description: row.description || null,
homepageUrl: row.homepage_url || null,
redirectUris: safeParseJson(row.redirect_uris, []).filter((u) => typeof u === 'string'),
allowedScopes: safeParseJson(row.allowed_scopes, []).filter((s) => typeof s === 'string' && KNOWN_OAUTH_SCOPES_SET.has(s)),
publicClient: row.public_client === 1 || row.public_client === true,
requirePkce: row.require_pkce === 1 || row.require_pkce === true,
clientSecret: row.client_secret || null,
iconFilename: row.icon_filename || null,
vipDaysBalance: Number(row.vip_days_balance || 0),
isActive: row.is_active === 1 || row.is_active === true,
createdAt: Number(row.created_at || 0),
updatedAt: Number(row.updated_at || 0),
};
}
/** Charge tous les clients actifs depuis la DB. À appeler au boot + après chaque modif. */
async function reloadCache() {
const pool = getPool();
if (!pool) return;
const [rows] = await pool.execute('SELECT * FROM oauth_clients WHERE is_active = 1 ORDER BY id ASC');
memCache = {
loadedAt: Date.now(),
clients: rows.map(rowToClient),
};
}
function getCachedClients() {
return memCache.clients;
}
function invalidateCache() {
memCache = { loadedAt: 0, clients: [] };
}
// ─── Cross-worker cache invalidation (Redis pub/sub) ─────────────────────
// Movix runs in Node cluster mode (server.js): each worker has its own
// in-process `memCache`. A DB mutation only reloads the worker that handled
// it — other workers keep serving stale OAuth clients until they reboot.
// After every mutation we publish on a Redis channel so all workers reload.
// Without this, a redirect_uri added to a client after boot is rejected
// intermittently, depending on which worker the request is routed to.
const CLIENTS_CHANGED_CHANNEL = 'oauth:clients:changed';
let cacheSubscriber = null;
/** Notify every cluster worker that the oauth_clients table changed. */
async function publishClientsChanged() {
try {
await redis.publish(CLIENTS_CHANGED_CHANNEL, String(process.pid));
} catch (err) {
// The local reloadCache() already ran; cross-worker propagation is
// best-effort and self-heals at the next mutation or worker restart.
console.warn('[OAuth Clients DB] publishClientsChanged failed:', err.message);
}
}
/** Reload this worker's cache, then broadcast so every other worker reloads. */
async function reloadCacheAndBroadcast() {
await reloadCache();
await publishClientsChanged();
}
/**
* Start the per-worker cache subscriber. Call once per worker at boot.
* Uses a dedicated connection — in ioredis a connection in subscriber mode
* cannot run normal commands. ioredis auto-reconnects and re-subscribes.
*/
function startClientsCacheSubscriber() {
if (cacheSubscriber) return;
cacheSubscriber = redis.duplicate();
cacheSubscriber.on('error', (err) => {
console.error('[OAuth Clients DB] cache subscriber error:', err.message);
});
cacheSubscriber.on('message', (channel, message) => {
if (channel !== CLIENTS_CHANGED_CHANNEL) return;
reloadCache()
.then(() => console.log(`[OAuth Clients DB] cache reloaded (pub/sub from pid ${message})`))
.catch((err) => console.error('[OAuth Clients DB] reloadCache after pub/sub failed:', err.message));
});
cacheSubscriber.subscribe(CLIENTS_CHANGED_CHANNEL, (err) => {
if (err) {
console.error('[OAuth Clients DB] subscribe failed:', err.message);
return;
}
console.log('[OAuth Clients DB] cache subscriber ready on', CLIENTS_CHANGED_CHANNEL);
});
}
// ─── Stats helpers ───────────────────────────────────────────────────────
async function recordEvent(clientId, eventType, userId, metadata) {
const pool = getPool();
if (!pool) return;
try {
await pool.execute(
`INSERT INTO oauth_app_stats (client_id, event_type, user_id, metadata, created_at)
VALUES (?, ?, ?, ?, ?)`,
[
String(clientId),
String(eventType).slice(0, 32),
userId ? String(userId).slice(0, 160) : null,
metadata ? JSON.stringify(metadata) : null,
Date.now(),
],
);
} catch (err) {
console.warn('[OAuth stats] recordEvent failed:', err.message);
}
}
async function getStats(clientId, sinceMs) {
const pool = getPool();
if (!pool) return null;
const since = Number(sinceMs) || Date.now() - 30 * 24 * 60 * 60 * 1000;
const [byType] = await pool.execute(
`SELECT event_type, COUNT(*) AS n
FROM oauth_app_stats
WHERE client_id = ? AND created_at >= ?
GROUP BY event_type`,
[clientId, since],
);
const [byDay] = await pool.execute(
`SELECT FROM_UNIXTIME(FLOOR(created_at/1000), '%Y-%m-%d') AS day,
COUNT(*) AS n
FROM oauth_app_stats
WHERE client_id = ? AND created_at >= ?
GROUP BY day
ORDER BY day ASC`,
[clientId, since],
);
const [uniqueUsers] = await pool.execute(
`SELECT COUNT(DISTINCT user_id) AS n
FROM oauth_app_stats
WHERE client_id = ? AND created_at >= ? AND user_id IS NOT NULL`,
[clientId, since],
);
return {
sinceMs: since,
byType,
byDay,
uniqueUsers: Number(uniqueUsers[0]?.n || 0),
};
}
// ─── VIP grants helpers ──────────────────────────────────────────────────
function generateAccessKeyValue() {
// 32 chars base32-like uppercase (lisible).
return crypto.randomBytes(20).toString('hex').toUpperCase();
}
/**
* Décrémente atomiquement le balance et émet une access_key valide N jours.
* Throw si balance insuffisant.
*/
async function grantVip({ clientId, userType, userId, days }) {
if (!clientId || !userType || !userId || !Number.isInteger(days) || days <= 0 || days > 365) {
throw new Error('Paramètres grant invalides');
}
const pool = getPool();
if (!pool) throw new Error('DB indisponible');
const conn = await pool.getConnection();
try {
await conn.beginTransaction();
// Lock + check balance
const [rows] = await conn.execute(
'SELECT id, vip_days_balance FROM oauth_clients WHERE client_id = ? FOR UPDATE',
[clientId],
);
if (rows.length === 0) throw new Error('Client OAuth introuvable');
const balance = Number(rows[0].vip_days_balance || 0);
if (balance < days) {
throw new Error(`Solde VIP insuffisant : ${balance} jour(s) disponible(s), ${days} demandé(s)`);
}
// Décrément
await conn.execute(
'UPDATE oauth_clients SET vip_days_balance = vip_days_balance - ?, updated_at = ? WHERE id = ?',
[days, Date.now(), rows[0].id],
);
// Génère access_key
const keyValue = generateAccessKeyValue();
const expiresAt = new Date(Date.now() + days * 24 * 60 * 60 * 1000);
const expiresAtSql = expiresAt.toISOString().slice(0, 19).replace('T', ' ');
await conn.execute(
`INSERT INTO access_keys (key_value, active, expires_at, duree_validite)
VALUES (?, 1, ?, ?)`,
[keyValue, expiresAtSql, `${days}d`],
);
// Audit
const userIdComposite = `${userType}:${userId}`;
await conn.execute(
`INSERT INTO oauth_vip_grants
(client_id, user_id, user_type, user_id_only, days_granted,
access_key_value, expires_at, granted_at)
VALUES (?, ?, ?, ?, ?, ?, ?, ?)`,
[clientId, userIdComposite, userType, userId, days, keyValue, expiresAtSql, Date.now()],
);
await conn.commit();
return {
accessKey: keyValue,
expiresAt: expiresAt.toISOString(),
daysGranted: days,
remainingBalance: balance - days,
};
} catch (err) {
await conn.rollback();
throw err;
} finally {
conn.release();
}
}
module.exports = {
ensureTables,
migrateLegacyJsonIfNeeded,
reloadCache,
reloadCacheAndBroadcast,
publishClientsChanged,
startClientsCacheSubscriber,
getCachedClients,
invalidateCache,
recordEvent,
getStats,
grantVip,
ICON_DIR,
KNOWN_OAUTH_SCOPES_SET,
};