summaly
summaly copied to clipboard
misskey-dev
🔍 Get a summary of any web page
HTTP 429 (Too Many Requests) が Retry-After: 0で返ってくるので、cookieを継承したままretryすれば取得できます。 この動作に対する他のソフトウェアの対応状況ですが、Twitterはたいおうしていますが、discordは対応していない模様です。 参考: HTTP 429 https://datatracker.ietf.org/doc/html/rfc6585#section-4 参考: 調査スレッド https://misskey.niri.la/notes/9nobn2n2he なお、この中でogpの画像がskebのロゴになるという話がありましたが、今確認したところ正しく画像が帰ってきました: https://skeb.jp/@Colon_BR/works/42 Downstream issue: niri-la/misskey.niri.la#124
MastodonのリンクプレビューがDDoS的であると話題になっている(?) https://gigazine.net/news/20240502-mastodon-share-link-problem/ https://github.com/mastodon/mastodon/issues/23662 summaly proxyをキャッシュサーバーとして捉えればこのような挙動は低減できるが、現状はそのような機能を正式にはサポートしていない (nginxを前段に抱えれば可能だが) - とりあえずfastifyの応答にcache-controlを付け加える - ただMisskeyが使うGotやnode-fetchはcache-controlを付け加えたところでちゃんとキャッシュが効かないため、summalyサーバーがインメモリ(Map)でsummaly結果を一定期間持っておくのが良いかも (summalyサーバーの実装がリッチになる副作用があるため、ファイルを分割するなどコードをそれに適したものに変えるべき)
https://oembed.com/ 曰くhtmlは必須なので、ない方が悪いですがエラーになって取得できませんになってしまいます。 real world example: https://adventar.org/calendars/9018 ``` TypeError: Cannot read properties of undefined (reading 'startsWith') at getOEmbedPlayer (file:///Users/anatawa12/IdeaProjects/summaly/built/general.js:43:20) at process.processTicksAndRejections (node:internal/process/task_queues:95:5) at async Promise.all (index 1) at async default (file:///Users/anatawa12/IdeaProjects/summaly/built/general.js:194:28)...
Googleのセーフサーチはセンシティブ判定に、 ```html ``` のようなメタデータを参照するそうで、サイトがセンシティブかどうかを判断する基準の一つとして使えそうです。 https://developers.google.com/search/docs/crawling-indexing/safesearch?hl=ja#add-metadata また、HTTPヘッダーに、 ``` rating: RTA-5042-1996-1400-1577-RTA ``` が含まれるかどうかでも判定が可能なようです。 P〇rnHubがメタタグ・HTTPヘッダー両方に対応しており、このメタデータを使用することでセンシティブと判定できるようになります。DLsiteはメタタグのみ対応。Twitterは非対応。
Related: misskey-dev/misskey#12419 https://github.com/misskey-dev/summaly/blob/d2d8db49943ccb201c1b1b283e9d0a630519fac7/src/general.ts#L209 ツイート用と思われるコードがあるが動かなくなっている
一部サイトは見たことないUAからのリクエストを弾いたり、通常の閲覧時とは異なるHTMLを返すようなので、ChromeなどのブラウザのUser-Agentと互換させるといいかも  例↓ ``` Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36 SummalyBot/x.y.z ```
Related: https://github.com/misskey-dev/misskey/security/advisories/GHSA-vc39-c453-67g3 本体でも修正されているものの icon thumbnail player.url あたりを http: OR https: OR data: のみでサニタイズするとベター
# Summary Sometimes when you create a post containing a link directly to an image, the image is embedded in the post, but other times it is not embeded #...
