Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

话题树是否存在回环? #2

Open
painkiller0513 opened this issue Apr 9, 2021 · 8 comments
Open

话题树是否存在回环? #2

painkiller0513 opened this issue Apr 9, 2021 · 8 comments
Assignees

Comments

@painkiller0513
Copy link

我在自己写的爬虫中发现,有些话题是存在回环的,比如一级的话题“学科”、“实体”、“产业”等,您有没有遇到这样的问题?
是不是知乎本身就存在这样的问题?

@SCZwangxiao
Copy link

请问您指的回环是什么?我并没有发现一级话题之间有回环。我现在也在爬取中。

@sz-p
Copy link
Owner

sz-p commented May 4, 2021

我在抓取中同样未发现回环现象,如果在程序中发现该现象同样容易在知乎页面直接验证。您举的`一级的话题“学科”、“实体”、“产业”例子本身并未存在回环现象。如果切实有遇到,可以把相关案例在这里放出来,大家一起验证一下。

@sz-p sz-p self-assigned this May 4, 2021
@painkiller0513
Copy link
Author

我找到原因了,有个另节点的 parentid 指向了自己,导致 PostgreSQL 使用递归查询时造成死循环。
把这几个节点去掉就可以了。

@sz-p
Copy link
Owner

sz-p commented May 17, 2021

我找到原因了,有个另节点的 parentid 指向了自己,导致 PostgreSQL 使用递归查询时造成死循环。
把这几个节点去掉就可以了。

有趣的案例 能具体指出该节点么?

@painkiller0513
Copy link
Author

我把这类型的节点删除掉了,数量不多,应该少于 10 个。只记得有一个话题是 iPad。
如果你是把话题保存到数据库里的话,使用 SQL 很容易查到。
SELECT * FROM topic WHERE topic_id = parent_id;

@sz-p
Copy link
Owner

sz-p commented May 17, 2021

image
image

iPad话题而言,似乎并不存在回环结构。如此的话,暂且将这个文档当成程序异常,不再做深入探究。非常感谢对于该问题的反馈,由此引出一场非常nice的讨论。这里暂且将该问题关闭,再出现后再深入探究。

@sz-p sz-p closed this as completed May 17, 2021
@painkiller0513
Copy link
Author

上一个回答错了,那个节点不是 iPad,而是 iPad 2。我已经找到原始数据了,下面是截图。这样的节点共有 39 个。
截屏2021-05-18 下午6 34 43

@sz-p sz-p reopened this May 18, 2021
@sz-p
Copy link
Owner

sz-p commented May 18, 2021

https://www.zhihu.com/topic/19811517/hot

image

以同人文为例的确存在回环现象,此issue长久open。这里特别鸣谢 @painkiller0513

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

3 participants