根据《申根协定》和《欧盟共同边界管理条例》，只有取得申根国家颁发的申根签证和获得申根成员国90天以上有效居留的才可以自由往来居住各个申根成员国。
如果你拿的是瑞典给的申根签证或者你到了瑞典以后拿到了瑞典的居留。那么你去所有申根国家都没有问题。
如果你拿的是瑞典签证，那么你可以持此签证因交通原因在其它申根国家出入境一次。
但是也有人只是持申根国家颁发的国别签证出入其它申根国家多次。但这理论上是不合法的。别人不查你，你尽可以自己随便跑。但是如果人家和你较真，就完全可以拒绝你入境。

持瑞典签证但不去瑞典可以吗？

入境时移民官问起行程和酒店时,若不符合首入境国或行程逗留最长国是瑞典的要求,可以直接遣返。

入境法国的时候可能会查你会去瑞典的证据,拿不出来的话会直接遣返

不影响。只要你拿到签证就可以了。